Namun, bagi banyak orang di Inggris dan sekitarnya, Charles akan selalu dikaitkan dengan pernikahannya yang gagal dengan Lady Diana Spencer. Lalu, apalagi kalau bukan perselingkuhannya dengan Camilla Parker Bowles, yang kini menjadi istri keduanya.

Ia menikah dengan Diana pada tahun 1981, di mana kemudian lahir putra William dan Harry masing-masing lahir pada tahun 1982 dan 1984. Semua awalnya tampak baik-baik saja, namun di balik layar, pernikahan itu memiliki masalah.

Diana menyalahkan Camilla atas kehancuran pernikahanya dengan Charles pada tahun 1992. "Ada tiga dari kami dalam pernikahan ini," merupakan kalimat terkenal yang dilontarkan Diana dalam sebuah wawancara TV.

Charles mengatakan dia tetap setia sampai (pernikahan) menjadi rusak tak dapat diperbaiki. Kemudian pasangan ini bercerai pada tahun 1996. Setahun kemudian, pada 1997, Diana terbunuh dalam kecelakaan mobil di Paris.

Akibat peristiwa ini, ada banyak pers yang menentang Charles dan Camilla, dan popularitas publiknya merosot. Meski lambat laun posisinya kembali meningkat, Charles tetap kurang populer daripada ibunya.

Pada tahun 2005 ia akhirnya menikahi Camilla. Meski telah meninggal, bayangan Diana tetap ada, dan hidupnya terus memikat publik.