Ved The Tonight Shows 10-årsjubileum den 30. september 1972 meddelte Carson at han og den tidligere fotomodellen Joanna Holland hadde giftet seg i hemmelighet tidligere samme ettermiddag. Den 8. mars 1983 søkte Holland om skilsmisse. I 1985 var paret kommet til en overenskommelse hvor Holland ble gitt 20 millioner dollar. Det sies at han traff sin siste hustru Alexis Mass da han så henne spasere ved stranden nær sitt hjem i Malibu holdende et tomt vinglass. Han gikk fra sitt hus og tilbød seg å fylle på glasset. De giftet seg den 20. juni 1987.