Etter suksessen med trakk Carson seg tilbake og levde et forholdsvis anonymt liv i Malibu i California, hvor han døde av emfysem 23. januar 2005. Han fikk en stjerne på Hollywood Walk of Fame og i 1992 mottok han Presidentens frihetsmedalje av daværende president George H.W. Bush. Han ble innlemmet i Television Hall of Fame i 1987.