Letterman begynte med stand-up på The Comedy Store i Los Angeles og gjorde noen opptredener på forskjellige TV-program som gjorde at han alt i 1978 var en minikjendis. 24. november 1978 fikk han sin første opptreden hos sitt store forbilde, Johnny Carson på The Tonight Show starring Johnny Carson. Etter å ha gjort sitt stand up- nummer, ble Letterman invitert til sofaen for å snakke med Carson, noe som på den tiden var regnet som noe av det største en komiker kunne få. Carson likte ham så god så han året etter (1979) fikk jobben som fast gjesteprogramleder for Carson. Gjesteprogramlederen skulle ta seg av mandagsepisoden på grunn av at Carson hadde skrevet en ny kontrakt som sa at han bare måtte gjøre fire programmer, tre dager i uken. Letterman var gjesteprogramleder hele 51 ganger og gjest 22 ganger mellom 1978 og 1992.