I 1975 flyttet Letterman til Los Angeles, California, for å prøve lykken som stand up-komiker og tekstforfatter for forskjellige TV-programmer. I samme tidsperioden begynte han med stand up-opptredener på The Comedy Store i Los Angeles. Han begynte også å skrive for TV-programmer som The Peeping Times og Good Times. I 1978 var han alt en minikjendis etter å ha deltatt på tv-programmer som The Gong Show, Mary Tyler Moores tv-serie Mary, Liar's Club, The $10,000 Pyramid, Password Plus og The Starland Vocal Band Show. Han hadde også spilt inn en pilot av et game show kalt The Riddlers i 1977, men showet ble aldri noe av.