Han var sammen med Bill Murray den første gjesten på 1. februar 1982 og var siden erstatter for Paul Shaffer og gjest gjentatte ganger i tiden mellom 1982 og 2001. 30. oktober 2002 var han som eneste gjest på for å fortelle om sykdommen sin. Til slutt i programmet spilte han «Roland the Headless Thompson Gunner» på forespørsel fra David Letterman, og det var den siste sangen Warren Zevon noen gang fremførte for offentligheten. Etter programmet ga Zevon bort gitaren sin til Letterman og sa: «Her, jeg vil at du skal ha den, ta godt vare på den.» Fra plata fra 2002 snakker Letterman på sangen «Hit Somebody!(The Hockey Song)».