Via sin bror Brian, fikk Bill bli med i improvisasjonsgruppen Second City Chicago, og studere under Del Close. Gruppen passet Murrays tørre humor og improvisasjonsteknikk perfekt, og han gjenopplivet gruppen til sin TV-spesial i 1980. Mellom 1973 og 1975 var han et fast medlem av The National Lampoon Radio Hour, som ble sendt på over 600 radiostasjoner i USA. Andre medlemmer var Dan Aykroyd, John Belushi, Gilda Radner og bror Brian Doyle-Murray. I 1977 erstattet han Chevy Chase på (SNL) frem til han sluttet i 1980 for å forfølge en filmkarriere. Tidligere SNL-forfatter Margaret Oberman har uttalt at sammen med Eddie Murphy, var Murray den mest talentfulle skuespilleren på showet.