I 1971 etablerte Belushi komikerensemblet The West Compass Trio sammen med Tino Insana and Steve Beshekas. Det gikk ikke lang tid før han begynte å få et navn som en dyktig komiker. Regissør og komiker Bernard Sahlins så en av trioens forestillinger i 1971, og inviterte deretter Belushi til å bli med i improvisasjonsgruppen The Second City, som Sahlins hadde startet. Der møtte Belushi Harold Ramis og Brian Doyle-Murray. I 1972 ble Belushi tilbudt en rolle sammen med Chevy Chase og Christopher Guest i forestillingen , en harselas over Woodstockfestivalen som spilte off-Broadway. Belushi flyttet til New York City og startet å arbeide som forfatter, regissør og skuespiller for radioshowet . I 1974 dro han til Toronto for å se hva som rørte seg blant komikere der, og da møtte han Dan Aykroyd. Aykroyd og Belushi ble gode venner og etter hvert kolleger.