McKernan vokste opp sterkt påvirket av afro-amerikansk musikk, spesielt bluesen, og likte å lytte til sin fars samling av plater og lærte seg selv å spille munnspill og piano. Han begynte å henge rundt San Francisco Bay Area og ble venn med Jerry Garcia da han var 14 år. Etter at de to hadde spilt i ulike folkemusik- og jugband, foreslo McKernan at de skulle danne et elektrisk band som ble til Grateful Dead. Han var bandets opprinnelige frontmann så vel som å spille munnspill og el-orgel, men Garcia og bassist Phil Leshs påvirkninger på bandet ble stadig sterkere da de omfavnet psykedelisk rock. McKernan kjempet med å holde tritt, som førte til at gruppen ansatte keyboardisten Tom Constanten, med McKernans bidrag i hovedsak begrenset seg til vokal, munnspill og perkusjon fra november 1968 til januar 1970. Han fortsatte å være frontmann på konserter for noen låter, inkludert coverlåter av Bobby Blands «Turn On Your Love Light» og The Rascals' «Good Lovin'».