I 1962 spilte den tjue år gamle Marty Balin inn to singler for plateselskapet Challenge Records, men ingen av dem gjorde seg bemerket. Balin ble deretter medlem av en folkemusikkgruppe som kalte seg The Town Criers fra 1963 til 1964. Etter at The Beatles ledet den britiske bølgen i 1964 ble Balin inspirert av suksessen til The Byrds og Simon & Garfunkel til å blande folkemusikk med rock og dannet en gruppe i 1965 som fulgte denne oppskriften. Sammen med en gruppe investorer kjøpte Balin en tidligere pizzasjappe på Fillmore Street i San Francisco, som han deretter endret til en klubb for musikk, kalt for The Matrix, og begynte å lete etter medlemmer for et nytt band.