I 1974 gikk Eddie, hans bror Alex og Mark Stone sammen og dannet bandet «Mammoth». Stone ble ikke funnet god nok for bandet og ble til slutt erstattet av Michael Anthony. De rekrutterte etter hvert David Lee Roth. Da de fant ut at det fantes et annet lokalt band som også kalte seg Mammoth, bestemte de seg for å endre navn. David Lee Roth ville ha navnet Van Halen, fordi han syntes det var stilig, inspirert av Santana.