Greenbaum ble født i Malden i Massachusetts. Han vokste opp i en ortodoks jødisk familie og gikk på hebraisk skole, "Congregation Beth Israel" (offisielt: ). Hans interesse for musikk ble opprinnelig vekket av blues fra Sørstatene og folkemusikk som var populært på slutten av 1950- og begynnelsen av 1960-tallet. Han spilte med ulike band mens han gikk på high school og studerte musikk ved Boston University i to år. Mens han gikk på college opptrådte han på lokale kafeer men droppet etter hvert ut og flyttet til Los Angeles i 1965.