Blumberg vokste opp i Brooklyn. Han var sønn av Ida (Simonoff) og Meyer Blumberg, en advokat. Hans første skolegang var ved den jødisk-ortodokse Yeshivah of Flatbush, der han lærte seg å skrive og tale hebraisk, og å studere Bebelen og jødiske tekster på originalspråket.