Nahum Goldmann var sønn av en jødisk lærer og forfatter. Hans fødselsår angis som enten 1894 eller 1895. Nahum tilbrakte tidlige år hos sine besteforeldre. Bestefaren var lege og leder i den lokale jødiske samfunn. I 1901 flyttet han til familien i Frankfurt am Main, der faren, Solomon Goldman utga .