Joseph Freeman ble født 7. oktober 1897 i landsbyen Piratin i Poltava-distriktet i Ukraina som da var del av Det russiske keiserdømmet. Freemans foreldre, Stella og Isaac Freeman var etniske jøder som ble tvunget til å bo i det jødiske bosetningsområdet i Tsar-Russland, et jødisk bosettingsområde opprettet som følge av de antisemittiske lover i Tsar-regimet. Etter sin bestefars ønske hadde Freeman lært å snakke jiddisch da han var liten. Hans foreldre arbeidet i en butikk..