Joffe var av jødisk (karaittisk) opphav. Hans far eide hele post- og persontransportnettverket på Krim, eide et eget hus i Moskva og stod i nær kontakt mot den russiske politikeren - blant annet statsminister - Sergej Witte.