Allfarth ble født i Leipzig. Han fullførte skolen i 1917, og studerte deretter handelsfag hos Siemens-Schuckert. I 1923 flyttet han til München for å drive som handelsmann.