Han ble født i Westermoor, og ble utdannet som urmaker. Oldefaren, Charles Maurice Schwartzenberger, var jødisk. Utenom arbeidet levde han en bohemtilværelse, og var gjerne bevæpnet. I 1919 meldte han seg inn i Deutsche Arbeiterpartei, og da dette ble reorganisert som NSDAP ble han medlem nr. 19.