Narodil se v zámožné rodině ve Sternenfelsu (asi 40 km severozápadně od Stuttgartu) v roce 1900. V Tübingen vystudoval administrativní právo a v letech 1919–1920 byl členem později zakázaného antisemitského hnutí "Deutschvölkischer Schutz und Trutzbund" a jeho teroristické složky "Organisation Consul". V roce 1932 se oženil s Luise-Gabrielou von Gültlingenstal, s níž měl čtyři děti, a stal se členem nacistické strany. V tomtéž roce se stal členem gestapa, 1934 byl jmenován jeho vedoucím ve Württembersku a brzy byl přidělen do hlavní kanceláře "Sicherheitsdienst" (SD). Roku 1937 se stal náčelníkem Gestapa ve Wroclawi a po připojení Rakouska v roce 1938 velitelem okrsku Dunaj (Vídeň), jímž zůstal i když povýšil na "SS-Standartenführera". Byl formálním nadřízeným Adolfa Eichmanna s nímž spolupracoval na tzv."územním řešením", tj. deportaci téměř sto tisíc Židů do lublinského kraje na nucené práce, kde pak vznikly vyhlazovací tábory Belzec, Sobibor a Majdanek.