L'Autriche est annexée par le Troisième Reich en . Après avoir dirigé une unité SS, il rejoint la SS-Verfügungstruppe (la future Waffen-SS) puis participe à la campagne de Pologne en 1939 ; il intègre à Nowy Sacz une milice nazie locale ("Selbstschutz"). En , il supervise des camps de travail pour Juifs près de Lublin pour le projet "Bug-Graben", réseau de fossés anti-chars sur la ligne de démarcation à l'Est. En 1941, il est à Mogilev en Biélorussie où il s'occupe de constructions. Début 1942, il devient chef d'état-major ("Hauptabteilung") et commandant en second de l’"Aktion Reinhard" sous les ordres d'Odilo Globocnik et organise depuis la caserne Julius Schreck toutes les déportations des Juifs du Gouvernement général de Pologne vers les camps d'extermination de Treblinka, Bełżec, Majdanek et Sobibor. Il est aussi responsable de la formation, l'organisation et l'affectation des effectifs. Chaque membre SS doit ainsi signer le serment de secret suivant :