Året etter gikk han inn i Waffen-SS, og i 1940 ble han kommandant for Auschwitz Birkenau, en stilling han hadde til 1943. I denne perioden administrerte han drapene på et stort antall jøder og andre personer som var uønsket i Det tredje rike (Tyskland 1933–1945).