Si unì alle Reiter-SS (l'unità equestre delle SS) nel 1934, e aderì al Partito Nazista nel 1937. Dopo aver preso parte all'invasione polacca e successivamente all'attacco alla Russia, durante i quali partecipò a vari stermini ed esecuzioni di massa di ebrei, fu promosso SS-Obersturmbannführer. Dopo l'invasione dell'Ungheria, fu messo da Heinrich Himmler a capo della commissione incaricata di trattare con la comunità ebraica di Budapest; con essi negoziò il cosiddetto treno di Kastner, vale a dire la liberazione in Svizzera di 1684 ebrei ungheresi passando per campo di concentramento di Bergen-Belsen in cambio di gioielli e preziosi per un valore di diversi milioni di franchi svizzeri. Sempre seguendo le istruzioni di Himmler, nel novembre 1944 si incontrò in Svizzera con delegati statunitensi per cercare senza successo una pace separata sul fronte occidentale. Nell'aprile 1945 Himmler lo nominò commissario speciale del Reich per tutti i campi di concentramento.