Luther ble raskt Himmlers og Heydrichs mann og begynte å undergrave utenriksminister Ribbentrops posisjon. Luther ble regnet som en effektiv administrator med talent for byråkratisk borgerkrig. Hans kalde og skruppelløse metoder gjorde ham til en farlig motstander i maktkampene internt i det tredje rike. Han ble forfremmet til i juli 1941, arbeidet sammen med Adolf Eichmann og fikk kjennskap til at massemordet på jøder hadde begynt.