希曼离开奥地利回到德国。1934年因负责达豪集中营而受到海德里希的赏识；1937年艾希曼曾经前往海法与开罗，研究将犹太人移住巴勒斯坦的可能性，后来艾希曼向纳粹方面以经济理由反对将犹太人移往巴勒斯坦的计划。1942年艾希曼出席万湖会议，之后晋升为党卫军中校(SS-Obersturmbannführer)；在大屠杀中主要负责将犹太人移送集中营的运输，还有与当地犹太领袖的磋商、当地的建立。尤其是与当地犹太领袖的合作，被纳粹视为进行大屠杀的基石。第二次世界大战末期，艾希曼被美军俘虏，但之后逃脱，从意大利的热