I SD arbeidet Eichmann blant annet med et kartotek over frimurere (som regimet ville holde under oppsikt) og viste seg i den jobben som dyktig kontorist og administrator. Det var på den tiden ni personer sysselsatt ved kontoret for overvåkning av frimurere og to ved kontoret for jødesaker. SS-offiser Leopold von Mildenstein ledet jødekontoret og Reinhard Heydrich overbeviste Mildenstein om å få sving på virksomheten der. Mildenstein hadde oppholdt seg en tid i Palestina og lærte seg noe hebraisk. Mildenstein forlot på grunn av konflikt med Heydrich i 1937 SD til fordel for Organisation Todt. SS-offiseren Herbert Hagen (født 1913) tok da over ledelsen av jødekontoret.