Il nome di Himmler è comunque indissolubilmente legato alla "soluzione finale della questione ebraica". Egli delegò prima il suo braccio destro Reinhard Heydrich e, in seguito, Adolf Eichmann a portare avanti il programma di sterminio degli Untermenschen, ovvero degli inferiori rispetto alla razza ariana. Fu la guerra contro l'Unione Sovietica a offrire le condizioni per procedere all'esecuzione di una vera e propria campagna di annientamento. Per questo vennero costituite unità speciali, le famigerate Einsatzgruppen, per procedere all'eliminazione di tutti gli ebrei, i funzionari comunisti e gli zingari nelle retrovie del fronte.