22 czerwca 1941 roku ruszył atak III Rzeszy na ZSRR. W ślad za 3-milionową armią Wehrmachtu podążyły "Einsatzgruppen"; Himmler i Heydrich postanowili osobiście nadzorować ich działanie, więc 30 czerwca obaj udali się do Grodna i Augustowa. "Einsatzgruppen" nie były podporządkowane Wehrmachtowi i w wykonywaniu zadań specjalnych miały wolną rękę. Esesmani mordowali komunistów i członków partii wszystkich szczebli. Heydrich skrytykował „bierność” w działaniu oddziałów SS i nakazał „wykazywanie się własną inicjatywą”. Istnieje uzasadnione domniemanie, że Heydrich wydał ustny rozkaz mordowania wszystkich Żydów, niezależnie od tego, czy są członkami partii komunistycznej, czy nie. Wiadomo, że zachęcał też do podżegania miejscowej ludności oraz organizacji antykomunistycznych do pogromów Żydów mieszkających na nowo zdobytych terenach sowieckich. Do końca 1941 roku zamordowano ponad pół miliona Żydów, dzienna liczba ofiar sięgała kilku tysięcy osób. Na początku 1942 roku, w związku z zatrzymaniem ofensywy wojsk hitlerowskich i groźbą utraty terenów wschodnich, Heydrich nakazał zacieranie śladów ludobójstwa, np. poprzez niszczenie fotografii egzekucji i masowych grobów lub wymordowanie tysiąca więźniów obozów koncentracyjnych zajmujących się wykopywaniem zwłok.