Etter operasjon Barbarossa i juni 1941 ble gruppene sendt østover for å likvidere «uønskede elementer». De er spesielt beryktet for sin rolle i massedrap på jøder. Sammen med spesialpolitistyrker antas de å være ansvarlige for drap på omkring 2 millioner jøder, en tredjedel av det totale antallet som ble drept. Gruppene sto også bak massakrer og enkeltlikvideringer av blant annet sigøynere og kommunister. I utgangspunktet ble fire organisert, hver enhet med 500 til 1000 menn. Hver enhet ble knyttet til en armegruppe: A til armégruppe nord; B til armégruppe sentrum, C til armégruppe syd, og D til 11. armé i Wehrmacht. ble i noen tilfeller forsterket med soldater fra regulære hærstyrker og disse deltok i oppsamling og drap på jøder. Einsatzgruppe D under Otto Ohlendorf virket i det sørligste området - i det særlige Ukraina, Bessarabia og Krim.