Eksterminacja jednak rozpoczęta została przed oficjalnymi decyzjami. Pierwszym jej aktem były działania „oddziałów specjalnych” Einsatzgruppen na terenie Związku Radzieckiego po niemieckiej inwazji rozpoczętej w czerwcu 1941 roku. Oddziałów tych było cztery, oznaczonych literami alfabetu: A, B, C oraz D, a podzielone one były na mniejsze pododdziały – Sonderkommanda oraz Einsatzkommanda. Oddziały te, działające wkrótce po wkraczających wojskach niemieckich, dokonały zabójstw ponad pół miliona Żydów, a także Cyganów, jeńców wojennych oraz członków partii komunistycznej. Rola tych oddziałów sprowadzała się do spędzania lokalnej ludności żydowskiej i innych osób przeznaczonych do eksterminacji do specjalnych miejsc i masowych rozstrzeliwań, najczęściej za pomocą karabinów maszynowych. Niekiedy wykorzystywano miejscowych kolaborantów do pomocy w morderstwach. W ten sposób dokonano Holocaustu Żydów ukraińskich, besarabskich, białoruskich i bałtyckich. Poza obozami, najbardziej znanym miejscem eksterminacji jest wąwóz Babi Jar koło Kijowa, gdzie w 1941 r. zamordowano ok. 100 tys. Żydów, a także podwileńskie Ponary, gdzie naziści wymordowali prawie 80 tys. Żydów.