Nach der deutschen Invasion der Sowjetunion 1941 befehligte er auf Anweisung von Heinrich Himmler zusätzlich bis Juni 1942 die Einsatzgruppe D, die in der Südukraine und im Kaukasus operierte. Die SS-Einsatzgruppen hatten die Aufgabe, die in den eroberten Gebieten lebenden Juden und Zigeuner sowie Führungskader der Kommunistischen Partei der Sowjetunion zu vernichten. Ohlendorf war damit verantwortlich für die Ermordung von ungefähr 90.000 Menschen. Ausdrücklich erteilte er den Einsatzgruppen-Chefs den Befehl und bestätigte ihn am 1. August 1941, „dass in Zukunft alle erfassten Juden aus rassischen Gründen zu erschießen seien“.