In dem am 22. Juni 1941 von deutscher Seite begonnenen Krieg gegen die Sowjetunion befehligte von Rundstedt die Heeresgruppe Süd, die binnen weniger Monate die Ukraine mitsamt der Krim und des Donezbeckens erobern und bis an die untere Wolga und in den Kaukasus vorstoßen sollte. Für seine Streitkräfte erwies sich eine Umsetzung dieses Plans jedoch als illusorisch: Nachdem der Angriff am Südflügel des deutschen Ostheeres verhältnismäßig langsam vorangeschritten war, erzielte er im Spätsommer zwar beträchtliche Erfolge (Kesselschlachten bei Uman und um Kiew), kam dann aber im Spätherbst auf der Krim und nördlich des Asowschen Meeres zum Erliegen, ohne die militärischen Ziele erreicht zu haben. Am 24. September 1941 gab er angesichts der Morde des zur Einsatzgruppe C gehörenden Sonderkommandos 4a folgenden Befehl an die ihm untergebenen Soldaten: