Entgegen Hitlers Weisung, einen Rückzug nicht in Betracht zu ziehen, befahl von Rundstedt eine taktische Rücknahme seiner logistisch und physisch überstrapazierten Verbände, kurz nachdem diese Rostow erobert hatten, aber nun von einer sowjetischen Gegenoffensive bedroht waren. Er wurde deshalb – als erster von mehreren Generälen, die während der Winterkrise 1941/42 an der Ostfront aufgrund strategisch-taktischer Differenzen mit Hitler von ihren Posten abgelöst wurden – am 1. Dezember 1941 als Oberbefehlshaber der Heeresgruppe Süd entlassen und durch Walter von Reichenau ersetzt. Gleichwohl erhielt er am 12. Dezember 1941 anlässlich seines Geburtstags von Hitler eine Dotation in Höhe von 250.000 Reichsmark.