Nel giugno 1941, durante le prime fasi della campagna contro l'Unione Sovietica (Operazione Barbarossa), comandò il Gruppo d'armate Sud che attaccò l'Ucraina conquistando Kiev e Kharkov. Nel novembre 1941 si trovò in contrasto con Hitler per la condotta delle operazioni dopo l'occupazione di Rostov (Battaglia di Rostov). Il contrasto tra il "Führer" e il feldmaresciallo a proposito di questa battaglia, comunque, rappresentò solo l'epifenomeno di una differenza sempre più profonda tra i due uomini sulle prospettive della guerra; a tale proposito basti pensare che, quando ormai risultò chiaro a tutto il comando tedesco, che la conquista di Mosca sarebbe stata impossibile, von Rundstedt propose addirittura un ripiegamento sulla linea di confine precedente del conflitto.