Lors de l'opération Barbarossa, il est pour le moins laissé de côté. Il passa la première année de la guerre comme conférencier à l'école de Kazan. C'est son ancien ami Ieremenko qui l'aide à obtenir en , le commandement adjoint de la blindée (composée de deux corps blindés et d'un mécanisé) qui fait partie de la réserve du haut commandement. Très vite, Rybalko est conscient des carences des forces blindées soviétiques : absence de coopération interarmes, peu d'intérêt porté au soutien d'artillerie, chaos logistique, erreurs dans la conception du char de combat comme arme... Finalement, à la suite d'une décision de Staline, il prend le commandement de la blindée. Après avoir réorganisé son unité à la fin de 1942, Rybalko participe aux opérations du front de Voronej (notamment l'opération Étoile) du début de 1943 jusqu'au . Lors de la contre-attaque victorieuse de Manstein sur Kharkov, la de Panzer du Generalmajor Adelbert Schulz taille en pièce une partie de la blindée du lieutenant-général Rybalko, mais ce dernier apprend à enrayer l'avance allemande en utilisant des groupes mobiles (à l'image des ""), selon les besoins. À la fin de , il obtient le grade de lieutenant-général et reçoit l'ordre de Souvorov de .