En el verano de 1944, tuvo un destacado papel durante la Ofensiva Leópolis-Sandomierz, como parte del 1er Frente Ucraniano. El 16 de julio, el Ejército de Tanques de la Guardia se lanzó por una estrecha brecha en la líneas alemanas en los alrededores de Brody, la brecha era tan estrecha que los 7.000 vehículos de Rybalko, en algunos casos, tenían que pasar en fila india. Utilizando los tanques pesados IS-2 como arietes para aplastar las posiciones alemanas, Rybalko avanzó incesantemente sobre pistas de rodillos improvisadas por sus ingenieros, a través de espesos bosques y marismas. A pesar de los incesantes contraataques alemanes sobre sus flancos, agrupó a sus fuerzas y continuó avanzando hacia el oeste, mientras unidades de infantería del 60.º Ejército se encargaban de despejar las unidades enemigas tras la penetración de las unidades blindadas. y continua su avance hacia el oeste hasta que ocupan una cabeza de puente en la orilla occidental del río Vístula, en torno a la ciudad de Sandomierz, en la horquilla que forma el río Vistula y el Sam al sur de Varsovia y a pocos kilómetros al este de la ciudad polaca de Cracovia. Defendiendo la cabeza de puente durante dos meses de los continuos y desesperados contrataques alemanes.