Bei der Lwiw-Sandomierz-Operation bewahrte die Panzerarmee Rybalkos die Innenstadt von Lwiw vor der Zerstörung. Im Frühjahr 1945 kämpften seine Truppen unter dem Oberbefehl von Marschall Iwan Konjew in der Niederschlesischen Operation und vollzogen Mitte April 1945 einen Schwenk nach Norden, um in der Schlacht um Berlin mitzuwirken. Im Mai 1945 hatte er während der Prager Operation Anteil an der Befreiung von Dresden und Prag und erhielt seine zweite Auszeichnung als "Held der Sowjetunion" verliehen.