Koněvova vojska poté vyrazila na pomoc Pražskému povstání, v průběhu pražské ofenzívy osvobodila severní, střední a východní Čechy a jako první spojenecká armáda se dostala v květnu 1945 do Prahy. Rudá armáda pod jeho velením měla hlavní podíl na obklíčení a zničení 800 tisícové skupiny armád Mitte pod velením posledního říšského maršála Schörnera ve středních Čechách. Celou noc z 8. na 9. května se rudá armáda probíjela německými pozicemi na předměstí Prahy. Ráno v 9. května 1945 vstoupila do Prahy a sváděla dílčí boje s německými jednotkami, především s Waffen-SS, včetně tankové divize SS „Das Reich“, které pokračovaly v odporu a před příchodem sovětských vojsk se dopouštěly masakrů civilistů; při celé pražské operaci padlo 692 sovětských vojáků, z toho ve vnitřní Praze okolo třiceti. Poté promluvil k Pražanům na Staroměstském náměstí. Značná část vojáků Wehrmachtu a hlavně SS neuposlechla rozkaz o kapitulaci a snažila probít do amerického zajetí, navzdory rozkazům z vyšších pater velení. Během těchto bojů 9. května 1945 padl též velitel prvního tanku, který dorazil do Prahy, poručík Rudé armády Ivan Gončarenko, který bojoval od roku 1941. Praha byla kompletně vyčištěna od německých vojáků v 10 hodin 9. května 1945. Maršál Koněv sváděl boje s jednotlivými německými uskupeními ve Středních Čechách ještě 11. května, kdy gardové oddíly a kozáci likvidovali jednotky SS ukryté v okolních lesích