Τον Απρίλιο, τα στρατεύματά του, μαζί με το 1ο Λευκορωσικό Μέτωπο υπό τον ανταγωνιστή του, Ζούκοφ, άσκησαν πίεση στη γραμμή του Όντερ και προχώρησαν προς το Βερολίνο. Οι δυνάμεις του Κόνιεφ εισήλθαν πρώτες στην πόλη, αλλά ο Στάλιν έδωσε στον Ζούκοφ την τιμή να καταλάβει το Βερολίνο και να σηκώσει τη σοβιετική σημαία πάνω από το Ράιχσταγκ. Ο Κόνιεφ διατάχθηκε στα νοτιοδυτικά, όπου οι δυνάμεις του συνδέθηκαν με κομμάτια του στρατού ξηράς των Ηνωμένων Πολιτειών στο Τοργκάου και επίσης ανακατέλαβαν την Πράγα λίγο μετά την επίσημη παράδοση των γερμανικών δυνάμεων.