Μετά τη γερμανική εισβολή στη Σοβιετική Ένωση το 1941, ο Κόνιεφ συμμετείχε σε μια σειρά από μεγάλες εκστρατείες, συμπεριλαμβανομένων των μαχών της Μόσχας και του Ρζεφ. Ο Κόνιεφ επιπλέον διοικούσε δυνάμεις σε μεγάλες σοβιετικές επιθέσεις στο Κουρσκ, στις επιθέσεις Δνείπερου-Καρπαθίων και Βιστούλα-Όντερ. Τον Φεβρουάριο του 1944, έγινε στρατάρχης της Σοβιετικής Ένωσης. Την παραμονή της γερμανικής ήττας, το 1ο Ουκρανικό Μέτωπο του Κόνιεφ πρόφτασε και πέρασε τα στρατεύματα του Γκεόργκι Ζούκοφ στον αγώνα προς το Βερολίνο. Ο Κόνιεφ εισήλθε πρώτος στην πόλη, αλλά ο Στάλιν έδωσε στον Ζούκοφ την τιμή να καταλάβει το Βερολίνο. Ο Κόνιεφ ήταν επίσης ο πρώτος εκ των Συμμάχων διοικητής, που εισήλθε στην Πράγα, την πρωτεύουσα της Τσεχοσλοβακίας, μετά την εξέγερση της Πράγας.