In seiner neuen Funktion sollte er den Aufbau der Roten Armee in Hinblick auf eine mögliche Verwicklung in den Zweiten Weltkrieg beschleunigen. Mit dem deutschen Überfall auf die Sowjetunion am 22. Juni 1941 ging das Amt an Stalin über. Timoschenko wurde sein Stellvertreter. Am 1. Juli ersetzte er den abberufenen General Dmitri Pawlow als Oberbefehlshaber der Westfront, im September den gefallenen Michail Kirponos an der Südwestfront. Hier erlitt er im Mai 1942 beim eher improvisierten Versuch, eine taktische Gegenoffensive einzuleiten, in der 2. Schlacht bei Charkow eine schwere Niederlage. Er verteidigte sich unter Hinweis auf einen entschlüsselten deutschen Geheimplan, der für Juli eine Operation der Panzertruppen in Richtung Stalingrad – Saratow – Sysran – Arsamas vorsah, welche Moskau vom Ural, von den Ölquellen im Kaukasus und vom Nachschub aus dem Iran abgeschnitten hätte. Dieser Vorstoß sei durch die eigene Offensive verhindert worden.