En 1939 planeó algunas operaciones para la partición de Polonia con Alemania nazi; también fue jefe del grupo sur del Ejército Rojo, que en 1940, con el mando de Gueorgui Zhúkov, despojó a Rumania de Besarabia. Como recompensa por sus campañas, Stalin promovió a Vatutin a Teniente General y lo designó Jefe del Directorio Operacional del estado mayor. Sin embargo, a pesar de ser innovador y trabajador, Vatutin no estaba a la altura de este cargo; carecía de experiencia en combate y sus conocimientos tanto del arte operacional como de estrategia eran muy abstractos. A pesar de esto, su origen humilde, el hecho de ser relativamente joven y su ahínco por el partido lo convirtieron en uno de los pocos favoritos de Stalin dentro del ejército soviético. Vatutin, así como el resto del alto mando del Ejército Rojo, no pudieron preparar al ejército para el ataque alemán del 22 de junio de 1941. El 30 de junio de 1941 fue designado Jefe de estado mayor en el frente noroccidental.