La invasión alemana a la URSS del 22 de junio de 1941 encuentra a Cherniajovski como jefe de la 28º División de Tanques, en el área de Lituania. Lanzado al combate de inmediato, las acciones de Cherniajovski al frente de su división ocurrieron en la zona de Shauliai, Lituania dónde logró maniobrar y resistir a las fuerzas alemanas sin ser cercado, haciendo uso de tácticas innovadoras y a pesar de contar con material bélico poco moderno (tanques BT-7 y T-26) y asegurar la retirada de otras unidades del Ejército Rojo. En esta época estableció una fuerte amistad con Nikolai Vatutin, quién luego sería varias veces su jefe en otros momentos. Fue parte fundamental de la defensa de Novgorod. En junio de 1942 fue ascendido a comandante del 18º Cuerpo de Tanques que defendía Vorónezh, y solo un mes después asumió el mando del 60º Ejército.