Minsk fue ocupada por los invasores alemanes el 26 de junio de 1941. Kozlov permaneció detrás de las líneas enemigas y fue nombrado jefe del Partido Comunista clandestino de Voblast en julio. Se le encomendó la organización de actividades de resistencia y dirigió a los partisanos de Minsk hasta el final de la ocupación alemana. A mediados de 1942, estaba al mando de una fuerza que constaba de unos 50.000 miembros. En septiembre, viajó a Moscú para informar sobre la situación en Bielorrusia. Allí, recibió el título de Héroe de la Unión Soviética el 1 de septiembre de 1942. Como comandante de uno de los destacamentos partidistas más grandes de la república ocupada, se le otorgó el rango de General de División el 16 de septiembre de 1943 En julio de 1944, el Ejército Rojo liberó Minsk. Kozlov siguió siendo el presidente del comité regional del Partido Comunista de Minsk Voblast, cargo que ocupó durante cuatro años más.