Lors de l'invasion allemande de l'Union soviétique, il commandait un régiment de fusiliers du front de l'ouest, en Biélorussie et dans la ville de Iartsevo, dans l'oblast de Smolensk. En , le colonel Gladkov reçut le commandement de la d'infanterie (, premier front ukrainien) et prit part à la bataille de Koursk. Sa division libéra la ville de Rylsk. Au cours de l'automne , elle franchit la Desna et le Dniepr et son chef se vit décerner l'ordre de Souvorov de . En , Gladkov fut promu major-général. En , sa division participa avec succès à l'offensive Vistule-Oder, avançant de .