Des de l'inici de la Gran Guerra Patriòtica, la creació del 27è Cos finalitza la seva formació és desplegat a Briansk. El 8 de juny de 1941, la Stavka, basant-se en l'experiència dels primers dies de la guerra, accepta la divisió dels cossos d'exèrcit en divisions cuirassades com a noves unitats. El 15 de juliol de 1941 es dissol el comandament del 27è Cos Cuirassat, i Petrov és nomenat comandant de la divisió de cavalleria. El 20 d'agost és nomenat comandant de la 25a divisió d'infanteria "Txapaev", l'objectiu de la qual és la defensa d'Odessa. El 5 d'octubre, Petrov accepta el nomenament de cap de l'Exèrcit de Primorskie. Petrov dirigí l'evacuació de les tropes soviètiques d'Odessa fins a la península de Crimea. Entre 1941 i 1942 va ser un dels comandants de la defensa de Sebastòpol, comandant l'exèrcit de Primorkie i el 44è Exèrcit. Durant l'estiu de 1942 aconsegueix resistir dos mesos l'assalt alemany, immobilitzant un munt de tropes alemanyes; però quan la ciutat està a punt de caure, Petrov i d'altres caps de la defensa són evacuats en submarí. Sentint-se responsable de la derrota, Petrov intentà suïcidar-se, però va ser detingut pels seus companys. Des d'octubre de 1942 és comandant en Grup de Forces del Mar Negre del Front del Transcaucas, participant en la defensa del Caucas, especialment en l'operació defensiva de Tuapse. El 14 d'octubre de 1942 és promogut a tinent general.