El 1939 participà en la invasió de Polònia i a la guerra d'Hivern contra Finlàndia. Durant la Gran Guerra Patriòtica va ser comandant d'un regiment que lluità a Stalingrad i el 1944 passà a comandar la 49a Divisió de Fusellers, amb la que travessà el Dnièper i alliberà la ciutat de Kherson, a Ucraïna, la qual cosa li valgué el títol d'Heroi de la Unió Soviètica. En finalitzar la guerra, Marguèlov encapçalà un regiment durant la Desfilada de la Victòria a Moscou.