Grossman bol oslobodený od povinnosti narukovať. Krátko po vypuknutí vojny sa dobrovoľne prihlásil na front, na ktorom strávil viac ako 1000 dní. Začiatkom augusta 1941 sa stal vojnovým korešpondentom pre populárny časopis Červenej armády s názvom Červená hviezda (Krasnaja zvezda). Za krátky čas sa zásluhou nielen svojho spisovateľského talentu, ale aj vďaka snahe dozvedieť sa a opísať "nenašminkovanú tvár vojny", ktorá ho mnohokrát privádzala do životu nebezpečných situácií, stal jedným z najpopulárnejších vojnových korešpondentov v Sovietskom zväze. Opísal významné vojnové udalosti, medziiným bitku o Moskvu, bitku o Stalingrad, bitku v Kurskom oblúku, operáciu Bagration a bitku o Berlín. Okrem vojnových reportáží vyšli v tomto období aj jeho romány, ako napríklad "Ľud nesmrteľný" (Народ бессмертен). Grossman sa v tomto období stal vojnovým hrdinom Sovietskeho zväzu. Román "Stalingrad" (1950), neskôr premenovaný na "Spravodlivá vec" (За правое дело) napísal na základe svojich zážitkov počas obliehania Stalingradu.