Quan va esclatar la Segona Guerra Mundial (anomenada Gran Guerra Patriòtica a l'URSS) el 1941,la mare de Grossman va ser capturada, i posteriorment assassinada, a Berdýtxiv amb 20000 o 30000 jueus que no s'havien evacuat. Grossman estava exempt de fer el servei militar, però es va presentar voluntari per anar al front, on va passar més de 1000 dies. Es va convertir en corresponsal de guerra del popular diari de l'Exèrcit Roig "Kràsnaia Zvezdà" (Estrella Vermella). Mentre la guerra s'enduria, en va cobrir els seus principals esdeveniments: la Batalla de Moscou, la Batalla de Kursk, la Batalla de Stalingrad i la Batalla de Berlín. De manera paral·lela al seu treball com a periodista, les seves novel·les (com per exemple "El poble és immortal" (Народ бессмертен)) s'estaven publicant als diaris i va arribar a ser considerat un heroi de guerra. La novel·la "Stalingrad" (1950), titulada més tard "Per una causa justa" (За правое дело), està basada en les seves experiències durant el setge.