Kiedy hitlerowskie Niemcy uderzyły na ZSRR w 1941 roku, matka Grossmana znalazła się w zajętym przez Niemców Berdyczowie, gdzie podzieliła los 20 000 do 30 000 zamordowanych Żydów, którzy nie zdołali uciec z miasta. Grossman zgłosił się na ochotnika na front, ale został uznany za niezdolnego do służby wojskowej; zgłosił się więc do redakcji gazety Armii Czerwonej „Krasnaja Zwiezda”, gdzie na własną prośbę został korespondentem wojennym. W trakcie trwania zmagań opisywał największe bitwy: pod Moskwą, stalingradzką, na łuku kurskim i berlińską. Obok reportaży z pola bitwy w gazetach ukazywały się jego opowiadania (jak na przykład "Naród nieśmiertelny" (Народ бессмертен)). Powieść "Stalingrad" (1950), wydana później pod zmienionym tytułem "Za dobrą sprawę" (За правое дело), oparta została na jego osobistych przeżyciach.