Nach dem deutschen Überfall auf die Sowjetunion 1941 blieb seine Mutter in Berditschew und wurde mit mehr als 20.000 bis 30.000 anderen Juden ermordet. Grossman wurde vom Einsatz in der Armee freigestellt, meldete sich aber freiwillig zur Front, wo er mehr als 1000 Tage verbrachte. Er wurde Kriegsreporter für die populäre Zeitung der Roten Armee "Krasnaja Swesda" (Roter Stern). Er schilderte die großen Ereignisse des Krieges, darunter die Schlacht um Moskau, die Schlacht von Stalingrad, die Schlacht um Kursk, die sowjetische Rückeroberung Weißrusslands und die Schlacht um Berlin. Außer seinen Kriegsreportagen wurden seine Romane wie "Dies Volk ist unsterblich" (Народ бессмертен) veröffentlicht, und er wurde als Kriegsheld angesehen. Der Roman "Stalingrad" (1950), später in "Die gerechte Sache" (За правое дело) umbenannt, beruht auf seinen Erfahrungen während der Belagerung.