עם פלישת הצבא הנאצי לברית המועצות ב-1941 גויס על ידי הצבא האדום והיה כתב צבאי של העיתון "הכוכב האדום" בחזית. הוא ליווה את הכוחות בקרבות מוסקבה וסטלינגרד, בשחרור אוקראינה, בלארוס, פולין ובכיבוש ברלין. במהלך המלחמה, בנוסף למאמרים בעיתון, כתב נובלה בשם "העם הבלתי מנוצח", וכן אוסף סיפורים קצרים תחת השם "רישומי סטלינגרד". בשטחים המשוחררים של ברית המועצות ופולין התגלו לעיניו זוועות השואה שפקדה את היהודים. במיוחד השפיע עליו ביקורו במחנות ההשמדה מיידנק וטרבלינקה. את מה שראה שם תיאר במאמרו "הגיהנום הטרבלינקאי". מאמר זה שימש כמסמך תביעה במשפטי נירנברג. בין 1944–1946 החל גם לאסוף עדויות של ניצולי שואה, על בסיסן נכתב ביחד עם העיתונאי איליה אהרנבורג "הספר השחור". זהו תיעוד דוקומנטרי ראשון לשואת יהדות אירופה. הספר לא אושר לפרסום בברית המועצות, אך קטעים ממנו הוברחו למערב וראו אור בארצות הברית, כעבור שנים גם ברומניה וב-1980 גם בישראל.