בשנים שלאחר המלחמה נפל גרוסמן קורבן לרדיפות המשטר בשל יהדותו (בין 1948–1953). ספריו לא פורסמו, והוא נאלץ לעבוד בעבודות מזדמנות. למרות זאת המשיך לכתוב ספרים. ב-1959 כתב את ספרו "החיים והגורל" (Жизнь и судьба), העוסק בקרב סטלינגרד ומציג יריעת חיים רחבה בחלקים שונים של רוסיה במגזרי אוכלוסייה שונים, תוך התמקדות ביהודים (הספר היה אסור לפרסום במשך כ-20 שנה). ב-1961 כתב את ספרו "הכל זורם" (Всё течёт), שהיה תיעוד של פשעי הדיקטטורה הסטליניסטית, התנכלויות לאנשי רוח ומדענים, הרדיפות נגד יהודים, משפטי הראווה של בכירי הרופאים היהודים, מחנות המאסר (הגולאגים) וכן מדיניות הקולקטיביזציה והרעב הגדול באוקראינה. ספרים אלה פורסמו בברית המועצות רק בתקופת הגלאסנוסט בסוף שנות ה-80, כעשרים שנה לאחר מותו.