Hij werd onder andere op beschuldiging van het meeheulen met de vijand (Groot-Brittannië toen) en als vermeend Duits spion (vanwege zijn Duits klinkende naam) veroordeeld tot 10 jaar dwangarbeid in de goelag. Na enkele maanden in de gevangenis van Vitebsk vertrok hij in de herfst van 1940 naar het Kargopol-goelagkamp in de Archangelsk-regio. Toen hij de dood nabij was, uitgehongerd en met scheurbuik en pellagra, werd hij begin 1942 in het kader van het Pools-Sovjet vredesverdrag (Sikorski-Mayski overeenkomst) vrijgelaten. Na een omzwerving door de Sovjet-Unie kwam hij aan in Kazachstan, waar hij zich aansloot bij het Poolse 2e Korps van generaal Władysław Anders, dat in 1944 mee Italië bevrijdde. Herling-Grudziński ontving de hoogste Poolse militaire dapperheidsonderscheiding ("Virtuti Militari") voor zijn acties tijdens de Slag om Monte Cassino.