Efter andra världskrigets utbrott grundade Herling tillsammans med några kamrater den 15 oktober 1939 en av de första polska motståndsrörelserna, som kallades Polska Ludowa Akcja Niepodległościowa (PLAN, Polska Folkiga Oavhängighet Aktion). I mars 1940 försökte Herling att lämna den sovjetockuperade delen av Polen och komma in i Litauen som vid den tiden var en suverän stat. Han blev emellertid röjd av de lejda vägledarna för NKVD och arresterades. Herling dömdes summariskt till 5 års fängelse i Gulag och sattes i läger i Kargopol och Yertsevo, i det ryska länet Archangelsk oblast. Sedan Nazityskland invaderat Sovjetunionen i juni 1941 undertecknades Sikorski-Mayskij-avtalet mellan Polen och Sovjetunionen. Detta innebar amnesti för polska fångar i läger och fängelser. Herling-Grudziński var dock tvungen att först genomföra en dramatisk hungerstrejk, för att genomdriva sina rättigheter att bli frisläppt. Till sist befriades han den 20 januari 1942. Den förskräckliga tiden i lägret skildrade Herling-Grudziński i romanen "En värld för sig". I mars samma år anslöt han sig till general Anders armé vid Lugowoje. Han kämpade med armén och deltog bland annat vid slaget om Monte Cassino. För tapperhet i strid belönades han med Virtuti Militari orden.