Après la signature des accords Sikorski-Maïski en 1941, il est libéré du camp et peut rejoindre l'Armée Polonaise en formation sur le territoire soviétique. Avec cette armée nommée Deuxième Corps Polonais, il passe en 1942 en Iran, puis en Palestine. En 1943, il y rencontre Jerzy Giedroyc et Józef Czapski et devient leur ami. Comme soldat du Deuxième Corps Polonais du général Anders, Herling-Grudziński fait la campagne d'Italie, participe à la Bataille de Monte Cassino. Pour ses faits d'armes, il est décoré de l'ordre "Virtuti Militari" - la plus haute distinction militaire polonaise.