En 1941, après l'invasion allemande de l'URSS, Kaczorowski, comme la plupart des captifs polonais encore en vie, est "amnistié" après les accords Sikorski-Maïski autorisant la formation en URSS d'une armée polonaise, et il entre dans le d'armée du général Anders. Comme soldat, il participe à la campagne d'Italie et se bat entre autres à Monte Cassino.