Under andra världskriget stannade Rómmel i den tyskockuperade delen av Polen. Han greps under Aktion AB 1940 och tillbringade resten av kriget i de tyska koncentrationslägren Dachau (koncentrationsläger) och Mauthausen-Gusen.