Etter at O'Dwyer stilte som Demokratenes utfordrerkandidat ved borgermestervalgene i New York i 1941, men tapte mot den sittende borgermester Fiorello LaGuardia, meldte han seg til United States Army. Der steg han i gradene til brigadegeneral. Fra januar 1945 til dets oppløsning i september 1945 var han direktør for den statlige myndighet War Refugee Board til redning av jøder og andre forfulgte av nazistene. For dette mottok han Legion of Merit.