Han deltok som korporal i den amerikanske hærens landgang i Normandie på Omaha Beach, Ardenneroffensiven og kampen om Remagen bro. I februar 1945 ble han overført til general Pattons hovedkvarter med oppdrag å etablere et kontor for etterforskning og straffeforfølgelse av krigsforbrytere. Han var tilstede ved frigjøringen, eller kort tid etter frigjøringen, av Buchenwald, Mauthausen, Flossenburg og Ebensee konsentrasjonsleirer. I konsentrasjonsleirene hadde han blant annet i oppgave å samle bevis. I Ebensee var han vitne til at en av vaktene ble torturert til døde av de frigjorte fangene. I ettforskningen av krigsforbrytelser truet i noen tilfeller med å skyte vitner som ikke snakket, uvitende om at informasjon fremskaffet ved slike trusler ikke ville være gyldige i retten. Ferencz var med til Berghof, Hitlers da delvis utbombede landsted, på jakt etter dokumenter. Ferencz deltok i etterforskningen av IG Farben, og beretter selv om hvordan han ved overtalelse og flaks klarte å skaffe dokumenter om IG Farbens virksomhet under krigen.