Na Harvardově univerzitě promoval v roce 1943. Poté se mu konečně podařilo vstoupit do armády a to do dělostřeleckého oddílu. Byl zapojen do vylodění v Normandii, v Bitvě v Ardenách a bojů u Siegfriedovy linie. Na konci roku 1944 mu bylo jasné, že se Němci dopustili vysoce závažných válečných zločinů. Když 3. armáda generála George S. Pattona založila útvar pro vyšetřování válečných zločinů, Ferencz se stal jedním z vyšetřovatelů. Jako člen tohoto útvaru se Ferencz mimo jiných podílel na osvobozování a vyšetřování koncentračních táborů Buchenwald, Mauthausen a Flossenbürg. Zde byl svědkem otřesných výjevů, které ho traumatizovaly po zbytek života. Ferencz byl čestně propuštěn z armády v prosinci roku 1945. Poté se vrátil do New Yorku, kde si 31. března 1946 vzal svoji ženu Gertrudu.