Groves tok eksamen fra United States Military Academy ved West Point i 1918 og tjenestegjorde i ingeniørkorpset i hele hans militære karriere. Han ledet Manhattanprosjektet fra september 1942, da han ble utnevnt til brigadegeneral, og frem til ansvaret for kjernevåpenproduksjonen ble overtatt av Atomic Energy Commission i 1947.