Fitch gikk på Gordon High School og begynte på Chadron State College, hvor han gikk i tre år før han ble tatt opp i U.S. Army i 1943. Senere graduerte han fra McGill University med en bachelorgrad i elektroteknikk i 1948 og fullførte en filosofisk doktorgrad i fysikk i 1954 ved Columbia University. Under andre verdenskrig var han en del av Manhattanprosjektet ved Los Alamos National Laboratory. Han arbeidet ved Princeton University.