Richter var den yngste av tre barn, og han ble tidlig interessert i luftfart. På high school var han populær og klassens leder i fire år, selv om han var langt bedre i idrett enn i boklige fag. 18 år gammel var han allerede en god pilot, men ikke lysten på mer skolegang og søsteren Betty May oppfordret ham til å søke seg til United States Air Force Academy. Richter var ikke sikker på å bli antatt siden han ikke var akademisk sterk, men søknaden hans ble støttet av senator Philip Hart fra Michigan, og kongressmannen William Broomfield. 3. juni 1964 ble han uteksaminert fra USAAF der han hadde utmerket han seg mer i sport som rugby, fotball, amerikansk fotball og boksing enn i de akademiske fagene. Han fikk da graden sekondløytnant og trådte inn i det regulære luftvåpenet.