Richards kom på tredjeplass i stavkonkurransen under OL 1948 i London og fire år senere under OL 1952 i Helsingfors vant han med et hopp på 4,55 m som var ny olympisk rekord. Landsmannen Donald Laz tok sølv på 5,50 m og Ragnar Lundberg fra Sverige bronse med høyden 4,40 m. Richard vann sin andre olypiske tittel i stavsprang under OL 1956 i Melborne. Han satte sitt andre olympiske rekord, 4,56 m, en centimeter høyere en forrige gang og tre centimeter høyere enn sølvvinneren amerikaneren Robert Gutowski. Bronesmedaljen gikk Georgios Roubanis fra Hellas med høyden 4,50 m. Richards er den eneste som har forsvart sin tittel i stavsprang og vunnet to olympiske gull.