Richardt Madsen deltog ved Europamesterskaberne i amatørboksning i 1925 i Stockholm, hvor han vandt bronze. Han deltog endvidere i den olympiske bokseturnering ved OL i 1928 i Amsterdam, hvor han vandt sin første kamp over ireren George Kelly, men tabte i næste runde til franskmanden Georges Boireau.