Fonst ble olympisk mester i fekting første gang under OL 1900 i Paris. Han vant den åpne klassen i kårde og han kom på andreplass i kårde for amatørfektmestere. Fire år senere under OL 1904 i St. Louis vant han tre olympiske titler, kårde, og florett både individuelt og i lag.