Dyrssen ble olympisk mester i moderne femkamp i OL 1920 i Antwerpen. Han vant konkurransen foran tre landsmenn. Fire år senere, i OL 1924 i Paris, kom han på andreplass bak landsmannen Bo Lindman. Tolv år senere, i OL 1936 i Berlin var han med på det svenske fektelaget som kom på andreplass i lagkonkurransen i kårde.