Fisher ble olympisk mester i skyting tre ganger under OL 1920 i Antwerpen. Han vant både den individuelle og lagskytingen i 300 meter rifle. Han var også med på det amerikanske laget som vant lagskytingen 300 meter armégevær liggende. Fire år senere, under OL 1924 i Paris vant han to gullmedaljer, individuelt og i lagskyting med frigevær.