Holter ble olympisk mester i seiling under sommer-OL 1920 i Antwerpen. Han vant sammen med Claus Juell, Ole Sørensen, Petter Jamvold, Erik Herseth, Ingar Nielsen og Gunnar Jamvold olympisk gull i klassen med den norske båten «Eleda». Det var kun én båt i denne klassen.