Andersen deltok i to OL (Stockholm 1912 og Antwerpen 1920). Han var Norges lagkaptein i Antwerpen, hvor Norge sensasjonelt slo forhåndsfavorittene . Etter OL ble han tatt ut som venstre half på «All Star Team».