Olstad vant en olympisk bronsemedalje i turn under OL 1912 i Stockholm. Han var med på det norske laget som kom på tredje og siste plass i lagkonkurransen i mangekamp svensk system bak Sverige og Danmark. Det var kun tre lag fra tre nasjoner som var med i konkurransen som ble avholdt på Stockholms stadion.