Olsen vant en olympisk sølvmedalje i turn under OL 1912 i Stockholm. Han var med på det danske laget som kom på andreplass i lagkonkurransen i mangekamp svensk system bak Sverige. Det var tre lag fra tre nasjoner som var med i konkurransen som ble avholdt på Stockholms stadion.