Olsen vant en olympisk sølvmedalje i fotball under OL 1912 i Stockholm. Han var med på det danske fotballandslaget som kom på andreplass i OL-turneringen bak Storbritannia. Danmark vant over Norge med 7-0 og de slo Nederland med 4-1 i semifinalen. I finalen tapte de til Storbritannia med 2-4. Olsen spilte alle tre kampene i OL-turneringen og scoret sju mål. Han spilte totalt 16 kamper på landslaget og scoret 14 mål.