Drescher vant en olympisk sølvmedalje i fotball under OL 1908 i London. Han var målvakt på det danske fotballandslaget som kom på andreplass i OL-turneringen bak Storbritannia. Danmark vant over Frankrike II med 9-0 og de slo Frankrike I med hele 17-1 i semifinalen. I finalen tapte de til Storbritannia med 0-2. Drescher var målvakt og spilte alle tre kampene.