Leta 1936 je Harbig prvič postal nemški državni prvak v teku na 800 m. To mu je prineslo nastop na domačih Poletnih olimpijskih igrah 1936 v Berlinu, kjer je skupaj s Helmutom Hamannom, Friedrichom von Stülpnaglom in Harryjem Voigtom osvojil bronasto medaljo v štafeti 4x400 m. Sodeloval je tudi v teku na 800 m, a je oslabljen po črevesni okužbi razočaral in v svoji kvalifikacijski skupini zasedel šele šesto mesto. Istega leta je nato pričel delati kot čitalec plinskih števcev za dresdensko podjetje Drewag. Leta 1938 je Harbig osvojil svoj prvi mednarodni naslov, saj je na Evropskem prvenstvu 1938 v Helsinkih pometel s konkurenco in postal novi evropski prvak v teku na 800 m. Zlato je osvojil še z nemško štafeto 4x400 m in tako iz finske prestolnice prinesel dva evropska naslova.