Valmennusuransa Osieck aloitti 1977 Vancouver Whitecapsin pelaajavalmentajana. Kanadassa vietetyn vuoden jälkeen hän palasi Saksaan ja siirtyi 1979 Saksan jalkapalloliiton palvelukseen juniorivalmentajaksi. Hän palveli DFB:ta pitkään siirtyen 1987 Franz Beckenbauerin apulaisvalmentajaksi A-maajoukkueeseen. Yhdessä "Keisarin" kanssa Osieck luotsasi Saksan välieriin EM-kisoissa 1988 ja maailmanmestariksi 1990. Osieck jatkoi yhteistyötä Beckenbauerin kanssa syyskuussa 1990 ranskalaisessa Olympique de Marseillessa, mutta kaksikon yhteistyö päättyi potkuihin jo tammikuussa 1991.