W latach 1978-1984 był selekcjonerem reprezentacji RFN U-21 i jednocześnie asystentem Juppa Derwalla w dorosłej kadrze. W tym czasie drużyna narodowa zdobyła mistrzostwo Europy (1980) i wicemistrzostwo świata (1982). Po nieudanych Mistrzostwach Europy 1984 Derwall podał się do dymisji, a trenerem kadry miał zostać, zgodnie z niemiecką tradycją, w której reprezentację przejmował asystent odchodzącego selekcjonera, Ribbeck. Jednak szefowie krajowej federacji postanowili, że sukcesorem Derwalla będzie Franz Beckenbauer.