In 1970 werd hij assistent van de West-Duitse bondscoach Helmut Schön. Na diens vertrek acht jaar later volgde Derwall hem op. Onder Derwall won West-Duitsland het EK van 1980. Op het WK van 1982 werd, na een moeizaam begin, de finale opnieuw bereikt, maar daarin werd met 3-1 verloren van Italië. Nadat West-Duitsland op het het EK van 1984 in de eerste ronde werd uitgeschakeld keerde de boulevardpers zich tegen de trainer, die daarop ontslag nam en opgevolgd werd door de onervaren Franz Beckenbauer.