Na de Tweede Wereldoorlog begon Schön zijn trainerscarrière in de Sovjet-bezettingszone in Duitsland. Nadat zijn vereniging Dresden-Friedrichstadt door het DDR-regime in 1950 was opgeheven, vertrok Schön met tien medespelers naar Hertha BSC in West-Berlijn, waar hij trainer werd. Tussen 1952 en 1956 was hij bondscoach van Saarland. Sepp Herberger haalde hem vervolgens als assistent bij West-Duitsland, waar hij in november 1964 de eindverantwoording kreeg. Onder leiding van Schön werd West-Duitsland tweede op het WK van 1966, derde op het WK van 1970, won hij het EK van 1972, won hij het WK van 1974 en werd tweede op het EK van 1976. Zijn laatste grote toernooi was het WK van 1978 met West-Duitsland, waar de ploeg strandde in de groepsronde. Tijdens zijn veertien jaar als bondscoach behaalde hij zevenentachtig overwinningen en dertig gelijkspelen in honderdnegenendertig interlands. Hij houdt het record voor de meeste interlands (25) op een WK, evenals de meeste overwinningen (16). Schön werd tevens de eerste trainer die zowel Europees als wereldkampioen werd.