作为曾在1952年至1956年短暂执教萨尔足球代表队的主教练，舍恩开始将西德队打造为世界足坛一支稳定的劲旅。他率队进入了1966年世界杯决赛，尽管在1968年、队史首次征战欧洲足球锦标赛的外围赛时铩羽而归，但他在1970年世界杯再获季军。随后，球队迎来最大的成就——在1972年赢得首个欧洲冠军；紧接着在1974年世界杯，德国作为东道主于决赛击败荷兰后，第二度加冕世界冠军。舍恩也因此成为全球首个同时赢得世界杯及欧锦赛冠军的主教练，这一成就直至28年后才由西班牙的-{zh-hans:比森特·德尔·博斯克;zh-hk:維辛迪·迪保斯基;zh-tw:比森特·德爾博斯克;}-再次达到。在1976年，西德队战至决赛才以点球大战不敌捷克斯洛伐克，卫冕欧洲冠军失败。在1978年世界杯前夕，舍恩宣布这是他的最后一届大赛，但却未能高调离任，因为球队在第二轮便遭邻国奥地利淘汰。他在退休前共指挥了25场世界杯比赛并赢得16场，两届大赛冠军的成就至今（在队内）无人能破。