在夺得世界杯冠军后，格拉博夫斯基、盖德·穆勒和沃尔夫冈·奥弗拉特均结束了各自的国家队生涯，年轻的保罗·布莱特纳也远走西班牙加盟皇家马德里。他们所留下的空隙，尤其是盖德·穆勒离开所带来的损失最为沉重。但作为国家队主教练的舍恩已无法再浪费时间，因为1976年欧洲足球锦标赛预选赛在1974年11月便已开始。在四分之一决赛中，西德队与西班牙相遇，他们先是在1976年4月24日于马德里进行的首回合较量中以1比1战平对手，次回合回到慕尼黑主场后又以2比0取得胜利。因此，卫冕冠军得以晋级在1976年6月于南斯拉夫所举办的半决赛。经过加时赛以4比2击败东道主后，西德队又进军在6月17日于贝尔格莱德举行的决赛，其中在第79分钟由科隆前锋迪特·穆勒入替赫伯特·威默的换人尤为关键，前者在他参加的首场国际比赛中便包办了球队的最后3个入球。最终的决赛西德队与捷克斯洛伐克在常规时间内战成2比2平，并由后者通过点球大战以5比3胜出。尽管如此，舍恩的团队仍被媒体视为当时欧洲最优秀的球队，然而他对这种优越感或特殊的地位并不愿谈论得太多。