Niepowodzeniem dla Polaków zakończyły się kolejne eliminacje do ME 1976 w silnie obsadzonej grupie m.in. z Włochami i Holandią. 10 września 1975 drużyna Górskiego wygrała u siebie z wicemistrzami świata Holendrami 4:1. W rewanżu w Amsterdamie lepsi okazali się jednak "Pomarańczowi", którzy wygrali 3:0. Oba mecze Polaków z Włochami zakończyły się wynikiem bezbramkowym. Latem 1976 Polacy wzięli udział w IO 1976 w Montrealu, w których jako obrońcy tytułu mieli zapewniony udział. Na inaugurację bezbramkowo zremisowali z Kubą, potem pokonali kolejno Iran, Koreę Północną, a w półfinale amatorską Brazylię. W finałowym spotkaniu z Niemcami Wschodnimi przegrali 1:3 i zdobyli ostatecznie srebrny medal. Andrzej Szarmach z 6 bramkami został królem strzelców turnieju. Wyniki zmagań uznano w kraju za porażkę i w tej atmosferze Kazimierz Górski odszedł ze stanowiska.