De neste tre lekene ble hver rammet av boikotter, og i Sommer-OL 1976 i Montréal var kun 92 nasjoner representert. 29 afrikanske nasjoner (med unntak av Elfenbenskysten og Senegal) boikottet lekene på grunn av New Zealands deltakelse, ettersom New Zealand opprettholdt sportslige relasjoner med apartheid-regimet i Sør-Afrika. Den mest omfattende OL-boikotten gjennom tidene rammet Sommer-OL 1980 i Moskva, der kun 81 nasjoner deltok. USA ledet boikotten i protest mot den sovjetiske invasjonen i Afghanistan i desember 1979, og ble støttet av mer enn 60 andre nasjoner, deriblant Norge. En del nasjoner støttet boikotten delvis, men deltok likevel under OL-flagget. Som svar på boikotten, ble Sommer-OL 1984 i Los Angeles boikottet av Sovjetunionen og mange av deres allierte, men totalt 140 nasjoner deltok likevel. Sommer-OL 1988 i Seoul satt nok en gang ny rekord, med 160 deltakende nasjoner.