Au poste de président, Brundage défend l'amateurisme et combat la commercialisation des Jeux olympiques, bien que ses positions soient vues comme déconnectées du sport moderne. Ses derniers Jeux en tant que président, organisés à Munich en 1972, sont marqués par la polémique : à la cérémonie commémorative suivant le meurtre de onze athlètes israéliens par des terroristes, Brundage décrie la politisation du sport et, refusant d'annuler les épreuves restantes, déclare que . Cette phrase est applaudie par le public, mais la décision de poursuivre les Jeux sera fortement critiquée par la suite. Ses actions en 1936 et 1972 seront vues comme des marques d'antisémitisme.