1952 folgte Brundages Wahl zum IOC-Präsidenten. In dieser Funktion verfolgte er rigoros Verstöße gegen den Amateurismus und wehrte sich gegen jegliche Kommerzialisierung der Olympischen Spiele, selbst als seine Ansichten immer weniger mit den Realitäten des modernen Sports übereinstimmten. Seine letzten Spiele als Präsident im Jahr 1972 wurden von dem Münchner Olympia-Attentat überschattet. Brundage prangerte die Politisierung des Sports an und weigerte sich, die Spiele abzubrechen („die Spiele müssen weitergehen“) – eine Haltung, die in verschiedenen Kreisen auf Kritik stieß. Als Privatmann war Brundage Sammler von asiatischen Kunstwerken, mit seinen Schenkungen begründete er das Asian Art Museum in San Francisco.