L'any 1952 fou nomenat President del Comitè Olímpic Internacional després de la renúncia del suec Edström. Brundage serví en aquest càrrec fins al 1972. Durant el seu mandat rebé diverses crítiques, especialment per la falta de referències a la Massacre de Munic realitzada durant els Jocs Olímpics d'estiu de 1972 realitzats a Munic (Alemanya Occidental).