Etter 20 år som president gikk Brundage av etter OL i 1972, og overlot ledelsen av IOK til den irske adelsmannen Lord Killanin.