Jako przewodniczący MKOl przeciwstawiał się komercjalizacji igrzysk, przez co stopniowo tracił autorytet. Odmówił przywrócenia złotego medalu Jimowi Thorpe’owi, odebranego mu po ujawnieniu, iż grał w baseball przed udziałem w igrzyskach w 1912. Był również przeciwnikiem dopuszczenia kobiet do igrzysk. Sprzeciwiał się również upolitycznieniu sportu. Podczas igrzysk olimpijskich w Meksyku w 1968 wyrzucił z wioski olimpijskiej sprinterów Tommiego Smitha i Johna Carlosa za polityczny gest podczas ceremonii medalowej. Podczas Zimowych Igrzysk Olimpijskich 1972 w Sapporo został odznaczony Orderem Wschodzącego Słońca I klasy. W 1972 podczas igrzysk olimpijskich w Monachium wsławił się decyzją nieprzerwania imprezy po zamachu organizacji Czarny Wrzesień na reprezentację Izraela, podczas którego zginęło jedenastu sportowców. Wkrótce po igrzyskach ustąpił z zajmowanego stanowiska.