I løpet av hans presidentskap møtte den olympiske bevegelse motgang, økonomiske problemer etter sommer-OL 1976 i Montréal og boikotten ved sommer-OL 1980 i Moskva. IOK valgte i perioden Lake Placid, New York og Los Angeles, California som vertskap for vinter-OL 1980 og sommer-OL 1984 uten konkurrerende byer. Killanin trakk seg etter Moskva-OL i 1980, og ny president ble Juan Antonio Samaranch.