Rogge ble valgt til president for IOK 16. juli 2001 ved IOK-sesjonen i Moskva. Han etterfulgte Juan Antonio Samaranch, som hadde ledet IOK siden 1980.