Rogge var president i den belgiske olympiske komité fra 1989 til 1992 og president i den europeiske olympiske komité fra 1989 til 2001. Han ble medlem av IOK i 1991. Rogge ble visepresident i IOKs medisinske kommisjon i 1994 og ble styremedlem i selve IOK i 1998.