Heiberg gjorde seg spesielt bemerket gjennom sin jobb som president for LOOC, organisasjonskomiteen for Vinter-OL på Lillehammer (1989–1994). I 1994 ble han medlem av IOK og var styremedlem i samme organisasjon fra 2003 til 2017. Deretter æresmedlem. Han var også medlem av koordineringskomitéen for vinter-OL i Nagano, og koordineringskomitéen for vinter-OL i Salt Lake City. I 2018 ble han rangert som nummer 10 på en liste over verdens mektigste personer innen sport, av det uavhengige internasjonale nyhetsbrevet "Sport Intern". Han ble også møtt med en del kritikk under tiden han var IOC-medlem. Blant annet så ble han møtt med forholdsvis mye kritikk i 2008 etter at han offentlig gikk ut og avviste kritikken som hadde blitt rettet mot Kina i forbindelse med at de skulle arrangere Sommer-OL i 2008. Bakgrunnen var menneskerettighetssituasjonen i Kina og at de like før OL hadde slått ned opptøyer i Tibet.