01年7月16日，罗格在莫斯科的IOC会议上被选为国际奥林匹克委员会主席，替代之前领导IOC达21年之久的萨马兰奇。罗格的IOC政策中，核心的一点是将夏季奥运会的参赛人数限制在10,000以下。他说，他将严格禁止腐败和使用兴奋剂的行为。在2002年冬季奥林匹克运动会上，罗格成为第一个居住在奥运村的国际奥委会主席，并且亲自致力于比赛监督工作。在他的任期中，棒球和垒球在2005年7月的新加坡会议上被表决从奥运会比赛项目中取消，于2012年伦敦奥运会生效。 罗格同时获比利时国王阿尔贝二世封为伯爵。