1981年10月2日，在前联邦德国巴登巴登召开的国际奥林匹克委员会第84次全会上，何振梁当选为国际奥林匹克委员会委员，也是第一位中国籍的国际奥委会委员。在国际体育组织中，何振梁还曾担任各国体育总会国际大会主席团副主席。1985年6月5日，在前民主德国东柏林召开的国际奥委会第90次全会上，何振梁全票当选为国际奥委会核心决策机构——执行委员会的委员，之后又分别在1994年9月5日巴黎第103次全会和1999年10月20日汉城第109次全会上两次全票当选(1985-1989，1994-1998，1999-200