放人，最后还是国家体委主任贺龙亲笔写信给他的老下级、二机部部长赵尔陆，才使何振梁于1955年顺利调到国家体委，负责国际联络工作。1964年起历任中国体操协会副秘书长，中国乒乓球协会秘书长，中华全国体育总会秘书处主任。文化大革命期间，何振梁被国家体委的“造反派”打成“修正主义苗子”、“反革命”，把他弄去烧锅炉，当木工；后又被下放山西屯留劳动，直到1971年才调回北京。1979年起历任中华全国体育总会副秘书长，中国奥林匹克委员会副秘书长，国家体委国际联络司司长，中国奥林匹克委员会执委，中华全国体育总会常委、副主