1940年の東京五輪・札幌五輪を控えた1939年（昭和14年）、高石はIOC委員に就任するが、これがJOCを経ないでの推薦による委員就任だったことや、オリンピックの開催中止、第二次世界大戦およびそれに伴う自身の公職追放などもあり、高石がIOC委員としての活動を本格化させるのは1952年（昭和27年）のヘルシンキオリンピックからとなる。