热爱体育，尤其足球，早年组织有「荣小足球队」及「卓然队」，更亲自落场在湾仔修顿球场与其他小型球队比赛。及后更成立东昇足球队加入香港甲组足球联赛，亦曾长时间担任香港左派球会愉园体育会会长一职。1970年出任香港足球总会会长，成为首位华人会长。霍英东亦喜爱羽毛球、网球与象棋，曾获得两届全港网球双打冠军。也是香港象棋总会的荣誉会长。1958年8月19日，中华人民共和国鑑于不少国际体育组织均视中华民国为代表中国的合法政府，与国际奥委会断绝关系，同时北京方面也极力反对国际上将台湾视爲独立国家，继而在其他国际单项体