主要由西方人士组织的体育会举办，参与者仅限于驻港英军、商人及外籍公务员等，华人绝少机会或渠道参与。香港木球会于1851年成立，其后香港游艇会及域多利游乐会等相继成立。香港赛马会于1884年成立，于1891年开始举办赛马博彩活动。而英国人亦将在其祖国流行的足球运动带到香港，于1886年建立香港足球会，同时举办特别银牌赛事，分别为全亚洲历史最悠久的职业足球联赛及锦标赛。20世纪初，香港的华人学生在学校开始接触体育运动。1902年，香港基督教青年会成立，致力向华人社区推广体育活动，1918年其属下的中央会所启