智障人士体育协会由一群热心为智障人士服务的专业人员于1978年成立，借用天保民学校为暂时会址。直到2004年去世前方心让教授一直担任协会的荣誉会长。1980年位于白田上邨由社会福利署资助的会址揭幕，于1986年1月迁往沥源邨现址，新会址获得「白普理基金」赞助，内设「白普理体能训练中心」，由协会赞助人尤德夫人主持开幕。1999年註册为有限公司。2003年获「香港赛马会慈善信託基金」拨款装修会址及加强设施。1979年筹措25万港元首次派出12名运动员参赛在美国纽约举行的「第五届国际特殊奥运夏季世界赛」（Sp