尤妮斯·玛丽·肯尼迪始建于1962年。史瑞佛身心障碍的姐姐也经常被认为给她创建特奥会的启发。第一届的国际特殊奥林匹克运动会于1968年于美国芝加哥举行。而第一届的冬季特殊奥林匹克运动会则是1977年于美国科罗拉多州的斯廷博特斯普林斯举行。国际奥林匹克委员会于1988年正式认可特殊奥林匹克运动会，批准其可使用「Olympics」命名。2006年7月，第一届的美国特殊奥林匹克运动会于爱荷华州立大学举行，全美国50州与哥伦比亚特区均组队参加。现任特奥会主席与执行长是蒂姆·施莱弗。