게이 게임스는 1982년 미국 캘리포니아주 샌프란시스코에서 국제 스포츠 대회에서의 다양성 정신을 고양시키고 성소수자들 개개인의 스포츠 참여를 독려하고자, 1968년 하계 올림픽 선수이자 의학 박사인 톰 와델과 성소수자 운동가 리키 스트레이처의 주도로 게이 올림픽(Gay Olympics)이라는 명칭으로 시작되었다. 그러나 설립 직후 국제 올림픽 위원회(IOC)가 올림픽 명칭에 대한 상표권 소송을 걸어 현재의 명칭 게이 게임스로 바뀌었다. 한편, 스톤월 항쟁 25주년을 맞이하여 1994년 뉴욕에서 열린 게이 게임즈에는 10,864명의 선수들이 참여하여 1992년 하계 올림픽과 1996년 하계 올림픽의 참가 선수 9,356명과 10,318명을 뛰어 넘기도 하였다.