Gygax spent his early childhood in Chicago, but in 1946, after he was involved in a brawl with a large group of boys, his father decided to move the family to Lake Geneva, Wisconsin, where Gary's mother's family had settled in the early 19th century.
Детство он провёл в Чикаго, серьёзно конфликтовал с детьми из соседнего квартала, участвовал в массовых драках, из-за чего в 1946 году семья переехала в город Лейк-Дженива, штат Висконсин, где семья матери Гэри жила с начала XIX века.