Ernest Gary era el hijo de Martin Gygax (pronúnciese «Ghe-gox» en suizo alemán, y «Guy-gacks» en inglés estadounidense), un inmigrante suizo, y de una madre estadounidense.