Sus primeros cinco hijos (Ernest Gary Jr., Lucion Paul, Heidi Jo, Cindy Lee y Mary Elise) eran de su matrimonio con Mary Jo Gygax y el último (Alexander Hugh) de su segundo matrimonio.