Tuvo dos hermanos, Rose Isabel Williams (1909–1996) y Walter Dakin Williams (1919–2008), el preferido de su padre.