Su primera esposa fue la matemática Verena Huber-Dyson con quien tuvo dos hijos: Esther y George.