Dyson tiene seis hijos, dos de ellos (Esther y George) de su primera mujer la matemática Verena Huber-Dyson, y los otros cuatro con su segunda mujer, Imme Dyson.