Tuvieron cinco hijos (incluyendo a la autora Tessa Dahl), uno de los cuales, Olivia Twenty Dahl, falleció de encefalitis por el virus de sarampión a la edad de siete años, en 1962.