Toda la familia Dutilleux amaba la música: su padre, impresor y librero, tocaba en sus ratos libres el violín como aficionado; su madre era pianista; su hermana mayor, Hélène, estudiaba y tocaba bastante bien el violín; su otra hermana, Paulette, fue una dotada pianista; su hermano Paul, tocaba el cello, Henri, el menor, tocaba el piano (Henri tuvo una hermana más, pero murió siendo muy joven).