Ernest Boulanger fue padre de Nadia Boulanger, compositora, pedagoga y directora de orquesta y de Lili Boulanger, compositora.