Su abuela fue la cantante Julliette Boulanger, y su padre, Ernest Boulanger (que ganó el Premio de Roma en 1835) era compositor y profesor de canto en el Conservatorio de París, donde impartió clases a la madre Lili, Raïssa Mischetsky.