Lili Boulanger ble født inn i en musikerfamilie. Moren Raissa Mychetsky (1858–1935) var sanger, faren Ernest (1815–1900) var komponist, og søstereren Nadia var musikkpedagog og dirigent. I familiens åpne hus fikk barna god anledning til å bli kjent med tidens skuespillere, musikere, forfattere og billedkunstnere. Til Boulangers nære venner hørte blant andre Charles Gounod, Jules Massenet og Camille Saint-Saëns.