Museet er vokst ut fra en privat samling som ble begynt i annen halvdel av 1800-tallet av Clémence d'Ennery, konen til skuespillforfatteren Adolphe Philippe d'Ennery (1811–1899). I 1875 bygde hun dagens herregård, og i 1892 begynte hun å omgjøre den til et museum for almenheten, med hjelp fra Georges Clemenceau og Emile Deshayes, kurator ved Musée Guimet. Huset ble åpnet som offentlig museum i 1908.