Museum koleksi iki dibangun antarané taun 1656 lan 1659 kanggo Pierre Aubert, bangsawan de Fontenay. Pierre Aubert iku salah sawijing wong tani sing sugih amarga dadi petugas sing éntuk kewajiban ngumpulaké pajeg uyah. Arsitek yasan iki ya iku Jean Boullier saka Bourges, uga dikenal Boullier de Bourges. Bangunan iki dianggep salah sawijining omah-omah bersejarah sing paling apik ing Marais.