Maria av Medici overlot i 1642 palasset til sin yngre favoritsønn Gaston av Orléans, som døde i 1660. Palasset var 1660-1694 residens til dennes datter Elisabeth Marguerite av Orleans og tilhørte deretter kronen, innen det i 1715 ble den offisielle residens for Marie Louise Élisabeth av Orléans. Palasset var i den tiden kjent for dets eiers skandaløse privatliv, blant annet arrangerte hun tablåer der hun eksponerte sin kropp utkledt som mytologiske figurer.