En 1855, ya abandonado, fue adquirido por el duque de Montpensier que realizó algunas reformas en el interior del mismo y creó sus actuales jardines y, posteriormente, por asuntos de herencia, pasó a manos de la Corona.