A partir de 1823 el edificio pasó a formar parte de las posesiones de la casa de Saboya que, durante el reinado de Carlos Félix, aportaron una significativa y costosa reestructuración de los interiores, renovándose además completamente los ajuares.