En 1805 la compra en subasta Don Alfonso Pignatelli de Aragón - Conde de Fuentes- que la ocupa por muy poco tiempo, ya que durante el reinado de Fernando VII de España retorna a la Compañía de Jesús, pero por una Real Orden del 19 de noviembre de 1833, retorna nuevamente a la familia Pignatelli de Aragón.