También los Tovar construyeron el castillo actual y el palacio arruinado por los franceses y que tenía según las crónicas de la época uno de los mejores jardines de Europa.