Tuvo diferentes titulares, por lo que fue cambiando su denominación, ya que debido a los enlaces familiares pasó de la familia Roca de Togores a la del Conde de Luna y posteriormente a la del Duque de Béjar.