Fue habitado muchas veces y llegó a ser uno de los más suntuosos palacios-castillos en el siglo XV, siendo testigo mudo de acontecimientos claves de la Historia de España como la proclamación de Isabel la Católica (13 de diciembre de 1474) o la misa de velaciones entre Felipe II y Ana de Austria (14 de noviembre de 1570) en su capilla.