Fue residencia veraniega de la Casa de Alba de Tormes y se construyó sobre el que se hallaba el antiguo castillo de los Álvarez de Toledo.