A lo largo de la historia el edificio fue pasando por diferentes propietarios, hasta el siglo XV con la llegada de los Duques de Alburquerque.