Fue mandado construir el palacio, por el obispo Alfonso Enríquez en el siglo XVI.