Fue construido en el siglo XVI por Don Juan Sarmiento Valladares, consejero del rey Felipe II e inquisidor general.