Sin embargo, las obras de construcción del castillo no se iniciaron hasta 1449, cuando Pedro Sarmiento, Conde de Salinas, ocupó el templo y lo desmanteló.