Éste habría sido restaurado a principios del siglo XII por Diego López de Haro teniendo en él su palacio y recinto fortificado, aunque los restos que quedan en la zona pertenecerían a un palacio posterior.