ハビエル城
タラベラ焼の展示
バレンシア地方のタイル
セゴビア水道橋の模型
アルタミラ洞窟壁画のレプリカ
1512年にはナバーラ王国の首都パンプローナがカスティーリャ王国軍に占領され、1515年にはナバーラ王国がカスティーリャ王国に併合された。カスティーリャ王国の摂政シスネロス枢機卿はナバラ王国内にある計21の城の破壊を命じたとされており、1516年にはハビエル城も完全な解体を命じられたが、結局要塞の上部が取り除かれただけだった。ただし、建物を囲む城壁は全部分が削られ、胸壁や狭間は取り壊された。堀は埋められて周囲の土地と同等の高さとなり、ふたつの巨大な門は取り壊され、ふたつの丸い塔も取り壊された。跳ね橋、城壁内側の庭園やウサギ小屋が取り壊され、「サン・ミゲルの塔」は半分程度に縮小された。
ナバーラ王国のカスティーリャ王国併合から何世代かを経て、ハビエルの町やハビエル城の所有権はビリャエルモーサ家に渡った。17世紀までナバーラ王国には公式の守護聖人が存在しなかったが、1623年にはザビエルが守護聖人に定められた。19世紀まで住居として使用された後、1892年から1897年にかけて大改修が行われ、ビリャエルモーサ家は城をイエズス会に譲渡した。1901年には城の西方に鐘楼を持つ教会(聖会堂)が落成し、1904年には小神学校が開校した。
1980年頃にはザビエルが居住していた頃を模して城が復元され、ハビエル城は巡礼の対象地となった。城の内部はザビエルが所属していたイエズス会が運営する博物館となっており、日本の戦国大名である大内義隆による掛軸など、日本に関する展示物もある。