Tras la invasión de Navarra en 1512 por parte de la Corona de Castilla y la de Aragón unificadas, comenzó el deterioro del palacio, ya que sólo fue utilizado por los virreyes como residencia esporádica.