El conjunt format per les seves estances, jardins i fosses, envoltats per les altes muralles i rematats per les nombroses torres, li confereixen una silueta espectacular i màgica. En la seva època, va arribar a ser considerat com un dels més bells d'Europa. S'hi poden diferenciar clarament dos recintes: el Palau Vell, convertit en Parador de Turisme, i el Palau Nou. Després de la invasió de Navarra a començaments del per part de la Corona de Castella, l'estat d'abandonament en el qual va quedar immers el palau va fer que aquest anés deteriorant-se progressivament, ja que només va ser utilitzat pels virreis com a residència esporàdica. Aquest procés va culminar amb l'incendi ordenat pel guerriller Francisco Espoz y Mina durant la Guerra del Francès (1813), davant del temor que s'hi repleguessin les tropes franceses de Napoleó.