Fue Carlos III «el Noble», quien en el siglo XIV comenzó la ampliación del anterior dando lugar al Palacio de los Reyes de Navarra.