Desde el siglo XIV, los condes de Foix, entre ellos Gastón III Febus (1343-1391) fueron abandonando progresivamente el castillo, debido a su falta de confortabilidad, en provecho del Palacio de los gobernadores (el actual tribunal) de la ciudad de Pau, la capital del vizcondado de Bearn. A partir de 1479, el conde de Foix asumió la corona del reino de Navarra y el último de ellos, Enrique IV, rey de Francia en 1607, anexionó a Francia en 1620 sus territorios de la Baja Navarra, que España no había conseguido controlar tras la Conquista de Navarra.