Desde el siglo XIV, los condes de Foix, entre ellos Gastón III Febus (1343-1391) fueron abandonando progresivamente el castillo, debido a su falta de confortabilidad, en provecho del Palacio de los gobernadores (el actual tribunal) de la ciudad de Pau, la capital del vizcondado de Bearn.