Spuren einer ersten Burg, die der Nachfolger eines Wachtturms aus gallorömischer Zeit war, stammen aus dem 10. Jahrhundert. Sie sind noch rechts vom Eingang des heutigen Ehrenhofs zu sehen. Die Burg wurde von den Königen Frankreichs genutzt, um auf ihren Reisen zu übernachten. Ludwig IX. hielt sich hier auf, als er zum Kreuzzug aufbrach, Franz I. und Heinrich II. machten auf dem Weg zu den Kriegen in Italien in Tournon Station.