Het eerste kasteel werd gebouwd in de 12e eeuw. In 1214 werd het kasteel, bewoond door Bernard de Casnac, verwoest tijdens de Albigenzische Kruistochten onder leiding van de legers van Simon van Monfort. Na het Verdrag van Parijs (1259) erkende Castelnaud de suzereiniteit van de hertog van Aquitanië, Hendrik III van Engeland. In de dertiende eeuw werd een nieuw kasteel gebouwd. In 1368 trouwde Magne de Castelnaud met Lord Nompard de Caumont. De Caumonts werden dan de heren van Castelnaud en Berbiguières.