Ein Priorat der Benediktinerabtei von Sarlat-la-Canéda, in welcher die Reliquien des hl. Sacerdos von Limoges verehrt wurden, bestand bereits im Jahr 1153; letztere waren ausschlaggebend für die Wahl des Ortsnamens. Um 1250 wird der Ort als "Castrum" bezeichnet. Im Jahr 1289 schlossen der Abt von Sarlat und der französische König Philipp der Schöne (reg. 1285–1314) einen Vertrag "(paréage)" zur Gründung einer Bastide auf dem damals englischen Territorium; dieser Vertrag wurde jedoch erst im Jahr 1322 vom französischen Parlament gebilligt. Bereits im darauffolgenden Jahr wurde der Ort von einem treuen Vasallen der Engländer in Brand gesetzt; auf diese Weise begann der sogenannte Krieg von Saint-Sardos (1323–1325), einem Vorläufer des Hundertjährigen Krieges (1337–1453) zwischen England und Frankreich. Nach dem Tod der Könige beider Mächte in den Jahren 1327 und 1328 wurden die gegenseitigen Rechte anerkannt und Saint-Sardos blieb bis zu ihrer Zerstörung um das Jahr 1363 eine französische Enklave auf englischem Gebiet. Erst im 16./17. Jahrhundert wurde der Ort allmählich wiederaufgebaut, doch stammen die meisten historischen Bauten (Fachwerkhäuser etc.) des kreisrunden Ortszentrums erst aus dem 18. und 19. Jahrhundert.