Κατά τη διάρκεια της Σταυροφορίας των Αλβιγηνών, η πόλη παραδόθηκε μόνη της στον Σιμόν ντε Μονφόρ και έτσι περιήλθε στο βασίλειο της Γαλλίας το 1229. Το 1317 ο Πάπας Ιωάννης ΚΒ΄ ίδρυσε την επισκοπή της Καστρ. Το 1356, η πόλη αναβαθμίστηκε σε κομητεία από τον βασιλιά Ιωάννη Β' της Γαλλίας. Ωστόσο, την εποχή εκείνη υπέφερε πολύ από την επιδημία της μαύρης πανώλης του 1347-1348, στη συνέχεια από τον Μαύρο Πρίγκιπα της Αγγλίας και τους ληστές των δρόμων (σπείρες πρώην μισθοφόρων) που ρήμαζαν τη χώρα κατά τη διάρκεια του Εκατονταετούς Πολέμου. Κατά συνέπεια, από τα τέλη του 14ου αιώνα, η πόλη εισήλθε σε περίοδο απότομης πτώσης. Το 1375, έμειναν μόνο 4.000 κάτοικοι στην πόλη, μόνο το μισό του πληθυσμού σε σχέση με έναν αιώνα πριν. Μετά τη δήμευση των εδαφών του Ζακ ντ'Αρμανιάκ, δούκα του Νεμούρ, στον οποίο υπάγονταν η κομητεία της Καστρ, παραχωρήθηκε το 1476 από τον βασιλιά Λουδοβίκο ΙΑ' στον Μποφίλ ντε Ζυζ, ιταλό ευγενή τυχοδιώκτη διπλωμάτη, αλλά οι οικογενειακές διαμάχες (ανάμεσα στον ίδιο, την κόρη του και τον πεθερό του) οδήγησαν την κομητεία να ενωθεί με το γαλλικό Στέμμα υπό τον βασιλιά Φραγκίσκο Α', το 1519.