Um 1034 ließ Roger I. de Tosny († 1040) eine Burg, den Donjon, die Stadtmauer und in der Umgebung ein Kloster errichteten. Raoul II. de Tosny nahm 1066 an der Schlacht bei Hastings teil. Roger III. de Tosny († um 1160) unternahm eine Pilgerfahrt nach Santiago de Compostela und war vom Kult der heiligen Fides (frz. "Foy d’Agen") in Conques sehr beeindruckt, deshalb brachte er eine Reliquie der Heiligen Fides mit nach Châtillon. Der Ort wurde zu Ehren von Conques in "Conches" umbenannt und gewann durch die Reliquie an Bedeutung. Ab 1310 gehörte Conches Robert III. von Artois (1287–1342). Im Hundertjährigen Krieg (1337–1453) wechselte es mehrfach den Besitzer. 1355 vergab Johan II. von Frankreich (1319–1364) die Ortschaft an Karl den II. von Navarra (1332–1387), Comte von Évreux. Der verlor sie schon 1357 an Henry of Grosmont, 1. Duke of Lancaster (1306–1361) und Philipp von Navarra (1336–1363), deren Truppen Conches belagert hatten, es schließlich einnahmen und die Burg sowie das Kloster in Brand steckten. 1371 wurde die Ortschaft erneut belagert und nach langer Belagerungszeit von Bertrand du Guesclin (1320–1380) eingenommen.