Im Mittelalter erfuhr der jetzige Ortskern eine rasche Entwicklung. So wurde im 12. Jahrhundert die romanische Ortskirche errichtet. Hinter der Kirche wurde dann im Jahr 1373 ein Wehrschloss erbaut, das der Familie Vigier gehörte. Es reiht sich ein in eine Kette von Befestigungsanlagen im Grenzgebiet Charente-Limousin-Périgord. Von ihm ist heute so gut wie nichts mehr erhalten, der letzte Turm wurde 1927 abgerissen. Im Jahr 1486 wurde die Kirche umgebaut und erweitert. Dank reicher natürlicher Ressourcen konnte sich in Saint-Mathieu während des Mittelalters eine Eisen verarbeitende Kleinindustrie etablieren, die sich auf die Herstellung von Kettenhemden spezialisierte. Schmiedewerke bestanden bei "La Couade", "Le Buisson" und "Séchères" noch bis 1860.