Byen har en strategisk beliggenhet, og ca. 1094 bygde normanneren William fitz Baldwin et slott der. Carmarthen slott ble ødelagt av Llywelyn den store i 1215. Det ble gjenoppbygget i 1223, og det ble samtidig gitt tillatelse til å bygge en bymur. Dermed ble Carmarthen også antagelig den første by med bymur i middelalderens Wales. I 1405 ble byen tatt og slottet plyndret av Owain Glyndwr.