På 1300-tallet ble adelsslekten Fleming, antagelig etterkommere av nevnte Baldwin, gitt posisjoner og land i området av Robert Bruce da de støttet hans sak som skotsk konge mot engelsk overherredømme. De bygde festningen Boghall Castle, som var synlig som en ruin fram til tidlig på 1900-tallet, men nå kun representert av hauger i landskapet. Byen fortsatte å vokse som en betydelige markedsby og i 1451 ble den en kongelig burgh. Markedsplassen er fortsatt det sentrale fokuset i byen. Kirken ble ombygd som en kollegiatstiftskirke i 1546 for Malcolm, 3. lord Fleming, den siste kirke som ble således etablert før reformasjonen i Skottland i 1560. Slekten Fleming havnet på den gale siden på 1500-tallet da de støttet Maria Stuart, skottenes dronning. Deres land forble i slekten fram til 1700-tallet da mannslinjen døde ut. Landet gikk da til adelsfamilien Elphinstone i 1735 ved ekteskap av arvingen lady Clementina Fleming til Charles, 10. lord Elphinstone.