Ein Gebäude an dieser Stelle wurde 1278 errichtet. Ihr Eigner, Sir "William Heron", erhielt 1338 eine königliche Erlaubnis zur Befestigung seines Hauses (engl.: „Licence to Crenellate“). Im Jahre 1385 wurde die Burg von den Schotten erobert und abgerissen. Aber zu Beginn des 16. Jahrhunderts war sie wieder aufgebaut und befestigt. Am Vorabend der Schlacht von Flodden Field 1513 wurde sie vom schottischen König Jakob IV. erobert. Von der Familie "Heron" fiel sie 1549 durch Heirat an die Familie "Carr" und in den 1660er-Jahren, ebenfalls durch Heirat, an Sir "Francis Blake" aus "Cogges" in Oxfordshire.