Het is onbekend wanneer het kasteel precies gebouwd is. Vanwege de strategische ligging langs de kustroute van Engeland naar Schotland stond er mogelijk al vroeg een fort op deze plek. Door het strategische belang van het kasteel veranderde het vaak van eigenaar. In 1346 werd het kasteel door de Engelsen bezet. In 1410 werd het kasteel ingenomen door de schot Patrick Home. In de daaropvolgende periode werd de definitieve plattegrond van het kasteel voor een groot deel bepaald. Aansluitend op de Slag bij Flodden in 1513 werd het kasteel verwoest, maar in 1521 weer hersteld. In de rest van de zestiende eeuw veranderde het kasteel nog enkele malen van eigenaar.