Seit 1057 gab es nacheinander etliche Burgen an dieser Stelle. Die erste Burg an dieser Stelle soll König Malcolm III. gebaut haben lassen, nachdem er die Burg, in der König Macbeth Malcolms Vater, Duncan I., laut einer sehr viel später entstandenen Sage ermordete und die auf einem Hügel etwa 1 km nordöstlich stand, bis auf die Grundmauern niederreißen ließ. Bei seinem Vorstoß nach Nordschottland während des Ersten Schottischen Unabhängigkeitskriegs bis Sommer 1308 eroberte König Robert the Bruce die Burg. Die Besatzung musste sich aufgrund Wassermangels ergeben, wurde aber getötet. Anschließend ließ Bruce die Burg zerstören.