Der Name erscheint in einer Charta von König David I., die aus der Zeit vor 1146 stammen soll. 1370 wurde das Anwesen an Sir "John Herice", Halter des nahegelegenen Stirling Castle, verlehnt. Dann fiel es an William Graham, 3. Lord Graham, als Lohn für seinen Mut in der Schlacht von Sauchieburn 1488, in der König Jakob III. getötet wurde, als er versuchte, eine Gruppe rebellierender Barone zu unterwerfen. Er wurde 1504 zum Earl of Montrose ernannt, fiel aber 1513 in der Schlacht von Flodden Field. Das Anwesen verblieb im Besitz des Clans Graham bis zu James Graham, 1. Marquess of Montrose, der 1644–1650 in einem Feldzug zur Unterstützung von König Karl I. von England kämpfte. Zu dieser Zeit befand sich das Anwesen Airthrey in den Händen eines kleineren Familienzweiges der Grahams.