"Cairnie" gehörte ab 1355 der Familie "Lindsay", die später zu Earls of Crawford erhoben wurden. Den Turm ließ "Alexander Lindsay of Auchtermoonzie" († 1517) erbauen. Der zweite Sohn des 4. Earl of Crawford, "Alexander", wurde zum 7. Earl of Crawford und erbte das Earldom von seinem Neffen, der 1513 in der Schlacht von Flodden Field fiel.