El castillo fue construido en 1543 por el cardenal David Beaton como hogar para él y su amante, Margaret Ogilvie.