El primer castillo fue construido en los años 1330 por Henry Sinclair, conde de las Orcadas.