Het kasteel werd gebouwd door William Sinclair, tweede graaf van Caithness, in de periode van 1476 tot 1496. Zijn vader, die eveneens William Sinclair heette, bouwde Rosslyn Chapel. Het kasteel was een van de belangrijkste kastelen van de clan Sinclair en kreeg als naam Girnigoe Castle. William Sinclair vocht op 9 september 1513 mee met Jacobus IV van Schotland in de Slag bij Flodden en stierf daar. Hij werd opgevolgd door zijn zoon.