Den opprinnelige festningen ble sannsynligvis bygget i 1098 av kong Magnus Berrføtt (1073 – 1103) som kom i to ekspedisjoner for skape politisk stabilitet i de norrøne områdene på De britiske øyer, fra Hebridene, de ytterste vestlige øyene i dagens Skottland, eventuelt Dublin på Irland og ikke minst øya Man i Irskesjøen. Navnet Rothesay, som alle skotske navn med endelsen «ay» er av norrøn opprinnelse.