Ifølge var Gairsay i norrøn tid vinterhjemmet til den norrøne høvdingen Svein Åsleifsson, en av de siste store vikingene. Han drev gårdsdrift i sommermånedene og tilbrakte vintrene med sine 80 menn med våpen fra hans eiendom på Gairsay. Etter at vårplantingen var ferdig, ville Svein dra på vikingtokt nedover kysten av Skottland, England og Irland. Han døde i et forsøk på å erobre Dublin i år 1171. Etter hans død delte hans sønner Olav og Andrew (Andreas?) gården midt på mellom seg.