I 1674 bygde Arthur Buchanan huset til Sound, der Balfour Castle nå står. Hans barnebarn giftet seg med James Fea, som er mest kjent for sin rolle i å ta Orknøy-piraten John Gow, til fange. Fea var tilhenger av den jakobittiske oppstanden i 1715, og huset ble brent av hannoveranske tropper som hevn. Godset ble kjøpt opp av Andrew Ross, fullmektig på Orknøyene for jarlen av Morton. Ross' arvinger, Lindsay-brødrene, solgte eiendommen til Thomas Balfour i 1782. Balfour hadde tidligere leid Bu of Burray, en stor herregård på en annen øy på Orknøyene, men hadde ikke nok rikdom til å skaffe eiendommen selv om kona hans hadde arvet en arv etter at hennes aristokratiske bror døde. For å skaffe de nødvendige midlene, måtte Balfour selge sin militærkommisjon og låne fra sin bror, John, som hadde fremgang i India med East India Company. Han bygde et nytt hus, Cliffdale, og grunnla landsbyen Shoreside, nå kjent som Balfour. Han reformerte også det lokale jordbruket, omsluttet åkre og bygde gårdsbygninger.