Fra midten av 1500-tallet var familiemedlemmer av godseierne Bruce av Symbister lairdene på Whalsay, og de overtok raskt eiendomsretten til landet både her og i Dunrossness. Kostnadene for Symbister House, som de bygde som et herskapshus i 1832, regnes som årsaken til deres tilbakegang, og familien døde ut i 1944.