Gården tilhørte i middelalderen Bergen bispestol og ble krongods ved reformasjonen, den gang ble gården kalla Bru. I 1662 ble gården solgt til Københavns biskop, erkebiskop Hans Svane, som også fikk seg overdratt seg krongodset i Sunnfjord, som innebar 759 bruk. I 1685 døde Svane. Hans enke fikk 1685 setegårdsrettigheter for Svanøy, som fikk sitt nåværende navn etter hennes mann. Samtidig ble gården eget birk, og dette varte helt frem til 1821.