Siden 1539 ble Scillyøyene administrert som en del av hertugdømmet Cornwall. En tidlig guvernør av Scilly var Thomas Godolphin, og dennes sønn Francis fikk en bygsel på øyene i 1568. De ble kalt for guvernører av Scillyøyene, og familien Godolphin og deres slektninger i familien Osborne beholdt denne posisjonen fram til 1834. I 1834 overtok Augustus John Smith bygselen fra hertugdømmet for 20 000 pund. Smith opprettet tittelen («Herreeier») for seg selv, og mange av hans vedtak var meget upopulære blant beboerne. Bygselen forble hos familien inntil den gikk ut for de fleste av øyene i 1920, men selv i dag holdet eiendomsboet Dorrien-Smith fortsatt bygsel på øya Tresco.