Navnet ‘Jarlshof’ (som betyr jarlens hus) ble gitt til stedet av Sir Walter Scott, i romanen The Pirate. Riktig navn for stedet er Sumburgh, avledet av den gamle norrøne borgen. Da Sir Walter Scott besøkte stedet, var huset i ruiner, og det var nesten fullstendig dekket av sanddyner.