De aller første folkene som nådde Shetland landet sannsynligvis ikke langt fra Jarlshof for 5.000 til 6000 år siden. Det sørlige fastlandet viste seg å være en populær del av Shetland å bo i - mange forhistoriske bosetninger finnes i nærområdet på grunn av den større mengden dyrkbar jord. Jarlshof selv ble et attraktivt sted å bosette seg på grunn av de nærliggende ferskvannskildene og byggematerialene som er lett tilgjengelige på stranden.