Både Hestur og Koltur var antageligvis kirkegods underlagt bispesetet i Kirkjubøur inntil reformasjonen. Hestur er første gang nevnt i jordeboken i 1584. På dette tidspunktet var all jord på Hestur forpaktet som kongsjord, noe som var typisk for tidligere kirkegods. Den eldste boplassen ser ut til å ligge ved Hælur. Sannsynligvis på grunn av at forholdene er bedre egnet til landbruk enn fiskeri ved Hælur, ligger bygda på østkysten i dag. Fiske og landbruk har nemlig vært like viktige næringer for befolkningen gjennom tidene, i tillegg til fuglefangsten i øyas svært tilgjengelige fuglefjell på vestkysten. Det ivrige fisket ha allikevel krevd mange ofre, som for eksempel i 1919, da to båter fra bygda forliste og en tredjedel av alle øyas fiskere omkom.