Like sørvest for gårdstunet ligger en nord-sørgående bergrygg som rager omkring 50 m over Steinsfjorden og er kjent som Hesthagaberget lokalt. På det høyeste punktet av denne bergryggen finnes rester etter en bygdeborg. Borgmuren er utrast og overgrodd med vegetasjon. Den ble fredet 19. juli 1968. Slike bygdeborger, som vanligvis dateres til ca. 200–600 e. Kr., var naturligvis viktige for samfunnet rundt, og noen har indikert at borgen kan ha sammenheng med gårdsnavnet.