Herdlevær har i tidlige tider vært et utvær og sesongbosted for fiskere (kalt toskere) og en finner spor tilbake til tidlig vikingtid. Det finnes også beviser på at Håkon Håkonsson har vært på Herdlevær før han skulle på tokt i Skottland i 1263. Herdlevær er også kjent for å være stedet der Egil Skallagrimson satte nidstang mot Eirik Blodøks. Hestehodet skal ha blitt satt på en haug som fremdeles heter Hesthøyen. Hestehodet skal ha vært rettet mot kongsgården på Herdla.