I Ulvøysund finner man flere kompassroser innhogd i fjellet, den eldste fra 1400-tallet. Det var sjøfolk som sto bak disse. Stedet nevnes også på nederlandske kart fra 1500-tallet, da som . Det eldste huset i Høvåg ligger der fortsatt, et gammelt gjestgiveri fra 1600-tallet.