Ulvsvåg fikk, ifølge historiene, navnet sitt på grunn av at vikingen Ulv valgte å bosette seg der. Det sies også at Ulv kom i klammeri med høvdingen fra Drag på falkreiret og hugget av ham hodet.