I middelalderen var det også mennesker i Ulvøysund. Fra 1300-tallet eksisterer fortsatt et brev skrevet av en værfast bergensbiskop, mens en av kompassrosene hugget inn i fjellet på Ulvøya muligens stammer fra 1400-tallet.