Skipsleia og ei god havn er grunnlaget for byens eksistens, og havna i Lille-Fosen er kjent så langt tilbake som det finnes kilder. Fosna gård i Vågen regnes for å være byens vugge, men det er usikkert i hvilken grad det var fast bosetning rundt havna allerede i middelalderen.