På 1860-tallet var Kalvåg kanskje det største fiskeværet på kysten, med en befolkning på oppimot 11 000 mennesker i den mest hektiske fiskesesongen. Det vokste opp en tettbebyggelse langs med vågen, med salteri, losjihus, forretninger, handelsvirksomhet og annen bosetting. Under fiskeriene var Kalvåg en hel bygdeby, med byens vesen og funksjon. Her var sykehus, lege, bedehus, kirke, lensmannsgård og skolehus. Geitholmen vest av Kalvåg var brukt som base for folk innenfra fjorden som «rodde på fiske i Geitholmen», for å skaffe mat til hjemmet og til salg. Ved Geitholmen hadde de en kort tur utover til gode fiskeplasser.