Fra Bergen formelt ble dannet som by i 1070 har havnen vært et viktig knutepunkt. Det var der handelen mellom kjøpmenn og byens befolkning foregikk, samtidig var det den viktigste ferdselsåren og båten var det viktigste fremkomstmiddelet. Vågen bestod i utgangspunktet av to strandsider, med sandstrand hvor båtene ble trukket opp. Etter hvert ble det bygget sjøhus på påler med gangbroer mellom og utstikkerkaier i forkant. Dette var starten på det som vi i dag kjenner som Bryggen. Den andre siden av Vågen, Strandsiden med Nordneshalvøyen, ble utbygd noe senere, på 1300-tallet. Kaier og sjøboder var opprinnelig i kjøpmennenes eie, de hadde selv ansvar for vedlikehold og sikkerhet. Det meste av havnen var imidlertid felleseiendom og underordnet byens myndighet, og politimesteren hadde det øverste tilsynet med havneområdet.