Byen har vokst frem på begge sider av et søkk som går tvers gjennom terrenget med brattheng og bakker opp fra bunnen. I forlengelsen av Boknafjorden og Byfjorden skjærer Vågen seg inn i søkket fra nordvest, mens Hillevågsvatnet trenger seg inn fra Gandsfjorden ved Strømmen i sørøst. Breiavatnet ligger mellom de to fjordtarmene.