Selve byen er anlagt ved Bryggevannet innerst i Skienselva, og Hjellevannet som ligger nederst i Telemarksvassdraget. Mellom disse to vanna var det opprinnelig fire fosser: , , og . Skienselva gir innseilingsmulighet fra havet, noe som antakelig har vært avgjørende for byens beliggenhet.