Like innenfor innløpet går de korte fjordarmene Skulsfjorden og Lyfjorden mot øst. Fjorden fortsetter sørover i mesteparten av sin lengde, til den brått svinger rett østover det siste stykket før fjordbotnen. Innenfor Lyfjorden er det relativt lite bebyggelse langs fjordsidene før en kommer til den indre delen av fjorden. Ved Kjosen innerst i fjordbotnen ligger tettstedet Kaldfjorden, med bebyggelse et par kilometer utover langs begge sider av fjorden. Ved Kremmarvika på vestsida er det bare en knapp kilometer over et Ersfjordeidet til Ersfjordbotn og Ersfjorden. Ved Kaldfjorden er det også bare en kilometer over et annet eid, Korteidet eller Kaldfjordeidet, til Eidkjosen ved Sandnessundet vest for Tromsøya og Tromsø.