Kommunen ligger rundt fjordene Kvæfjorden og Gullesfjorden, samt Gullesfjordens sidefjord Austerfjorden. Kvæfjorden deles i to sund av Kveøya. Sundet på nordsida kalles Bygdesundet, og på sørsida Øysundet. Ytterst i fjorden ligger Gapøya og Gapøyholman. Tidligere omfattet kommunen også Godfjorden, som ble overført til Sortland kommune 1. januar 2000.