Det er spredt bebyggelse langs hele Raftsundets østside med Kongselva, Tengelfjord, Raften og på Ulvøya i Hadsel. Digermulen i Vågan er den største av Raftsundbygdene. Det tidligere handelsstedet Hanøy ligger ved innløpet i nordvest.