Det er bosetting ved Rognsundet på begge øyene. På Seiland bor de på Altneset og Hakkstabben, mens på Stjernøya bor de i Store Kvalfjord, på Nordmannsneset og i Pollen. På Altneset ligger Rognsund kirke.