Bebyggelsen langs fjorden er todelt. Den ytre delen av fjorden er bebygd kun på østsiden, med grendene Hemmestad og Refsnes. Veien stopper ved Kjengsnes ytterst på sørsida av Austerfjorden. Den indre delen av fjorden er bebygd hovedsakelig langs vestsiden, med grendene Flesnes, Bogen, Gambogen, Langvassbukt, Bømark og Våtvoll. Innerst i fjorden er det bebyggelse også på østsiden, med veiforbindelse fra Gullesfjordbotn til grendene Moelv og Gullholm.