Sør for øya ligger Selbjørnsfjorden, som skiller Austevoll og Fitjar kommuner. Fram til 1964 hørte sørøstsida av Selbjørn til Fitjar kommune, mens nordsida var en del av Austevoll. Det største stedet på øya er tettstedet Bekkjarvik, som er et gammelt handelssted med gjestgiveri. Andre bygder er Salthella, Rabben, Grasdal og Gauksheim.