Like sør for Jarnholman strekker Nisneset ut i fjorden fra øst og på sørsiden av fjorden ligger grenda Sørjer som har gitt navn til fjorden. Bortsett fra dette er det få bosetninger ved fjorden. Fjellet Hesten på 363 meter over havet ligger på østsiden av fjorden.