Sørsiden av fjorden er lite utbygget, spesielt i den bratte indre delen der fjellet stiger bratt opp til en høyde av cirka 500 meter over havet. Ved innløpet til Hyllestadfjorden ligger den karakteristiske fjelltoppen Gygrekjeften på sørsiden med en høyde på 710 moh.