Fjorden ligger i sin helhet i et uberørt og folketomt område innenfor grensene til Sjunkhatten nasjonalpark og er omgitt av dels høye fjell på østsiden, med Ånsvikfjellet på 1 005 meter som det høyeste, og et noe lavere fjell- og berglandsskap på vestsiden, hvor Bagnesfjellet på 418 meter er det høyeste. Ved Langnes i deler Sørfjorden seg i de to korte vikene Makkosen og Storvika.