På østsiden av fjorden ligger Sandsetbukta og grenden Sandset, som fjorden er oppkalt etter. På andre siden av fjorden ligger grenden Sigerland litt lenger sør. Skjellfjorden er en fjordarm sør for Sandset som går sørøstover til Skjellfjordeidet. Fjorden ender ved Sauøya og herfra fortsetter fjorden som Ånnfjorden. Nord for Sandsetfjorden ligger Hamnfjorden.