Kommunen omkranset fjordarmene Sørfjorden og Kjosen, begge indre armer av den større Ullsfjorden. Førstnevnte gav da også kommunen sitt opprinnelige navn. Kommunen søkte senere om å bytte navn fra Sørfjord til Ullsfjord, og dette ble godkjent av departementet i 1937.