På nordsiden av fjorden ligger Gyltvikfjellet (745 moh.) og på sørsiden ligger Buviknakken (373 moh.). Det 328 meter høye Finnvikfjellet ligger i bunnen. Fra Finnvika, i den indre delen av Tørrfjorden, går det korte sundet Trengselet i nordlig retning og gir forbindelse til Nordfjorden. Tørrfjordelva, som kommer fra Andkjelvatnet, har sitt utløp mellom Nerigardshammaren og Leirvikskjæret på sørsiden. Flo og fjære virker oppover Tørrfjordelva.