En teori er at navnet kommer av «sverd» (hjorr), siden fjordens form kan se ut som et sverd. En annen teori er at den er oppkalt etter . Dette er tre stener som ligger ytterst i fjorden. Navnet kan også stamme fra germanske «herondo», med betydningen «den fjellfagre fjorden».