Navnet Hovden har bygda fått fra et nå delvis utsprengt berg (klippe). Oluf Rygh skriver i Norske Gaardnavne: "..høi og brat Klippe, som hæver sig fra det bagenfor liggende Land og stikker frem i Søen." Denne hovden lå ved den sørlige innseilinga til havna. I dagligtale i bygda er denne omtalt som Ramnkleiva. Hovden har tidligere hatt navnet Hovden med Maarsholmen.