Navnet Høydalen kommer av i betydningen «tørket gress» eller gressvokst, beite; stedet ligger ikke spesielt høyt på øya i noen forstand.