Fjellet har fått sitt navn fra formen, på grunn av at det fra en bestemt vinkel ligner på en liggende elg. Elgen ligger ytterst på en landtunge på nordsiden av Hinnøya, med Toppsundet i øst og Kasfjorden i vest. I bunn av fjellet, på nordsiden, ligger Elgsnes kapell.