Navnet kommer av fruktbarhetsgudinnen Frøya, og det hevdes at stedet i oldtiden var et kultsted. Den andre delen av navnet viser at toppen har vært brukt som sted for varslingsbål (dansk: bavne, norsk: vete, varde eller baune).