Navnet betyr opprinnelig «Falkberget», etter det gammelnorske ordet «valr» for falk. Uttalen var fra gammelt av «Valbergje». Språklig sa en tidligere at folk som bodde ved Valberget, bodde i Valberget. De som bodde på nedsiden av Valberget mot sjøen, bodde «under Valberget».