Navnet er sannsynligvis langt eldre enn bekkekverna i Norge, og det er en hånddrevet kvern vi må tenke på. Silhuetten av fjellet har store likheter med ei handkvern, et redskap som var vel kjent i middelalderen. For fiskerne på havet utenfor Grip var Kvernberget et viktig hjelpemiddel til å finne de gode fiskeplassene. De tok peilinger etter faste punkt i landskapet rundt seg, og ga fjellene navn som ga assosiasjoner. Den mest troverdige tolkningen av stedsnavnet er derfor at fjellets silhuett fra nord likner ei handkvern.