Det samiske navnet betyr «Holmfjellet», men det norske navnet kommer trolig av . Horg (bergknoll, bergtorp) kommer av det gammelnorske ordet , og har dermed trolig også gitt navnet til bygda Hårvik på Hårbergets vestside.