古くは四極山(しはつやま、しわすやま)と呼ばれ、山頂には豊後守護大友氏の城高崎山城があった。