氏在此建立向山城，在先后臣服于岛津氏和德川家康后，仍持续统治此地直到17世纪江户时代初期，但后来由于那须氏内部的纷争，在1619年被幕府收回成为幕府直属的天领，1656年改委託人吉藩代为管理。19世纪末明治维新后，曾先后被新政府划入新设立的富高县和日田县，1871年第一次府县整併后被划入美美津县，1873年再随美美津县一同被整併至宫崎县；此后在1876年的第二次府县整併中一度又随着宫崎县被併入鹿儿岛县，直到1883年后重新恢复设立宫崎县后，才再次隶属宫崎县。1884年臼杵郡被分割为东臼杵郡和西臼杵郡