下子嗣，的一族在此的分支后来也就成为长期统领此地武士。16世纪期间，那须氏在此建立向山城，在先后臣服于岛津氏和德川家康后，仍持续统治此地直到17世纪江户时代初期，但后来由于那须氏内部的纷争，在1619年被幕府收回成为幕府直属的天领，1656年改委託人吉藩代为管理。19世纪末明治维新后，曾先后被新政府划入新设立的富高县和日田县，1871年第一次府县整併后被划入美美津县，1873年再随美美津县一同被整併至宫崎县；此后在1876年的第二次府县整併中一度又随着宫崎县被併入鹿儿岛县，直到1883年后重新恢复设