Na de slag van Sekigahara (1600) kreeg de familie een extra toelage van 28.000 "koku", maar in 1614 werd ze overgeplaatst naar Kurayoshi in de provincie Hoki (thans prefectuur Tottori), waarbij Tateyama en ommeland voortaan onder het bestuur van een "hatamoto" (directe shogunale vazal) rechtstreeks onder het shogunaat ressorteerde, en het slot afgeschaft werd. In 1982 werd het kasteel van Tateyama met z'n in drie verdiepingen opgetrokken donjon gerestaureerd en ter verhoging van het toeristisch belang in een park, Shiroyama Koen, geïntegreerd. In dit complex bevindt zich verder het stedelijk museum van Tateyama, dat binnen het kasteeldomein nog een bijgebouw bezit. Sedert het midden van de Meiji-periode (1868-1912) was Tateyama ankerplaats van de Japanse eerste vloot, en toen in 1930 het Tateyama Marine- en Luchtmachtkorps, het Sunosaki Luchtmachtkorps en de Marine Artillerieschool opgericht werden, kende de plaats opgang als militair centrum; een functie die tegenwoordig onverminderd waargenomen wordt door de Maritieme Zelfverdedigingsmacht.