Tōtōmi Province
1614년 모가미 요시아키가 죽자, 1617년 모가미 가문내의 상속을 둘러싼 마찰이 있었고, 이로 인해 모가미 가문의 영지는 대폭 몰수되어 오미 국 오모리 번으로 전봉 조치되었다. 이는 고쿠다카 57만 석의 모가미 가문의 영지가 1만 석으로 감봉되는 조치였다. 1622년 도토미 국 요코스카 번에서 마쓰다이라 시게타다가 데와 국 가미노야마 번 4만 석에 입봉되어 가미노야마 번이 성립되었고, 이로써 가미노야마 성은 가미노야마 번의 번청이되었다. 이때 번주 마쓰다이라 시게타다는 성하 마을과 주변 도로를 정비해 번정의 기초를 다졌지만, 겨우 4년 뒤인 1626년 셋쓰 국 산다 번으로 이봉되었다. 이를 대신하여 가모 다다토모가 4만 석에 입봉되어 입성했지만, 친형인 아이즈 번주 가모 다다사토가 자식없이 죽자, 1627년 가모 가문의 대를 이어 이요 국 마쓰야마 번으로 거처를 옮겼다. 1628년 도키 요리유키가 시모우사 국 소마 번 1만 석에서 데와 국 가미노야마 번 2만 5천 석에 가증 입봉되어 입성했다. 이후 아들 도키 요리타카가 1692년 에치젠 국 노오카 번으로 이봉될 때까지 도키 가문의 배하에 있게 된다. 이 무렵 가미노야마의 성하 마을은 크게 번영하였고, 가미노야마 성은 근세 성곽으로 개축되어《우슈의 명성》으로 불리게 된다. 하지만, 도키 가문의 이봉과 함께 가미노야마 성은 천수 대용의 3층망루가 파각되었으며 잠시 동안 폐성되는 비운을 맞이했다. 같은 해 도키 가문을 대신해 가나모리 요리토키가 입성하였고, 천수 대용의 3층망루는 재건되지 못 한 채 니노마루에 성주의 거관이 조성되었다. 5년 뒤 1697년 가나모리 요리토키는 미노 국 구조 번으로 이봉되었다. 이를 대신해 빗추 국 니와세 번에서 마쓰다이라 노부미치가 3만 석에 이봉되어 입성한다. 이후 가미노야마 성은 메이지 유신기까지 후지이 마쓰다이라 가문(藤井松平氏)의 거성이 되었다.