우에스기 가게카쓰
그러나 도요토미 정권기에 우에스기 가게카쓰(나가오 가게카쓰)는 아이즈 지방으로 이봉되었고, 호리 가문이 에치고로 부임해 온다. 산성인 탓에 호리 가문은 1607년 나오에쓰 항 인근에 후쿠시마 성을 쌓고 거처로 삼았다. 이리하여 가스가 산성은 역사 속에 사라지게 된다.