Shimotsuke Province
시로이시 지역은 아이즈 령에 편입되어 1591년 아이즈 영주로 부임한 가모 우지사토의 영지가 되었고, 시로이시 지역은 가모 우지사토의 가신 가모 사토나리가 성주로 부임해 성을 대폭 개축하였다. 이 무렵 성은 천수대용의 3층 망루를 갖춘 근세 성곽으로 탈바꿈하였다. 1592년 임진왜란 출정준비 중 가모 우지사토가 병사하자, 대를 이어 가모 히데유키가 아이즈 영주로 부임하지만, 1598년 가문내의 알력다툼이 일어나자, 이를 우려한 도요토미 히데요시에 의해 아이즈 92만 석에서 시모쓰케 국 우쓰노미야 12만 석에 이봉되었다. 이를 대신하여 에치고 국에서 우에스기 가게카쓰가 아이즈 120만 석에 영지가 가증되어 와카마쓰 성에 입성한다. 그리고, 시로이시 성은 가신 아마카스 기요나가에게 주었다. 1600년 세키가하라 전투의 전초전으로 다테 마사무네는 동군에 속해, 우에스기 가문의 시로이시 성을 공략해 함락했다. 전후, 시로이시 성은 다테 가문의 영지가 되었고, 마사무네의 숙부 이시카와 아키미쓰가 성을 관리하였다. 1602년 다테 마사무네는 시로이시 성을 측근 가타쿠라 가게쓰나에 주었고, 이후 메이지 유신 전까지 260여년간 가타쿠라 가문의 거성이 되었다. 1819년 화재로 소실되었지만, 4년후 재건되었다.