Setelah Pertempuran Odawara pada tahun 1590, Toyotomi Hideyoshi memerintahkan klan Tokugawa untuk pindah ke wilayah Kanto dan menugaskan kastil ke Ikeda Terumasa. Ikeda mengembangkan kota kastil di sekitarnya dan memulai rencana besar dan ambisius untuk membangun kembali Kastil Yoshida. Namun, setelah Pertempuran Sekigahara, dia dipindahkan ke Kastil Himeji.