Tras la Batalla de Odawara en 1590, Toyotomi Hideyoshi trasladó al clan Tokugawa a la región de Kantō y asignó el castillo a Ikeda Terumasa. Ikeda desarrolló la ciudad aneja circundante y se embarcó en un ambicioso plan para reconstruir a gran escala el castillo de Yoshida. No obstante, después de la batalla de Sekigahara, fue trasladado al castillo de Himeji (1601). Para entonces, la construcción del castillo no se había terminado, y la torre del homenaje no se había construido, ni lo sería en el futuro.