En 1580, Toyotomi Hideyoshi va prendre control del castell i Kuroda Yoshitaka va construir una torre de tres plantes. Després de la Batalla de Sekigahara en 1601, Tokugawa Ieyasu li concedeix el castell a Ikeda Terumasa. Ikeda va realitzar un projecte d'expansió que va durar vuit anys i que va transformar al castell en la seua actual forma. L'última addició important, el Cercle Occidental, va ser completada en 1618.