Yoshitaka se convirtió más tarde en sirviente de Oda Nobunaga por lo que el control del castillo pasó a manos de Inaba Sadamichi quien hizo renovaciones mayores a la fortaleza.