Sin embargo, el castillo fue tomado por Tokugawa Ieyasu en 1569 y colocó a su hijo Tokugawa Yasumichi y a Imagawa Yoshitada al mando del castillo.