El hijo de Ieyasu, Tokugawa Yorifusa tomó después el castillo, siendo uno de los tres miembros de la familia "Gosanke" (御三家 tres casas) o los tres clanes provenientes de tres de los hijos de Tokugawa Ieyasu (Clan Tokugawa), fortificadas fuera de Edo (hoy Tokio).