Después de la reconstrucción del castillo por parte de Hidetada, en 1665 un rayo pegó en la torre del homenaje, incendiándola por completo.