ต่อมาเมื่อไนโตะ โนบูนาริเอาชนะคาซูโตโยะได้ในยุทธการที่เซกิงาฮาระในปี ค.ศ. 1600 ก็ได้ขึ้นครองอำนาจแทน และได้สั่งให้รื้อถอนปราสาทไปสร้างเป็นปราสาทฮิโกเนะแทนในปี ค.ศ. 1615