La fortaleza sufrió diversas adiciones durante el tiempo y las torres actuales fueron construidas en 1537 por Oda Nobuyasu, tío de Oda Nobunaga.