En 1599 Shigenobu erigió el castillo llamado Hinotake-jō en el sitio en que hoy se encuentra el Castillo Hirado pero en 1613 lo incendió para mostrar su lealtad hacia el "shōgun" Tokugawa Ieyasu pues había peleado en el bando de Ishida Mitsunari durante la Batalla de Sekigahara.