Hasta 1573 el castillo fue ocupado por el clan Kuroda, quienes sobresalieron como comandantes del hijo de Shigetaka, Mototaka, y su nieto Yoshitaka.