El castillo cambió de propietario en 1529 cuando Matsudaira Kiyoyasu lo asedió y lo convirtió en el centro de operación del clan Matsudaira.