En 1572, después del Asedio de Iwamura, Takeda Shingen dejó el castillo a cargo de Toyotomi Hideyoshi, quien a su vez transfirió el castillo y lo puso a cargo de Tamaru Tomatada.