Pero dos años más tarde, por órdenes del shogunato, fue puesto bajo el control de Matsudaira Nobuyuki, daimyo del dominio Akashi, en la provincia de Harima.