Shimōsa Province
Im Jahre 1660 klagte er in einem Schreiben die shōgunale Misswirtschaft an, und bat um die Erlaubnis sein Lehen, "Sakura" (, Provinz Shimousa, 110.000 "koku"), unter seinen Vasallen ("hatamoto") aufteilen zu dürfen, um deren Elend zu mildern. Dieses Ansuchen wurde vom Bakufu als beleidigend betrachtet und er wurde zunächst zum Tode verurteilt. Auf Intervention von Matsudaira Nobutsuna und Hoshina Masayuki wurde Masanobu nur enteignet und nach "Iida" (Provinz Shinano) verbannt. Im Jahre 1672 durfte er, unter Hausarrest, seinen Aufenthaltsort nach "Wakasa" verlegen. 1675 begab er sich heimlich in die Hauptstadt Kyoto, wurde jedoch bald entdeckt und nun auf die Insel Awaji, zwei Jahre später nach Tokushima, exiliert. Er beging dort Selbstmord, wohl als er vom Tode des Shōguns Tokugawa Ietsuna erfahren hatte.