После инцидента Бункю 1863 года Хисамото был вынужден бежать вместе с Сандзё Санэтоми в княжество Тёсю. Во время первой карательной экспедиции сёгуната в Тёсю 1864 года он сопровождал аристократа на Кюсю. В изгнании Хисамото поддерживал контакты с земляками Сакамотой Рёмой, Накаокой Синтаро и Танакой Мицуаки. Он способствовал заключению тайного союза между княжествами Сацума и Тёсю с целью свержения сёгуната и восстановления прямого Императорского правления. Рассказ о своих приключениях в 1869 году будущий министр изложил в дневнике «Записки о перевороте» ().