元治元年(1864年)、長州藩は禁門の変、下関戦争、第一次征長と厄続きであったため、藩内の政権闘争で主戦派(主に正義派)が恭順派(主に俗論派)に敗れた結果、波多野も投獄されたものの、正義派でなかったために処刑を免れた。