文久3年8月18日(1863年9月30日)の八月十八日の政変により、尊皇攘夷派が追放され、武兵衛にも帰藩が命じられたが、脱藩。