文久3年(1863年)の尾高惇忠や渋沢栄一らによる高崎城襲撃計画・横浜異人街の攘夷計画では反対の立場をとり中止させた。