親族に累が及ばぬよう父より勘当を受けた体裁を取り、喜作と連れ立って京都に出るが、八月十八日の政変直後であったため、勤皇派が凋落した京都での志士活動に行き詰まり、江戸遊学の折より交際のあった一橋家家臣・平岡円四郎の推挙により喜作と共に一橋慶喜に仕えることになる。