安政2年(1855年)再び昌平坂学問所で学んだが、勤皇思想の正当性を確信した彼は職を辞して脱藩し、名古屋、大坂に出て私塾を開いた。