1865年）3月，排斥俗论派的首领掌握了藩的实权。同月，高杉企图前往长崎和英国商人Glover接触但遭到反对。4月时，由于下关开港的事件，而成为攘夷派和俗论派的目标，因此高杉和爱妾鹈野（おうの）一起逃往四国投靠。6月时，经由桂小五郎的斡旋而得以归乡。庆应元年（1865年）1月11日，晋作遭废嫡，在同年9月29日受藩命改名为谷潜藏。庆应3年（1867年）3月29日时，被赐与新知100石，成为创立谷家的初代当家。庆应2年（1866年）1月21日（有一説是1月22日），在土佐藩的坂本龙马、中冈慎太郎、的仲