件，而成为攘夷派和俗论派的目标，因此高杉和爱妾鹈野（おうの）一起逃往四国投靠。6月时，经由桂小五郎的斡旋而得以归乡。庆应元年（1865年）1月11日，晋作遭废嫡，在同年9月29日受藩命改名为谷潜藏。庆应3年（1867年）3月29日时，被赐与新知100石，成为创立谷家的初代当家。庆应2年（1866年）1月21日（有一説是1月22日），在土佐藩的坂本龙马、中冈慎太郎、的仲介下，晋作和桂小五郎、井上闻多、伊藤俊辅一起在京都和萨摩藩组成萨长同盟。5月时，与伊藤俊辅一起被命令前往萨摩，并且在长崎单独买下了