小五郎的斡旋而得以归乡。庆应元年（1865年）1月11日，晋作遭废嫡，在同年9月29日受藩命改名为谷潜藏。庆应3年（1867年）3月29日时，被赐与新知100石，成为创立谷家的初代当家。庆应2年（1866年）1月21日（有一説是1月22日），在土佐藩的坂本龙马、中冈慎太郎、的仲介下，晋作和桂小五郎、井上闻多、伊藤俊辅一起在京都和萨摩藩组成萨长同盟。5月时，与伊藤俊辅一起被命令前往萨摩，并且在长崎单独买下了。在6月的第二次长州征伐担任海军总督并击退幕府舰队，夺回了周防大岛。而在小仓方面，于序盘