于俗论派的正义派家老遭处刑的事情，于是再次回去下关。12月15日的半夜，由伊藤俊辅率领的力士队、率领的游撃队和其他长州藩诸队在功山寺举兵，之后奇兵队加入这些起义队伍。元治2年（1865年）3月，排斥俗论派的首领掌握了藩的实权。同月，高杉企图前往长崎和英国商人Glover接触但遭到反对。4月时，由于下关开港的事件，而成为攘夷派和俗论派的目标，因此高杉和爱妾鹈野（おうの）一起逃往四国投靠。6月时，经由桂小五郎的斡旋而得以归乡。庆应元年（1865年）1月11日，晋作遭废嫡，在同年9月29日受藩命改名为谷潜藏。