十八日政变」的长州藩进行放逐。文久4年（1864年）1月，高杉想要说服主张进军京都的激进派来岛又兵卫却被其拒绝，于是高杉脱藩并且前往京都潜伏着。之后由于桂小五郎的説服而在二月归乡，但因为脱藩罪而被关到野山狱中，六月出狱并且遭到观察的处分。7月，长州藩在禁门之变战败而成为朝敌，来岛及久坂玄瑞战死和自杀。8月时，英国、法国、美国、荷兰所组成的四国联合舰队向下关砲撃并且佔领砲台，于是晋作遭到赦免而担任和谈的工作。这次的和谈，英国提了许多条件并且要求『租借』。高杉大体上接受全部的条件，但对于『租借领土』的条件则