的家中组成不依据身分安排职位的奇兵队，并且以阿弥陀寺（现赤间神宫）为根据地（但在9月的被罢免总监职位）。在京都由于萨摩藩和会津藩勾结，于是对在宫廷造成「八月十八日政变」的长州藩进行放逐。文久4年（1864年）1月，高杉想要说服主张进军京都的激进派来岛又兵卫却被其拒绝，于是高杉脱藩并且前往京都潜伏着。之后由于桂小五郎的説服而在二月归乡，但因为脱藩罪而被关到野山狱中，六月出狱并且遭到观察的处分。7月，长州藩在禁门之变战败而成为朝敌，来岛及久坂玄瑞战死和自杀。8月时，英国、法国、美国、荷兰所组成的四国联合舰队