杉受委託担任下关的防卫工作，但反而遭到美法两国的报复攻击而惨败（下关战争）。6月在廻船批发商的家中组成不依据身分安排职位的奇兵队，并且以阿弥陀寺（现赤间神宫）为根据地（但在9月的被罢免总监职位）。在京都由于萨摩藩和会津藩勾结，于是对在宫廷造成「八月十八日政变」的长州藩进行放逐。文久4年（1864年）1月，高杉想要说服主张进军京都的激进派来岛又兵卫却被其拒绝，于是高杉脱藩并且前往京都潜伏着。之后由于桂小五郎的説服而在二月归乡，但因为脱藩罪而被关到野山狱中，六月出狱并且遭到观察的处分。7月，长州藩在禁门之变