殿山里建设中的英国驻日公使馆，然后把吉田松阴的遗骨从迁葬到世田谷。文久3年（1863年）5月10日，由于幕府从朝廷方面要求停止攘夷的期限已过，于是长州藩对在关门海峡外国船只进行砲击，高杉受委託担任下关的防卫工作，但反而遭到美法两国的报复攻击而惨败（下关战争）。6月在廻船批发商的家中组成不依据身分安排职位的奇兵队，并且以阿弥陀寺（现赤间神宫）为根据地（但在9月的被罢免总监职位）。在京都由于萨摩藩和会津藩勾结，于是对在宫廷造成「八月十八日政变」的长州藩进行放逐。文久4年（1864年）1月，高杉想要说服主