文久3年（1863年）5月10日，由於幕府從朝廷方面要求停止攘夷的期限已過，於是長州藩對在關門海峡外国船隻進行砲擊，高杉受委託擔任下關的防衛工作，但反而遭到美法兩國的報復攻擊而慘敗（下關戰爭）。6月在廻船批發商的家中組成不依據身分安排職位的奇兵隊，並且以阿彌陀寺（現赤間神宮）為根據地（但在9月的被罷免總監職位）。