鳥羽・伏見の戦いの後、戦死した佐久間信久の第11連隊と、やはり戦死した窪田鎮章の第12連隊の兵士が江戸開城を不服として脱走した。古屋佐久左衛門は彼らを帰順させ、新たに第6連隊を加えて約900名の部隊を結成した。梁田の戦いで官軍の奇襲攻撃を受け敗北するも、残兵をまとめて会津に至り、衝鋒隊と部隊名を名付け、越後に進駐した。