飯能戦争
彰義隊を脱退した成一郎は旗本の奥野左京宅に(『戊辰私乗』)、あるいは大塚の自宅に留まっていた(『藍香翁』)。『戊辰私乗』によれば、成一郎の下を山田劉八郎と野村良造が訪れ、新たに一軍を組織しその隊長となるように説得。さらに二人が尾高を謀主として仲間に引き入れ、同志に檄を発したところ30人余りが集まったと記している。高岡槍太郎の残した『高岡槍太郎日誌』によれば、高岡が成一郎から新組織結成の意思を伝えられるとこれに同意し、閏4月11日夜半に河原彦太郎、山田、野村、山中昇、瀧村尚吉ら20人とともに上野を出て、本郷にある野村宅に集結した。
野村宅では「会津に加勢する」か「江戸郊外に移転して同志を募り、新政府軍に抵抗する」かで議論が交わされた後、堀之内村(現・東京都杉並区堀之内)の茶屋「信楽」を拠点に同志を集めることになった。この後に水戸中納言の家臣・渡辺遠ら70人、高岡の勧誘した酒井雅楽頭の家臣3人、神奈川方面で組織された菜葉隊らが加わった(『高岡槍太郎日誌』)。『藍香翁』に収録された成一郎の談話では、大塚の成一郎宅に集まった同志を200人、「信楽」に集まった同志を80から90人としている。
『藍香翁』によれば、この時点で成一郎らは武器弾薬を所持していなかったため、尾高と謀り20人余りの隊士を率いて三番町にある幕府伝習隊屯所からミニエー銃300丁と弾丸を奪取した。一方、『戊辰私乗』によれば、尾高が成一郎から伝習隊屯所に銃が隠されているとの情報を得ると、新政府軍に扮して屯所に入り250丁の銃を奪取、後から商人から弾丸が届けられたと記している。
8時ころ、新政府軍が双柳方面から飯能周辺に侵入し戦いが始まった。能仁寺、智観寺、観音寺、広渡寺の4か寺に屯集する振武軍の兵が小銃を打ち立てて繰り出し、大砲と小銃を備える新政府軍との間で撃ち合いとなった。真能寺村の名主・双木家の記録によると、23日深夜0時から笹井、鹿山方面で続いていた夕立のような砲声が一旦止み、しばらくした後に飯能方面の戦いが始まった。住民が逃げ支度の準備を始めたところ、民家に砲弾や小銃の流れ弾が飛び込んできたといい(『「大炮玉箱」箱書』)、老人や子供、村役人が驚き逃げだす騒ぎとなった。戦闘が始まると4か寺だけでなく、飯能の「町」を形成する飯能村、久下分村、真能寺村の民家から火の手が上がり始めた(『乍恐以書付御訴奏申上候』)。
『飯能辺騒擾日記』には笹井方面の銃撃戦により振武軍が敗走し、中山村の智観寺に戦いが移った模様が記されている。同書によると「打ては退き退きては打、中山智観寺前に引き取る時、同寺の賊徒後詰に出て飯能裏までまくり立らるゝ、同勢を引留め入れ替わり官軍と戦ひしが遂に智観寺も攻落とされ」と一進一退の攻防だったとしている。福岡藩や久留米藩の記録によると、振武軍が屯所のひとつとする智観寺に到着すると大砲を打ちかけ、両藩がすぐに突入を開始した。ただし境内を探索したものの、振武軍の兵は道具や食料を残したまま退去していた、としている。久留米藩の記録によれば、敵兵が隠れ潜んでいることも考え、寺を焼き払ったとある(『久留米藩士柴田光衛 関東奥州征討記録』)。