『飯能辺騒擾日記』には笹井方面の銃撃戦により振武軍が敗走し、中山村の智観寺に戦いが移った模様が記されている。同書によると「打ては退き退きては打、中山智観寺前に引き取る時、同寺の賊徒後詰に出て飯能裏までまくり立らるゝ、同勢を引留め入れ替わり官軍と戦ひしが遂に智観寺も攻落とされ」と一進一退の攻防だったとしている。福岡藩や久留米藩の記録によると、振武軍が屯所のひとつとする智観寺に到着すると大砲を打ちかけ、両藩がすぐに突入を開始した。ただし境内を探索したものの、振武軍の兵は道具や食料を残したまま退去していた、としている。久留米藩の記録によれば、敵兵が隠れ潜んでいることも考え、寺を焼き払ったとある(『久留米藩士柴田光衛関東奥州征討記録』)。聖天林、森の内方面.中山智観寺を攻め落としたことにより能仁寺に直接向かう道が開けたが、聖天林に潜んでいた振武軍の兵の襲撃を受けた。そのため、大小砲二百丁で応戦した結果、敵兵1人を討ち取り敗走させた(『飯能辺騒擾日記』)。福岡藩の記録によれば智観寺襲撃の後、飯能裏手に進むため各藩で協議を始めると森の内から発砲を受けたため、発砲し数時間ほど応戦した後、相手を敗走させた。森の内に押し込み捜索したところ敵兵1人を打ち倒し、さらに周囲の村々を捜索したところ敵兵の姿が見えないため引き上げたとある(『福岡藩隊長届書太総督府宛』)。久留米藩兵の記録によると、(振武軍らが)町裏の山中より(銃弾を)雨の如く発射したため、新政府軍は桑の木を盾に兵を散開して備え、大砲隊を小社の杉の森に集め、激しく打ち立てた。散兵し次第に進むと賊兵はついに退散した。すぐに山中に踏み込むと墓所があり、(相手は)墓石を盾にしていたことが分かった。討死した賊兵の首をはね、桑の木にかけて青梅まで帰陣した、とある(『(久留米藩士)井上達也報国日誌』)。飯能の町の戦い.