大村藩や佐土原藩の記録には飯能の町中での戦いの記述は少ないが、後援として備えていた岡山藩の記録には火災の模様や、町中での戦闘の模様が記述されている（『先祖書 布施虎雄』））。同書によると、岡山藩の南石隊が振武軍の屯集する観音寺を攻撃、散り散りに追い払い武器甲冑を奪い、さらに振武軍の幹部・山中昇の宿所と見定めて放火した。また町筋でも銃撃戦となったため、盾として使っていた町屋に仕方なく放火すると、方々から火の手が上がったとある。大村藩の渡辺は中山智観寺の放火については福岡藩、久留米藩によるものとする一方、飯能の町への放火については「商家ハ則賊ノ敗兵所放火」と報告している（『渡辺清届書』）。
なお、渡辺の談話によると、岡山藩兵が未熟練で一か所に固まってしまうことを見かねて、大村の兵を別の隊長に預け自ら岡山藩の指揮を執った。その最中に、渡辺も顔面に残る傷を負ったとしている（『史談会速記録』）。
『高岡槍太郎日誌』には扇町屋へ夜襲に向かった前軍が飯能周辺の戦いに加わった模様が記されている。同書によると飯能に向けて道を急いでいたところ新政府軍の伏兵から発砲されたため、その場で戦端が開かれた。ただし高岡らは夜襲が目的だったため弾薬の備えが十分ではなく、味方からの大砲の支援もない中の戦いとなり、相手の酒樽、食料、医薬品を各自で奪いつつ応戦した。高岡らは馬上から指示を出す新政府軍の指揮官を倒すなど奮闘したが、物量に勝る新政府軍の前に次第に劣勢となり、広渡寺の側で前軍組頭の山中、岡田勇司の2人、少し離れた場所で間庭整三が戦死したと記している。
能仁寺の戦い.
周囲の村々で振武軍を掃討した大村藩、佐土原藩はともに相手の本陣のある能仁寺に向かった。大村藩の記録によると両藩は鬨の声をあげ、砲弾を雷電の如く能仁寺に打ち込み、それに対し振武軍も小銃で応戦した。しばらくして両藩は先を争うように能仁寺に突入すると境内はすでに炎に包まれていたとしている（『渡辺清届書』）。一方、佐土原藩の記録では同藩の一分隊が真っ先に境内に突入して火を放ち、鬨の声をあげたとしている（『東海道先鋒戦争之次第』）。また、岡山藩の記録では、三藩がそろって振武軍らの籠る能仁寺に乗り込み放火したものとしている（『武州飯能表之戦状』）。