他们的无礼激怒了杨音，叱责道：「各位公卿都是老佣！今天设君臣之礼，反而更加混乱，儿戏也不会乱成这样，都可击杀」。互相打斗，宫殿外兵士酒肉，互相杀伤，被卫尉诸葛穉镇压。长安周边被赤眉军掠夺得一片狼借。建世二年（26年）九月，逄安率赤眉军主力部队被延岑、李宝打败，十万余人被歼灭。赤眉军深受打击，粮食不足。同年十二月，赤眉军诸将决断东归。建世三年（27年），汉光武帝刘秀的大司徒邓禹率军攻克关中各地，赤眉军向东逃走。在弘农郡黾池县崤底被冯异率领的汉军击败。赤眉军逃到弘农郡宜阳，光武帝亲率汉朝大军正面防御正面