兵士酒肉，互相杀伤，被卫尉诸葛穉镇压。长安周边被赤眉军掠夺得一片狼借。建世二年（26年）九月，逄安率赤眉军主力部队被延岑、李宝打败，十万余人被歼灭。赤眉军深受打击，粮食不足。同年十二月，赤眉军诸将决断东归。建世三年（27年），汉光武帝刘秀的大司徒邓禹率军攻克关中各地，赤眉军向东逃走。在弘农郡黾池县崤底被冯异率领的汉军击败。赤眉军逃到弘农郡宜阳，光武帝亲率汉朝大军正面防御正面，樊崇、徐宣、杨音以下赤眉军将领三十人肉袒（上半身赤裸）投降。杨音在长安时，对待赵王刘良有恩义，于是被汉光武帝封为关内侯。以