将军・平均公廉丹、太师王匡率领大军讨伐赤眉军，赤眉军将他们击破，廉丹阵亡。更始元年（23年）十月，赤眉军诸将归降迁都洛阳的更始帝刘玄，杨音被封为列侯。由于没有封给赤眉军诸将领地，他们的部下兵士先后有逃走的，于是他们逃出洛阳再返回自己的军队。赤眉军入颍川郡，军分为二，一军樊崇率领，一军徐宣率领。谢禄、杨音在徐宣指挥下，徐宣军攻克阳翟、梁国，斩河南太守。赤眉军连战连胜，但士兵疲弊，士兵想要东归。樊崇判断东归大军必然瓦解，决定进攻更始帝占据的长安。更始二年（24年）冬，樊崇军从武关、徐宣军从陆浑关，进入三