饥馑，盗贼在各地蔓延，泰山（太山）郡樊崇起兵，杨音和琅邪郡出身的逄安，同乡徐宣、谢禄一起参加。地皇三年（22年），王莽派遣更始将军・平均公廉丹、太师王匡率领大军讨伐赤眉军，赤眉军将他们击破，廉丹阵亡。更始元年（23年）十月，赤眉军诸将归降迁都洛阳的更始帝刘玄，杨音被封为列侯。由于没有封给赤眉军诸将领地，他们的部下兵士先后有逃走的，于是他们逃出洛阳再返回自己的军队。赤眉军入颍川郡，军分为二，一军樊崇率领，一军徐宣率领。谢禄、杨音在徐宣指挥下，徐宣军攻克阳翟、梁国，斩河南太守。赤眉军连战连胜，但士兵疲弊