打令居、故安，围攻枹罕。匈奴也出兵五原，杀太守，互相唿应。元鼎六年（前111年），汉朝将军李息率领十万大军击破，先零羌归降，受封归义侯。经历汉昭帝与汉宣帝初年先零羌一直归附于西汉，杨玉受封“归义羌侯”，居湟水流域。汉宣帝元康年间率部众北渡湟水放牧，汉朝光禄大夫义渠安国应允上奏。羌人通过此言先后渡湟水，郡县不能禁止。元康三年（前63年），诸羌在匈奴鼓动下起事犯汉边，神爵元年（前61年），汉朝派往安辑之骑都尉义渠安国受命前往处理，背弃前言，诱杀先零羌首领三十余人，使矛盾进一步激化。杨玉遂联合原附汉的诸羌首领举兵