爵元年（前61年），汉朝派往安辑之骑都尉义渠安国受命前往处理，背弃前言，诱杀先零羌首领三十余人，使矛盾进一步激化。杨玉遂联合原附汉的诸羌首领举兵反汉，率本部骑兵四千和煎巩骑兵五千，进犯关塞，攻杀长吏，率众围攻金城郡。后将军赵充国等率军围剿，杨玉叛亡出塞。神爵二年（前60年），羌酋若零斩杀杨玉之首级投降，杨玉兵败身死，余部复归汉。