首领段末波之弟。325年末波去世后，段牙继位。同年，由于当时的慕容部鲜卑首领－辽东公慕容廆，与段部鲜卑关系友好，因此建议段牙迁都，段牙接受他的意见，遂迁离都城令支（今中国河北省迁安市），部众不满。段牙的远房堂兄弟，也是段部鲜卑第一位首领段日陆眷之孙的段辽打算篡夺，就以段牙迁都为罪状率领部众进攻，杀死段牙，自立为首领。