秦乞伏炽磐即位，任命他为中尉。415年（永康四年），乞伏炽磐率兵三万袭撃北凉湟河，段晖任散骑常侍，从征北凉沮渠汉平，北凉司马隗仁在被擒，乞伏炽磐要斩杀隗仁，段晖认为隗仁忠义，请求乞伏炽磐没有杀他。427年（建弘八年），任凉州刺史。428年（永弘元年），乞伏暮末即位，段晖任辅国大将军、御史大夫、西海侯。429年（永弘二年），吐谷浑、北凉一起攻打西秦，段晖迎击获胜。430年（永弘三年），吐谷浑攻打西秦的定连，段晖再次迎击获胜。西秦国政混乱，段晖和儿子段承根投奔吐谷浑慕璝。431年，吐谷浑附魏，段晖父子归顺北魏。