开始投奔天柱大将军尔朱荣参军，自奉朝请转任征虏将军、内散大夫。段威随高欢建立东魏，任朔州长史。沙苑之战，段威被西魏俘虏。宇文泰以他为帐内都督，转征虏将军、太中大夫，又任抚军将军、通直散骑常侍、旅贲大夫。北周受禅，段威转任虎贲大夫，使持节、洮州诸军事、洮州刺史。后来段威任骠骑大将军、开府仪同三司、甘州刺史。又担任过河州刺史、渭州刺史。建德四年（575年）七月十七，段威在长安去世，寿六十七岁。