放纵、乱行奢侈，于是左迁海州刺史。因为段韶的缘故，又被召还邺都，任都官尚书。食邑阳城郡，加开府仪同三司。后转任太常卿，任齐州刺史，以受贿之罪被御史弹劾。齐武成帝去世时，被赦免。再任太常卿，食邑河南郡。后转任吏部尚书。571年（武平二年），和士开被杀，祖珽掌握政权，祖珽准备排挤出赵彦深，召段孝言共同执政。段孝言兼侍中，入内省，掌管机密。不久成为正式的侍中，吏部尚书不变。段孝言没有才识，不能公平处事，所提拔的人员，不是贿赂就是旧友。将作丞崔成非难：「尚书是天下人的尚书，难道是段家的尚书吗」？段孝言无词以答，