被赦免。再任太常卿，食邑河南郡。后转任吏部尚书。571年（武平二年），和士开被杀，祖珽掌握政权，祖珽准备排挤出赵彦深，召段孝言共同执政。段孝言兼侍中，入内省，掌管机密。不久成为正式的侍中，吏部尚书不变。段孝言没有才识，不能公平处事，所提拔的人员，不是贿赂就是旧友。将作丞崔成非难：「尚书是天下人的尚书，难道是段家的尚书吗」？段孝言无词以答，祇是让他下去。转任中书监、加特进。他又利用韩长鸾，共同揭发祖珽。573年（武平四年），祖珽被赶出朝廷后，段孝言任尚书右仆射，仍主管选举人材。负责监作疏理邺城北护城河。仪