挤出赵彦深，召段孝言共同执政。段孝言兼侍中，入内省，掌管机密。不久成为正式的侍中，吏部尚书不变。段孝言没有才识，不能公平处事，所提拔的人员，不是贿赂就是旧友。将作丞崔成非难：「尚书是天下人的尚书，难道是段家的尚书吗」？段孝言无词以答，祇是让他下去。转任中书监、加特进。他又利用韩长鸾，共同揭发祖珽。573年（武平四年），祖珽被赶出朝廷后，段孝言任尚书右仆射，仍主管选举人材。负责监作疏理邺城北护城河。仪同三司崔士顺、将作大匠元士将、太府少卿郦孝裕、尚书左民郎中薛叔昭、司州治中崔龙子、清都尹丞李道隆、邺县令尉长卿