段孝言无词以答，祇是让他下去。转任中书监、加特进。他又利用韩长鸾，共同揭发祖珽。573年（武平四年），祖珽被赶出朝廷后，段孝言任尚书右仆射，仍主管选举人材。负责监作疏理邺城北护城河。仪同三司崔士顺、将作大匠元士将、太府少卿郦孝裕、尚书左民郎中薛叔昭、司州治中崔龙子、清都尹丞李道隆、邺县令尉长卿、临漳县令崔象、成安县令高子彻都在段孝言手下。段孝言多提拔富商大贾，腐败风潮横行。不久又迁为尚书左仆射，仍为特进、侍中。段孝言晚年豪奢，好女色。后来娶了娄定远的妾董氏为妻，十分宠爱，家里内外不和，因为争讼被弹劾免官