段孝言多提拔富商大贾，腐败风潮横行。不久又迁为尚书左仆射，仍为特进、侍中。段孝言晚年豪奢，好女色。后来娶了娄定远的妾董氏为妻，十分宠爱，家里内外不和，因为争讼被弹劾免官，流放光州。段孝言虽然贪得无厌，恣情酒色奢豪放荡，但是举止风流，能招致名士赋诗演奏音乐，伎舞笙歌，尽情欢乐。即使是草莽人士也被他引入宾馆娱兴赏乐，贫穷者也有所赠送。舆论又为此称赞他。北齐灭亡，段孝言在北周任开府仪同大将军，后加上开府之位。