一日，贬李昭德为南宾（今广西钦州）县尉，不久又减死流放。695年正月，周允元与司刑少卿皇甫文备上奏说内史豆卢钦望、同平章事韦巨源、杜景俭、苏味道、陆元方依附李昭德，同被罢相。
流放归来和被杀.李昭德后被召回为监察御史，司仆少卿来俊臣仗势贪求女色，通过诬告谋反，夺取官民妻妾，李昭德非常恨他，还多次羞辱秋官侍郎皇甫文备。697年，两人因此诬告李昭德谋反，李昭德被下狱。来俊臣又诬告武氏诸王和太平公主、李旦、庐陵王李哲谋反。河东人卫遂忠告发来俊臣由此想窃取权力。697年6月26日（六月