事不和。娄师德行动迟缓，李昭德上朝时得等着他，骂他为田舍夫。前鲁王府功曹参军丘愔、长上果毅邓注上奏李昭德专权，武则天开始猜忌李昭德。694年秋九月廿一日，贬李昭德为南宾（今广西钦州）县尉，不久又减死流放。695年正月，周允元与司刑少卿皇甫文备上奏说内史豆卢钦望、同平章事韦巨源、杜景俭、苏味道、陆元方依附李昭德，同被罢相。
流放归来和被杀.李昭德后被召回为监察御史，司仆少卿来俊臣仗势贪求女色，通过诬告谋反，夺取官民妻妾，李昭德非常恨他，还多次羞辱秋官侍郎皇甫文备。697年，两人因此诬