武则天愤而免其官，只许他白身履职。陆元方继续推荐官员，武则天问他怎敢如此，他答：“臣只知道举荐自己了解的人，不在乎是朋友还是仇人。”更推荐朋友崔玄暐，称他有宰相之才。武则天相信他没有偏袒了，圣历二年（699年）八月再任他为鸾台侍郎、同凤阁鸾台平章事。久视元年（700年），武则天曾问陆元方宫外有何事发生，陆元方答：“臣是宰相，大事肯定会禀报，不敢拿民间琐事烦扰陛下。”因而忤逆了武则天，腊月被罢相为司礼卿，后又改太子李显右庶子。后又任文昌左丞，前后掌选官及科举各两年，病卒。赠越州都督。开元十八年，又赠扬州大