何事发生，陆元方答：“臣是宰相，大事肯定会禀报，不敢拿民间琐事烦扰陛下。”因而忤逆了武则天，腊月被罢相为司礼卿，后又改太子李显右庶子。后又任文昌左丞，前后掌选官及科举各两年，病卒。赠越州都督。开元十八年，又赠扬州大都督。隋朝勐将来护儿的两个儿子来恒、来济都有才学，陆元方说：“来护儿，儿把笔；虞世南儿带刀言。”陆元方诚实谨慎，第二次拜相时，无论武则天何时任命官员，都先咨询他，陆元方将自己的推荐意见密封送入，并不泄露自己的私恩。陆元方临终时，取来前后给武则天的奏稿并焚烧了，说：“我对别人的阴德多了，这肯定会