为宰相，掌枢密。怀慎才能不及姚崇，遇事推诿，时人称「伴食宰相」。四年，兼任吏部尚书。同年秋，以疾致仕，旬日而卒，遗言推荐宋璟、李杰、李朝隐、卢从愿，唐玄宗哀悼感叹，赠荆州大都督，谥曰文成。欧阳修《集古录》记载洛阳卢怀慎碑立于开元八年（720年），礼部尚书苏颋撰文，玄宗八分书。