他与侍中魏知古在东都洛阳分掌选事，开元元年（713年），征还长安任同中书门下三品（宰相）。开元三年（715年）迁黄门监。与紫微令姚崇同为宰相，掌枢密。怀慎才能不及姚崇，遇事推诿，时人称「伴食宰相」。四年，兼任吏部尚书。同年秋，以疾致仕，旬日而卒，遗言推荐宋璟、李杰、李朝隐、卢从愿，唐玄宗哀悼感叹，赠荆州大都督，谥曰文成。欧阳修《集古录》记载洛阳卢怀慎碑立于开元八年（720年），礼部尚书苏颋撰文，玄宗八分书。