为灵昌令，因此迁居于灵昌。怀慎少年清谨，中进士及第，武则天时历任监察御史、吏部员外郎，唐中宗景龙年间，迁右御史台御史中丞，《旧唐书》载其所上的时政得失三篇。他官职累迁至黄门侍郎，赐爵渔阳伯。为官清廉谨慎，家里的陈设用具简陋。唐玄宗先天二年，他与侍中魏知古在东都洛阳分掌选事，开元元年（713年），征还长安任同中书门下三品（宰相）。开元三年（715年）迁黄门监。与紫微令姚崇同为宰相，掌枢密。怀慎才能不及姚崇，遇事推诿，时人称「伴食宰相」。四年，兼任吏部尚书。同年秋，以疾致仕，旬日而卒，遗言推荐宋璟、李杰、李