一律免官回去重新学习。卢从愿因典选官员非才，被贬为豫州刺史。他在豫州任内为政严简，按察使考核其政绩为天下第一等，被征入为工部侍郎，转尚书左丞。又与杨滔及吏部侍郎裴漼、礼部侍郎王丘、中书舍人刘令植改编《开元后格》，升迁中书侍郎。开元十一年（723年），拜工部尚书，加银青光禄大夫，仍令东都留守。十三年，随玄宗封禅泰山，又加金紫光禄大夫，封固安县开国公，代韦抗为刑部尚书。他在吏部校考官员时，得罪了很多人，玄宗打算以从愿为相，但御史中丞宇文融密奏“从愿广占良田”，又因其“族望婚宦鼎盛于一时（以宗族繁盛，附託者众