卢文纪令朝士不得出城制置，赵砺怀恨，意图以此归咎卢文纪。枢密使杨邠闻之，怒，令赵砺所弹劾的官员致仕。卢文纪和杨邠在此事上有分歧，又因病请假，正好因此被御史弹劾，被令以本官致仕。
后周年间.后周太祖郭威登基后，遣使到卢文纪家，拜为司空。同年夏，卢文纪卒，赠司徒，辍视朝一日。卢文纪平生积财巨万，但死后，其子卢龟龄不数年间就将其花完，于是积蓄很多的人多以他为戒。