经过剩，请求停赐馔，获准。常衮为相时，想改革元载、王缙受贿用人之弊，杜绝侥幸，一概不答应四方奏请，但对人才无所甄别，导致贤者愚者仕途一同受阻。
遭贬后.十四年（779年）六月，代宗以王缙为太子宾客，但不许回长安而是在洛阳就职。唐德宗继位不久，他即在建中二年（781年）十二月去世。
轶闻.安史之乱中安禄山劫持王维，唐肃宗平乱后，王维本以六等定罪，必须流放远州，王缙请削己职以赎兄罪，后来唐肃宗得知了王维私下写的诗《闻逆贼凝碧池作乐》，知道王维是「被胁从贼」，因