放归田里，换取赐王缙散职令其在朝廷。王缙历任国子祭酒、凤翔尹（干元二年（759年）—三年（760年））、秦陇州防御使、工部侍郎、左散骑常侍。干元二年七月他正在凤翔任内时，王维病重，索要笔作别王缙书，又写了给亲故的作别书数幅，丢下笔就去世了。太上皇唐玄宗于宝应元年（762年）驾崩，王缙奉命起草《》，时人认为写得很好。后又改任兵部侍郎。同年，唐肃宗也驾崩。二年（763年）正月，爱好文学的唐代宗对王缙说：“卿的兄长在天宝年间诗名冠代，朕曾在诸王座听闻王维乐章，如今传下来多少？卿可进献。”王缙答：“臣兄开元中诗百千