大部平息后，王维遭到弹劾，将被处罚。王缙愿辞宪部侍郎（即刑部侍郎）换取兄长免罪。王维被免罪，但王缙被降了一阶。王缙善草隶书，《述书赋》收录之，被认为胜过薛稷；与王维名望首冠一时，时人议论诗则称王维，崔颢论笔则称王缙，李邕、祖咏、张说都比不上他们。干元年间，王缙被外放为蜀州刺史。杜甫有《和裴迪登新津寺寄王侍郎》。时任尚书右丞的王维作《》称自己忠、政、义、才、德均不如王缙，请求尽削自己官职放归田里，换取赐王缙散职令其在朝廷。王缙历任国子祭酒、凤翔尹（干元二年（759年）—三年（760年））、秦陇州防御使