他和更有权势的宰相元载的腐败使龙颜大怒。大历十二年（777年），元载伏诛，王缙被贬，再未重返长安。
家世.王缙生于武则天久视元年（700年）。他的家族本来自太原，但当时他却客居河中。他的四世祖王儒贤、曾祖王知节、父亲王处廉都官至司马，祖父王胄则任协律郎。他至少有四个兄弟：兄长王维，弟弟王繟、王纮、王紞。还有一妹嫁汝州司马萧安亲，生河南府洛阳县丞萧征。王缙年轻时好学，和后来成为着名诗人的兄长王维都以文才闻名。他连中草泽、文辞清丽举两门特设科举考试。
早期朝