祖王儒贤、曾祖王知节、父亲王处廉都官至司马，祖父王胄则任协律郎。他至少有四个兄弟：兄长王维，弟弟王繟、王纮、王紞。还有一妹嫁汝州司马萧安亲，生河南府洛阳县丞萧征。王缙年轻时好学，和后来成为着名诗人的兄长王维都以文才闻名。他连中草泽、文辞清丽举两门特设科举考试。
早期朝官生涯.王缙中科举后，为韦抗所辟举，先后担任侍御史和武部员外郎。天宝十四年（755年）唐河东、范阳、平卢三镇节度使安禄山叛乱，王缙被选为太原少尹，辅佐将领李光弼镇守太原。他的谋略为守城提供了很大帮助。加宪部侍郎