高祖王邵，隋秘书监。曾祖王子奇，京兆府渭南县尉。祖王庆贤，京兆府美原县丞，赠太常卿。父王光谦，楚州淮阴县令，赠太子太保。兄王翊，代宗时为山南东道节度使、刑部侍郎。早年从军，为折冲都尉，天宝年间在羽林军中任职。擢才兼文武科，出为辰州刺史。参与讨伐襄州康楚元有功，加兼秘书少监，迁朗州刺史。大历五年（770年），迁容州刺史、容管经略使。安史之乱时，因唐军频繁在岭南征兵，当地的溪洞夷獠都害怕被征募，有首领梁崇牵，自号“平南十道大都统”，与覃问、西原贼张侯、夏永等人攻陷占据容州。前后经略使陈仁琇、李抗、侯令仪