菱湖镇人（清·菱湖镇志）。王氏“始迁祖”王宗祥，明末自休宁合阳（今属安徽黄山市屯溪区）迁居归安。王以衔为王宗祥六世孙，生于干隆二十六年（1761年），干隆六十年（1795年）状元。授翰林院修撰。提督江苏学政，为国子监司业，入值南书房，改值上书房。卒于道光三年（1823年）。