岁时，毛将军听说清兵正在缉捕流寇余党，于是抛下他，自己逃亡了。他走到朱元璋故居凤阳，遇到一位姓王的老乡绅，曾任明朝谏官，细询根由，执手悲泣，乃留在王家，作为其养子，改姓「王」，取名「王士元」。王谏官病故后，士元年方十八九，被王家子孙破门，至一佛寺中剃发出家，偷生度日，后结识一个姓胡的余姚人，亦明官员后裔，后两人谈艺论文后，胡颇钦佩他的才学，劝他还俗，并将女儿嫁给了他。自此以教书谋生，居于四明山，但是官府访查之下，他只好迁居山东，化名「张用观」，斋号「潜斋」，自称「浙东张老先生」。康熙四十四年（1705年