谏官病故后，士元年方十八九，被王家子孙破门，至一佛寺中剃发出家，偷生度日，后结识一个姓胡的余姚人，亦明官员后裔，后两人谈艺论文后，胡颇钦佩他的才学，劝他还俗，并将女儿嫁给了他。自此以教书谋生，居于四明山，但是官府访查之下，他只好迁居山东，化名「张用观」，斋号「潜斋」，自称「浙东张老先生」。康熙四十四年（1705年），士元化名「何诚」，在宁波向秀才张月怀租屋居住，不久，张月怀请士元饮酒畅谈，士元酒后吐真言，自称是崇祯皇子，月怀打算借此机会起义，拥立「朱三太子」，事情遭到官府侦查，士元大惊，便带家属徙居湖州