永历十五年正月十五日（1661年2月13日），十七年（1663年）清军从明郑手中攻下金门、厦门，进行迁界，王世杰与父母王尚春、何媛娘及两位兄长世什、世传因而随乡人搬到同安县城，不久父母相继过世，兄弟三人相依为命。康熙十三年（1674年）发生三藩之乱，大明延平王郑经应大清靖南王耿精忠之邀反攻闽南，迁居之金厦居民逐渐重返故乡，王世杰在此时曾加入郑军当军伕。十九年（1680年）金门再次被清军攻陷后，王世杰随郑军撤回台湾。郑克塽继位后，台湾北路的原住民兴兵反抗明郑，王世杰以运粮官的身分与军队前往镇压，后来因