王召他到台州，授令他斩杀马士英。张岱领兵追捕马士英，却被他逃脱。九月，鲁王自台州迁往绍兴，张岱曾接待鲁王到自己家中，君臣尽欢。其后鲁王监国，张岱有意在此小朝廷供职，得到「方部主事」一职，官位低微。他见鲁王不足成事，渐感不安，辞职退隐。（一说马士英与将领方国安合作，挟持鲁王，斥逐张岱。）1646年正月，方国安强邀张岱复出商讨军务，张岱忍病出山，却遭官兵逼税，儿子被绑架。张岱出逃，其家为方国安士兵劫掠，藏书尽失。夏天，清兵攻陷绍兴，张岱把几个儿子与两位夫人安顿在城东山中的安全地方，自己则逃到绍兴西南深山之中。