后只得前往投靠闽南郑成功；郑成功军队尊唐王朱聿键为正朔，一向与鲁王不合，但为了顾全抗清大局，于是仍将鲁王安置于金门。之后，张煌言回到浙东组织抗清力量，与郑成功、张名振等势力多次北伐南京。永历八年（1654年），张煌言会同张名振北伐，入长江，师抵南京燕子矶。隔年，张煌言、张名振再次攻至燕子矶但仍因兵力薄弱以失败告终。张名振于兵败不久后病逝（一说遭到郑成功毒害），由郑成功部将陈六御接收其军队。永历十二年（1658年），张煌言与郑成功自厦门出兵北伐，克复乐清、宁海等地；后却于羊山海面遭遇台风袭击，两军损失