随之在乡中招募壮士，以备战乱。1645年，清军先后占领南京和杭州，郑不愿屈服，于闰六月十一日起兵，杀死降清的会稽县令彭万里和清的招抚使，与熊汝霖合作将台州的鲁王朱以海拥立为监国。1646年五月，鲁王军败，郑遵谦随鲁王转战舟山、中左等地。不久，因为不满郑彩擅杀熊汝霖的行为，与其决裂，被郑彩命令逮捕，郑遵谦遂投海自杀。