同时，和江南的明遗民有颇多来往，与钱谦益、黄宗羲、黄宗炎、朱洪彝等人熟识，曾经「散万金之家以结客」而资助抗清势力。曾于顺治十八年（永历十五年，1661年）三月到常熟，为钱谦益祝贺八十岁生日。钱谦益将他改字为「留侯」，并且写了一篇《吕留侯字说》，期盼他能像张良报韩刺秦那样反清复明。
中年以后.康熙三年（永历十八年，1664年），与黄宗羲等人再访常熟，视钱谦益病笃而终。同年，东南抗清名帅张煌言被俘，于九月七日在杭州就义。吕留良作诗哀悼，并与万斯大设位祭奠，根据其遗愿将之葬在杭州南屏山麓