武、李因笃、朱彝尊等交往。又东出山海关，留意山川险阻，暗图复业。他在辽东凭弔袁崇焕督师故垒，写下《出塞》及《塞上曲》等曲。返回关内后，积极游走于齐鲁与吴越之间，在会稽与魏耕、祁班孙等秘密联络郑成功，后张煌言与郑成功合兵率军沿长江而上，攻克芜湖、徽州府、宁国府，攻下三十余州县。顺治十六年（1659年）十月事败，郑成功还至厦门，张煌言败走浙东天台。顺治十七年（1660年）秋，屈大均访南京，与朱彝尊同游山阴，参加祁氏兄弟的抗清活动。康熙元年（1662年）魏阱、钱瞻百、钱缵曾、潘廷聪等被杀于杭州，祁班孙遣戌宁古塔，