元年（1662年），魏耕、钱瞻百、钱缵曾、潘廷聪等被处死于杭州，祁班孙、李兼汝、钱氏三兄弟等百余人发配宁古塔。在宁古塔教优伶十六人，将江浙一带的戏曲传至北地，并筑有“漠北书斋”。康熙四年，从宁古塔遁归。一年后为逃避清廷追捕，剃发为僧，号昼林禅师，系曹洞宗，仍“喜议论古今，不谈佛法，每及先朝，则掩面哭”。康熙九年，主持常州毘陵夫山祥符寺，后隐居芙蓉湖。康熙十一年与来访的其兄祁理孙酬唱。康熙十三年五月二十三日圆寂，享年四十三岁，周岁四十一岁。塔于祥符寺侧。整理遗物时发现要求合葬的遗言和所着《东行风俗