五岁补县学生员，是周道登之姻戚，与吴炎、朱鹤龄友好。明亡后，隐居故里，用功读书，尤精于史学，着《国史考异》、《松陵文献》。早岁曾与吴炎加入“惊隐诗社”，遂与顾炎武等订交，后潘耒亦借此关系入顾氏门墙。清康熙二年（1663年）二月，浙江南浔庄廷鑨明史案发，与吴炎遭逮捕，明史稿被焚。同年六月，被凌迟于杭州弼教坊，妻沈氏流放至广宁（辽宁省北镇县），中途流产，沈氏服药自杀。顾炎武写《书吴潘二子事》纪念他与吴炎。着有《国史考异》、《松陵文献》等。殁后《松陵文献》多有散佚，残稿由其弟潘耒编成《松陵文献》。“惊隐诗社”