祖籍福建莆田，早年随父至仁和（今浙江杭州），幼好学，十岁诵古文，好读奇书，为诸生时，考试均名列第一。张治爱其才。康熙十八年（1679年）以内阁中书王谷振荐举，举博学鸿词科，试列二等，授翰林院检讨，承修《明史·历志》。《清史稿》载：“当时词科以史才称者，朱彝尊、汪琬、吴任臣及耒（潘耒）为最着。”二十八年（1689年），分修《律历志》，因工作过勤，连续四十天不眠不休，以旧疾复发，僵仆卒于车中。着述有《周礼大义补》、《礼通》、《春秋正朔考辨》、《山海经广注》、《字汇补》、《南北史合注》、《託园诗文集》和《十国春秋