嘉庆十六年（1811年）登进士，与林则徐同榜，改庶吉士。嘉庆二十三年七月十七（1818年8月18日）由翰林院侍读调任广西学政。道光四年（1824年）大考一等，擢侍读学士。历官宗人府府丞、左副都御史，督顺天府学政。主持增订《史籍考》。咸丰年间太平军起，咸丰五年（1865年）奉旨办理团练，太平军至，则闻警逃遁，张芾参劾潘锡恩“坐拥厚资，心存悭吝，闻警则先期逃遁”。晚年晋封太子少保，赐谥文慎。其故居在今安徽泾县茂林中学。