考一等，擢侍读学士。历官宗人府府丞、左副都御史，督顺天府学政。主持增订《史籍考》。咸丰年间太平军起，咸丰五年（1865年）奉旨办理团练，太平军至，则闻警逃遁，张芾参劾潘锡恩“坐拥厚资，心存悭吝，闻警则先期逃遁”。晚年晋封太子少保，赐谥文慎。其故居在今安徽泾县茂林中学。