（1848年），改任吏部尚书。次年（1849年）初，充经筵讲官。不久，改充左畿经略大使，领平富总督，兼知顺庆道。嗣德四年（1851年），改充南圻经略副使，领嘉定巡抚，兼知边和、永隆、定祥、安江、河僊五道。嗣德六年（1858）八月，潘清简被召还京，升署协办大学士，领兵部尚书，充机密院大臣，经筵讲官。嗣德九年（1856年），潘清简奉命编纂《钦定越史通鑑纲目》，任总裁官。
西贡条约.在法国势力进入越南之际，潘清简主张同法国谈判。嗣德十五年（1862年），越南同法国签订《西贡条约》，潘清简