明命帝召还潘清简，改任通政使司副使，转户部侍郎。随后他因袒护同乡王有光遭明命帝恶，再降为通政使司副使。明命二十一年（1840年），升兵部侍郎。绍治元年（1841年），潘清简擢升兵部参知，充机密院大臣。绍治七年（1847年），擢刑部尚书，充机密院大臣。嗣德元年（1848年），改任吏部尚书。次年（1849年）初，充经筵讲官。不久，改充左畿经略大使，领平富总督，兼知顺庆道。嗣德四年（1851年），改充南圻经略副使，领嘉定巡抚，兼知边和、永隆、定祥、安江、河僊五道。嗣德六年（1858）八月，潘清简被召还京，升署