四五月时又是农忙季节，请求暂停巡视。明命帝大为不悦，派武维新为廉访使巡视广南，查处广南弊政，潘清简因此被贬为六品属员，留广南效力。两个月后，调任内阁承旨，转户部郎中，办理部务。不久升署户部侍郎，充机密院大臣。明命十九年（1838年），降为郎中，随后前往太原省开採银矿。明命二十年（1839年）冬，明命帝召还潘清简，改任通政使司副使，转户部侍郎。随后他因袒护同乡王有光遭明命帝恶，再降为通政使司副使。明命二十一年（1840年），升兵部侍郎。绍治元年（1841年），潘清简擢升兵部参知，充机密院大臣。绍治七年（1