年多后，刘鋹对潘崇彻颇有怀疑，便派遣薛崇誉前往其军中考察。薛崇誉回到广州，报告潘崇彻每天让八百多位伶人“衣锦绣，吹玉笛，为长夜之饮”，不理军政。刘鋹大怒，将潘崇彻召归并夺去兵权，崇彻自此郁郁寡欢。后宋军南征，刘鋹复召崇彻为内太师、马步军都统，领兵五万防守贺江，后者不愿效命，一心拥兵自保。不久，宋将潘美攻克英州、雄州，崇彻遂率部投降。宋太祖赵匡胤特赦了潘崇彻，任命其为汝州别驾，不久去世。