败于岐沟关，潘美等也受诏撤军，并掩护云、应四州之民内徙。在撤军过程中，潘美与王侁等逼迫杨业冒险迎敌，置之必败之地，而又见死不救，致使陈家谷（今山西宁武）兵败，杨业全军覆没，被俘，绝食而死。为此，潘美被削秩三等，降为检校太保。次年，又复旧官。淳化二年，加同平章事，数月后死，年六十七。赠中书令，谥武惠。咸平二年，配飨太宗庙庭。孙女在宋真宗为皇子的时候嫁为原配（章怀皇后潘氏），因此潘美在宋真宗时代又追封为郑王。
演义形象.《杨家将》相关的小说、戏曲将潘美的名字改为潘仁美，进行了丑化