雍熙三年（986年），宋兵三路北伐辽朝，潘美为云（今山西大同）、应（今山西应县）、朔（今山西朔州）等州行营都部署，杨业副之，率西路军出雁门，所向克捷。不久，因曹彬所领东路军大败于岐沟关，潘美等也受诏撤军，并掩护云、应四州之民内徙。在撤军过程中，潘美与王侁等逼迫杨业冒险迎敌，置之必败之地，而又见死不救，致使陈家谷（今山西宁武）兵败，杨业全军覆没，被俘，绝食而死。为此，潘美被削秩三等，降为检校太保。次年，又复旧官。淳化二年，加同平章事，数月后死，年六十七。赠中书令，谥武惠。咸平二年，配飨太宗庙庭。孙女在宋真