惟吉曾经与宋真宗在别殿中谈话，宋真宗对他说：“臣子立于朝堂，如果专心致力安乐，不能以功劳能力升职，不足以地位显要。”潘惟吉当即要求外任，被任命为天雄军驻泊都监，还未上任，于大中祥符二年九月甲子（1009年10月3日）被朝廷任命出任辽朝皇帝生辰副使，充当太常博士、直史馆乐黄目的副手，出使辽朝。潘惟吉接受任命入宫拜谢时已经患病，宋真宗察觉他很瘦弱，派遣使者询问，潘惟吉自称没有患病。进入到辽朝境内，潘惟吉疾病发作，被肩舆送回，宋真宗派遣潘惟吉的儿子乘坐驿站的马匹前往迎接，大中祥符三年二月辛卯（1010年2月27日