常常吟诗，与柳开为莫逆之交。太平兴国七年（982），任秦王赵廷美的记室参军，卢多逊为相，谋立秦王为帝，潘阆参预其谋。秦王事败，潘阆受株连而遭追捕，潘阆扮僧人逃匿中条山（今山西省南部黄河北岸）。淳化初，潘阆重返汴京卖药。宋太宗至道元年（995年）以宣政使王继恩之荐，赐进士，授四门助教，不久以其狂妄，追还诏书。为人“狂逸不羁”，常倒骑着驴子闲逛（后成为张果老故事），有诗“散拽禅师来蹴踘，乱拖游女上秋千。”，后以“狂妄”罪名被斥，流落杭州，卖药为生。王继恩因事下狱，连坐甚广，潘阆曾参与其谋，遭缉捕，幸而逃脱得免。