位无儿女的姨姨相中，计划把他培养成其丈夫建筑公司的接班人。志不在此的他于中学毕业后原打算投考警察，不过因遭母亲反对作罢（潘计划了投身警队，再迎娶心仪对象，一同成家立室）。他为了向心仪对象证明自己的能力，遂报考国泰电影公司第一期训练班前。面试阶段获芭蕾舞家毛妹赏识，对方有意栽培他成为芭蕾舞员。却因考虑到前景与薪酬问题，潘选择专心从演。而他入行前曾想过当发型师及服装设计师。
个人生活.潘志文有两段婚姻。他与前妻 Annie 育有一女儿潘纳（曾在香港有线YMC台做主持）。而与现任妻子 J