行会计文员。入职银行业界的原因在于他认为银行工作稳定，加上准时支付薪金，所以花了7年多时间埋首苦干。1974年，他时常参加排舞活动的友人为他填写第4期无线电视艺员训练班的报名表格。电视台经过几遴选后决定取录他；当年同期加入的学员包括杜琪峰、黄杏秀、李国麟、梁碧玲、刘仕裕、谈泉庆、赖水清、黄建勋及张美琳等等。潘于1975年毕业后获得在剧集中主要饰演小角色如侍卫、宾客、衙差等。他当时与电视台签了三年基本艺员合约，然而只做了三个月艺员，便转投幕后工作。事实上在训练班受训那年，他已与杜琪峯、赖水清等人跟王天林学