导话剧剧目，并参与演出。另外，演员梁家仁是他的中学同班同学。1967年中学毕业后，他当过7年半银行会计文员。入职银行业界的原因在于他认为银行工作稳定，加上准时支付薪金，所以花了7年多时间埋首苦干。1974年，他时常参加排舞活动的友人为他填写第4期无线电视艺员训练班的报名表格。电视台经过几遴选后决定取录他；当年同期加入的学员包括杜琪峰、黄杏秀、李国麟、梁碧玲、刘仕裕、谈泉庆、赖水清、黄建勋及张美琳等等。潘于1975年毕业后获得在剧集中主要饰演小角色如侍卫、宾客、衙差等。他当时与电视台签了三年基本艺员合约，