当时与电视台签了三年基本艺员合约，然而只做了三个月艺员，便转投幕后工作。事实上在训练班受训那年，他已与杜琪峯、赖水清等人跟王天林学习抄写剧本，以为日后当全职幕后人员作准备。最初无线电视的节目宣传部需要人手，于该部门任职、现为电影监制的黎永强遂把他推荐予林燕妮。再转介他认识现为香港着名艺人经理人的陈家瑛表示，当陈的助理编导。至1976年完成电视剧集《无花果》拍摄后，潘正式转职为编导，跟随时为电视编导、后为监制的甘志辉学习；不久为《家变》、《江湖小子》（1976年电视剧）、剧集主题曲音乐录像及其他电视剧集或节目