已与杜琪峯、赖水清等人跟王天林学习抄写剧本，以为日后当全职幕后人员作准备。最初无线电视的节目宣传部需要人手，于该部门任职、现为电影监制的黎永强遂把他推荐予林燕妮。再转介他认识现为香港着名艺人经理人的陈家瑛表示，当陈的助理编导。至1976年完成电视剧集《无花果》拍摄后，潘正式转职为编导，跟随时为电视编导、后为监制的甘志辉学习；不久为《家变》、《江湖小子》（1976年电视剧）、剧集主题曲音乐录像及其他电视剧集或节目拍摄宣传影片，又专注做《K-100》的导演至1981年为止。1981年，他转到戏剧组为《四季情