人经理人的陈家瑛表示，当陈的助理编导。至1976年完成电视剧集《无花果》拍摄后，潘正式转职为编导，跟随时为电视编导、后为监制的甘志辉学习；不久为《家变》、《江湖小子》（1976年电视剧）、剧集主题曲音乐录像及其他电视剧集或节目拍摄宣传影片，又专注做《K-100》的导演至1981年为止。1981年，他转到戏剧组为《四季情》担任导演，跟李沛权学做剧集幕后拍摄。其第二部负责当导演的作品是《风雨晴》。往后的《假日风情》、《大香港》、《戏班小子》、《英雄出少年》、《孖宝太子》、《新扎师兄续集》等作品皆有他编导的部