负责当导演的作品是《风雨晴》。往后的《假日风情》、《大香港》、《戏班小子》、《英雄出少年》、《孖宝太子》、《新扎师兄续集》等作品皆有他编导的部分。其间因短暂时间离开无线电视他于1982年至1984年底在转投黄霑创办的「黄与林广告公司」任职。、蟠龙半岛和太古城的广告是其担任导演的作品。后来他到台湾跟随杜琪峯的剧组工作。当年台湾年代集团的邱复生希望他留下来作个人发展。然而潘不想离乡别井，亦不希望从头建立自己的人脉事业。于是婉拒了邱的好意。黄霑留意到潘是个懂得引导演员代入广告场口的人才，也有意挽留他在广告界大展拳