当年台湾年代集团的邱复生希望他留下来作个人发展。然而潘不想离乡别井，亦不希望从头建立自己的人脉事业。于是婉拒了邱的好意。黄霑留意到潘是个懂得引导演员代入广告场口的人才，也有意挽留他在广告界大展拳脚。最终在无线电视需要导演拍摄《铁面包公》，而且在刘天赐说服下，潘嘉德选择于1984年正式回到无线电视。与此同时在短期内继续在外兼职广告导演。到了1986年，他正为梁材远拍摄《城市故事》；梁通知潘将会被晋升为监制。初时潘其实不知情，在协助导演《吾妻十三点》和负责剪片、整理幕后人员名单时才意识到公司擢升他为监制