龙旺角水渠道洁英留产所出生，于同区通菜街的唐楼成长，家人经营冰室。他小学阶段已经为餐厅送外卖和把弹弓装上钢表带，以帮补家计。另一方面会与同学参与足球活动。潘分别就读圣公会诸圣小学（1971年上午校）和李求恩纪念中学（1977年中六）。1981年毕业于香港中文大学新闻系。在学期间曾在商业电台的《突破时刻》节目当义工，为「旺角北角沙头角」环节分享故事或感受。此前，中学时期喜欢修读历史的在他预科毕业后本来入读大学历史系，二年级才转读新闻系。原因出于认为今天的新闻会是未来的历史，对此抱有兴趣。及后他于无线电视新闻部