时来到香港生活，分别居住过观塘区、尖沙咀以及九龙太子道。其父亲一辈亲戚于上海市从事养蚕业。而潘的父亲及爷爷皆为珠宝金饰工场师傅。母亲则为珠宝业销售员。潘有三名胞弟。她于一所小学完成一年级，再转读拔萃女小学重读一年级，一直读至六年级为止。中学阶段参加爱丁堡奖励计划，也是合唱团成员。于拔萃女书院中六毕业后到夏威夷大学留学，主修旅游及酒店管理（原先要读五年，但只用了三年完成学位），寄住于姑姐家中。及后于2005年以兼读方式修读都柏林大学教育硕士学位，主修戏剧教育。前后花了七至八年时间才完成。另外也在入行后报读过黄