族世代在广州经营书店，后转营装裱及古玩，家中有一「万卷楼」藏书甚丰，兄弟中多有好书画及古物者。在家庭环境的熏陶下，潘氏自幼培养出对中国传统文化的根基，自然形成了日后对保存国粹传统的倾向。关于潘氏的习画之路，《广州画卷》有此记载：「潘龢的山水画初学『四王』。而『四王』的山水画主要承袭董其昌的衣钵，以元人黄公望为宗师，画法主张师古，笔笔讲求来历和出处。而潘氏『尤爱临王廉州山水』，及长又转法宋、元诸家。王鉴早年曾经得到过董其昌的亲授，一生的画业就是沿着董氏注重摹古的方向发展，进而揣摩董源、巨然、吴镇、黄公望