，二人在1969年回香港。婚后育有两女一子，包括长女潘颖欣（Karen）、儿子Richard及幼女Heather。1995年10月7日，21岁的幼女在美国因车祸身亡，长女受伤，当时负责驾驶的长女男朋友亦身亡。2000年9月，28岁的儿子Richard于薄扶林道富林苑住所露台堕楼自杀身亡。潘氏的婚姻后来破裂；前妻简丽群于2008年发现潘乐陶与女下属Queenie Law有婚外情。结果二人于2010年获准离婚。2016年12月29日，潘乐陶与郑若骅在尖沙咀天际100登记结婚，主持婚礼的为前律政司司长、基本法