000年9月，28岁的儿子Richard于薄扶林道富林苑住所露台堕楼自杀身亡。潘氏的婚姻后来破裂；前妻简丽群于2008年发现潘乐陶与女下属Queenie Law有婚外情。结果二人于2010年获准离婚。2016年12月29日，潘乐陶与郑若骅在尖沙咀天际100登记结婚，主持婚礼的为前律政司司长、基本法委员会副主任梁爱诗，而后来成为运输及房屋局局长的陈帆则为男方证婚人。
僭建风波.2018年1月9日，屋宇署到潘乐陶、郑若骅夫妇位于海诗别墅的两座独立屋视察，发现共有九项僭建物，两屋共僭