名女儿潘楚颖。第二任妻子为动作女演员丹斯里杨紫琼。现任妻子为余桂珠，亦出身富裕，二人在1992年结婚。余桂珠为他诞下二子二女，其中长子潘冠达于2018年12月14日成爲廸生创建的执行董事。潘廸生排第四，有三位姊姊其中的一位姊姊潘金翠，是东亚银行主席李国宝妻子。
名下马匹.潘廸生是香港赛马会会员，1991年开始养马，拥有马匹有轻轻松松、跑圣等，1997年，潘廸生以60万美元购入法国马健步如飞，在1998年竞赛时发生意外而需人道毁灭，其后潘廸生入禀香港法院，向马会及已故骑师简慧榆追