992年结婚。余桂珠为他诞下二子二女，其中长子潘冠达于2018年12月14日成爲廸生创建的执行董事。潘廸生排第四，有三位姊姊其中的一位姊姊潘金翠，是东亚银行主席李国宝妻子。
名下马匹.潘廸生是香港赛马会会员，1991年开始养马，拥有马匹有轻轻松松、跑圣等，1997年，潘廸生以60万美元购入法国马健步如飞，在1998年竞赛时发生意外而需人道毁灭，其后潘廸生入禀香港法院，向马会及已故骑师简慧榆追讨赔偿，成为香港首宗因马匹遭人道毁灭而向马会索偿的案件。1999年，潘廸生再购入一匹日本