子程友兴自幼聋哑，由次子程霖生主持程谨记房地产经营业务。20世纪初，程贻泽在今北京西路泰兴路口建造了一座豪宅，设有篮球房、弹子房等体育设施、豪华舞厅，还有舞女出身的宠妾唐八妹喜欢的游泳池。程贻泽自就读于圣方济公学起，一直热衷于体育事业和社交，号称“孟尝君”。1923年，18岁的程贻泽在静安寺路程家公馆东侧空地创办三育体育会，设立上海首个私人足球场，并组织全市华人和侨民共同参加的足球联赛。1927年又创办优游体育会。1930年在静安寺路、卡德路口，投资建造以自己的英文名命名的德义大楼（Denis Apar