之处是一生女友多不胜数，但一生未婚，不过有三名子女分别由三位不同女友所生：赵式芝、赵式浩和赵式正。赵世曾拥有英国杜伦大学建筑学士学位，是香港资深地产发展商及建筑师、香港建筑师学会会员及英国建筑师学会会员，2004年杰出华人奖得主。现在赵世曾长子赵式浩（Howard Chao）及长女赵式芝为现任卓能集团执行董事。在摩星岭域多利道200号，有以他的名字命名的「赵苑」（Villa Cecil），为赵世曾及其子女的居所。2012年9月， 赵世曾之女赵式芝突然成为香港史上第一对公开自爆同性婚姻的公众名人，