曾之女赵式芝突然成为香港史上第一对公开自爆同性婚姻的公众名人， 轰动全港。赵世曾起初不仅完全无法接受， 更抛出5亿港币(后增至10亿)当嫁妆、全球海选招聘异性恋女婿， 成为轰动国际的热门话题。不过后来赵世曾态度明显软化， 渐渐宽容。赵世曾拥有多个香港自选车牌如4号、CHA0和CEC1L等，并偏爱劳斯莱斯汽车。赵世曾和兄长赵世彭、弟弟赵世光一样，是香港赛马会会员，自1970年代开始成为马主，名下马匹包括「多明丽」（与李雍熙合伙）、「荷兰之宝」（与赖振辉、赵从衍合伙）、「幸运者」（与弟弟赵世光合伙）、「