有多个香港自选车牌如4号、CHA0和CEC1L等，并偏爱劳斯莱斯汽车。赵世曾和兄长赵世彭、弟弟赵世光一样，是香港赛马会会员，自1970年代开始成为马主，名下马匹包括「多明丽」（与李雍熙合伙）、「荷兰之宝」（与赖振辉、赵从衍合伙）、「幸运者」（与弟弟赵世光合伙）、「生生发发」（FAFA）、「生生勐勐」、「生生发发」（SUN SUN FA FA）。