的孙子，赵世延的哥哥。元世祖至元年间，世袭其父赵国宝的职务，担任蒙古汉军元帅，兼任文州吐蕃万户府达鲁花赤，因功升任吐蕃宣慰使议事都元帅。延祐七年（1320年）元英宗即位，二月壬子，浙江行省左丞相黑驴为中书平章政事。二月辛酉，中书平章政事赤斤帖木儿、御史大夫脱欢并罢为集贤大学士。二月甲子，逮四川行省平章政事赵世延至京师。二月丙寅，江西行省右丞木八剌为中书右丞，参知政事张思明为左丞，中书左丞换住出为岭北行省右丞。赵世荣由陕西行省平章政事入朝担任中书省平章政事。