。赵柔曾孙，赵守之孙，赵简之子。赵世安开始在藩邸侍奉图帖睦尔。天历元年（1328年），图帖睦尔即位为元文宗，任命他为参议中书省事，转任中书参知政事。天历二年（1329年），改任太子詹事丞，领典用监卿，再次担任参知政事，升任中书左丞，受命提调国子监学。至顺元年（1330年），和赵世延一起主持编纂《经世大典》，改任御史中丞。至顺二年（1331年），兼任侍正府侍正。至顺三年（1332年），再次担任中书左丞，出为江西行省左丞。