先是西域人。早年随舅萨琦，授中书舍人。英宗正统十四年（1449年），瓦剌首领也先挟持被俘的明英宗进攻北京。也先奉英宗登土城，邀请大臣出见。赵荣慨然请行，随即升为大理右少卿，充鸿胪卿。与右通政王复出城朝见，献上羊酒诸物。也先以非大臣，遣还，而邀于谦、石亨、王直、胡濙出见，明景帝不遣。赵荣之后改为太常寺少卿，仍然在内阁供事。景泰元年（1450年），升工部右侍郎，与杨善出使，两人在敕书无奉迎语的情况下，竟然把英宗接回来。进工部左侍郎。之后奉召修理漕运，后被弹劾劳民伤财，并被当时佥都御史徐有贞核奏。之后明景帝宽