赵荣之后改为太常寺少卿，仍然在内阁供事。景泰元年（1450年），升工部右侍郎，与杨善出使，两人在敕书无奉迎语的情况下，竟然把英宗接回来。进工部左侍郎。之后奉召修理漕运，后被弹劾劳民伤财，并被当时佥都御史徐有贞核奏。之后明景帝宽恕。英宗天顺元年，进为工部尚书。曹石之变时，赵荣在集市上策马大唿：「曹贼作逆，壮士同我讨罪。」之后率众平息叛变。明英宗与李贤称其忠，命兼任大理寺卿。天顺七年，因疾被免职。宪宗成化十一年去世。