之后因得罪严嵩，而被贬为贵州荔波县典史，量移徽州通判，后历任吏部文选司主事、郎中，光禄寺少卿、通政使司参议、右通政，光禄寺卿、户部右侍郎，皆在南京。嘉靖四十年（1561年）始入为户部右侍郎，又因得罪严嵩遭到罢职，隆庆改元，起用为吏部侍郎兼翰林院学士，掌詹事府事。上幸学，暂掌祭酒事，出为南京礼部尚书；召入兼翰林院学士，协管詹事府事，寻拜文渊阁大学士。隆庆年间，以礼部尚书兼文渊阁大学士入阁，因与高拱不睦，遂辞官返家，在桂湖街讲学，与杨慎、任瀚、熊南沙合称“蜀中四大家”，着有《赵文肃公诗文集》。万历四年（1576