子之情少尽于一日。……国家设台谏以司法纪、任纠绳，乃今哓哓为辅臣请留，背公议而徇私情，蔑至性而创异论。臣愚窃惧士气之日靡，国是之日淆也。」他与吴中行等五人一起受杖刑，用贤体胖，“肉溃落如掌，其妻腊而藏之”，时称“五贤”。张居正死后，赵用贤复职，官至吏部侍郎。卒赠太子少保、礼部尚书，谥文毅。《明史》有传。
家族.父赵承谦，官广东参议。用贤爱好藏书，其子赵琦美，历官刑部郎中，皆着名藏书家，有书房“脉望馆”。孙赵士春，崇祯十年（1637年）探花，官翰林院编修；孙赵士锦，同榜二甲进士，