（1520年），累擢南京右佥都御史，提督江防。朱宸濠谋反进攻安庆，刘玉帅部队援助，改郧阳抚治。明世宗即位，召任左佥都御史。升任右副都御史。嘉靖元年（1522年），改任左副都御史。历任刑部右侍郎、左侍郎。大礼议时，反对世宗。嘉靖六年（1527年），因李福达事连坐被贬，卒于家中。隆庆初年，赠刑部尚书，谥端毅。
着作.刘玉精于天文、地理，兵律、仪章法制皆有深究。有《疏稿文集》，《执斋集》20卷，《执斋易图说》1卷。
家族.刘广衡之孙、刘乔子。有子刘悫。