年，任大理寺左少卿。正德十四年（1519年），任南京都察院左佥都御史。正德十五年（1520年），累擢南京右佥都御史，提督江防。朱宸濠谋反进攻安庆，刘玉帅部队援助，改郧阳抚治。明世宗即位，召任左佥都御史。升任右副都御史。嘉靖元年（1522年），改任左副都御史。历任刑部右侍郎、左侍郎。大礼议时，反对世宗。嘉靖六年（1527年），因李福达事连坐被贬，卒于家中。隆庆初年，赠刑部尚书，谥端毅。
着作.刘玉精于天文、地理，兵律、仪章法制皆有深究。有《疏稿文集》，《执斋集》20卷，《执斋易图