德初，与刘瑾为敌，被逮捕入狱。刘瑾伏诛，刘玉复官，正德六年（1511年），任河南按察使司佥事。正德九年，迁任福建副使。正德十二年，任大理寺左少卿。正德十四年（1519年），任南京都察院左佥都御史。正德十五年（1520年），累擢南京右佥都御史，提督江防。朱宸濠谋反进攻安庆，刘玉帅部队援助，改郧阳抚治。明世宗即位，召任左佥都御史。升任右副都御史。嘉靖元年（1522年），改任左副都御史。历任刑部右侍郎、左侍郎。大礼议时，反对世宗。嘉靖六年（1527年），因李福达事连坐被贬，卒于家中。隆庆初年，赠刑部尚书，谥端