他为推官。冯玉入拜监察御史，迁至礼部郎中，为盐铁判官。晋出帝石重贵纳冯玉姊为中宫皇后，冯玉受到恩宠甚厚，以冯皇后的外戚知制诰，拜中书舍人。冯玉不识书文，当时和殷鹏同为舍人，制诰常派殷鹏代作。之后，冯玉出为颍州团练使，历任端明殿学士、户部侍郎，迁枢密使、中书侍郎、同中书门下平章事。当时，冯皇后掌权，军国大务，决断于冯玉。冯玉善于承迎帝意，于是更加有宠。一次有病在家，晋出帝对诸宰相说：“自刺史以上，等到冯玉病好任事，才能任命。”冯玉任命中书舍人卢价为工部侍郎，桑维翰以卢价资望浅，不同意，于是冯玉与桑维翰有隙