获封鄱阳县五等侯。后怀玉续任刘裕的镇军参军、下邳太守，并曾与刘毅及刘道规西上追击桓玄，于峥嵘洲大破桓玄军。义熙三年（407年），怀玉出任甯朔将军、西阳太守、新蔡内史，曾转中书侍郎，接着又改以辅国将军领丹阳府兵，戍守石头城。义熙六年（410年），卢循于广州起兵并进攻建康，怀玉任刘裕的中军谘议参军，屯兵丹阳郡西，与诸将同守江岸，并极力抵御卢循进攻，获得不少功勋。同年卢循东撤，怀玉等诸将率军追击，及至年末卢循因在大雷被刘裕主力军击溃而败退岭南地区，刘裕虽率军退还但仍命刘藩及孟怀玉等军亦紧追不舍。徐道覆在大雷败