学生员。崇祯十六年（1643年），考取进士。李自成陷京师，被执。自成败，南归。隆武时，授翰林院侍讲，兼编起居注。弘光元年（1645年）五月，清兵破南京，弘光帝随即被俘。张家玉逃往杭州。闰六月，唐王朱聿键即位于福州，改元隆武，张家玉授翰林院侍讲，兼编起居注。七月初一，隆武帝亲征江西，命张家玉为兵科给事中，监督御右营永胜军。十一月，清军围困抚州，张家玉率军驰援，埋伏诱敌，先后在许湾（今江西临川县）、在千金坡大败清军，解抚州之围。江西沦陷后，张家玉拥立永历帝。晋兵部尚书。兵败投水塘死。永历帝加赠奉天翼运中