学政、刑部主事、员外郎、郎中，数次充任军机章京，历升鸿胪寺少卿、通政司副使、光禄寺卿、太常寺卿、大理寺卿。同治五年（1866年），以左副都御史在军机大臣上学习行走。七月，迁兵部左侍郎。十二月，被劾受湖广总督官文餽金，免直。十年，迁吏部左侍郎。十一年，授左都御史。同年，疏劾江西巡抚刘坤一，反被参积欠漕粮，且屡贻书干预地方事。诏两斥之，胡家玉降五级调用。光绪五年（1879年），补通政使司参议，次年因病离职，卒于南昌寄庐 。
后世.胡家玉是植物学家胡先骕的曾祖父。