。十年，迁吏部左侍郎。十一年，授左都御史。同年，疏劾江西巡抚刘坤一，反被参积欠漕粮，且屡贻书干预地方事。诏两斥之，胡家玉降五级调用。光绪五年（1879年），补通政使司参议，次年因病离职，卒于南昌寄庐 。
后世.胡家玉是植物学家胡先骕的曾祖父。