太原，被给事中冯良知弹劾，斥为民。家居十余年。期间屡获举荐而不得批准。嘉靖三十五年（1556年），因赵文华举荐，起为陕西参政，分守平凉。嘉靖三十八年，升浙江按察使。次年，任浙江右布政使。嘉靖四十年（1561年），升江西左布政使，以都察院右副都御史、巡抚江西。任内平定当地盗乱，晋升兵部右侍郎。又会同其他部队破福建倭寇，三年后召还都察院，进兵部左侍郎，改吏部左侍郎，迁南京兵部尚书，参赞机务。代郭朴为吏部尚书。卒于任内，赠太子少保，谥恭肃。
家族.曾祖胡能；祖父胡琏；父胡江，母倪氏。