勒令致仕，为刘瑾之意。刘瑾被诛后，再次起用。正德七年，拜为南京户部尚书，当时南京仓储仅够支出一年，胡富在位三年时间后，能够有六年积储。后辞职归乡。嘉靖元年（1522年）卒。赠太子少保，谥康惠。
家族.绩溪龙川胡氏后世中亦有明朝辽东巡抚胡宗明，兵部尚书胡宗宪、清朝徽商胡炳衡、中共中央总书记兼国家主席胡锦涛等，龙川胡氏宗祠亦被称为“江南第一祠”。