父，十五岁丧母，由嫡母戴安人养育。早年家贫，设蒙馆以教书为生。师从姚鼐。干隆年间，经姚鼐推荐，入翁方纲幕僚。后游幕秦瀛，再入谢启昆幕僚。干隆五十三年（1788），谢启昆总纂《南昌府志》，召胡虔为协纂。干隆五十六年，受毕沅之聘，与章学诚同客居武昌，参修《史籍考》。嘉庆五年，主修《广西通志》。嘉庆九年，卒于广东南海。编纂有《西魏书》、《小学考》、《广西通志》。