州晋陵（今江苏常州）人。仁宗天圣二年（1024年）进士。历官扬子尉、通判宣州。英宗治平三年（1066年）以尚书吏部侍郎、观文殿学士知杭州。四年，除太子少师致仕，未就，病殁。谥文恭。有《胡文恭集》七十卷，已佚。诗作散见于《唐诗鼓吹》、《吴郡志》、《两宋名贤小集》、《宋诗纪事》等书。