”嘉祐元年（1056年），升为太子中允、天章阁侍学、管勾太学。四年，以太常博士官衔东归，赴杭州养病，送行人潮“百里不绝，时以为荣”。不久病故，葬于乌程何山（今湖州道场乡青坞），佔地约8000平方米，历代皆重修其墓。曾孙胡涤辑录《胡先生言行录》一帙。王安石誉之为“天下豪杰魁”。“是时礼部所得士，先生弟子，十常居四五，随才高下而修饰之。人遇之虽不识，皆知为先生弟子也。”。胡瑗与孙复、石介并称“宋初三先生”，开宋代理学之先河，对于王安石后来的熙宁变法，有决定性的影响，其弟子之众对于王安石是一股很大的牵制力量。