父胡修已任泰州司寇参军，迁居泰州海陵。父亲胡讷官宁海军节度推官，定居泰州海陵（今江苏泰县）。胡瑗生于宋太宗淳化四年（993年）。幼年“家贫无以自给”，七岁能文，曾游学于山东泰山苦读十年，“食不甘味，宿不安枕”，每得家书见有“平安”二字即投入山涧，与孙复、石介是同学。胡瑗温和可亲，被称为「冬日之阳」，《宋史·胡瑗传》曰：「瑗教人有法，科条纤悉（细）具备，以身先之。虽盛暑必公服坐堂上，严师弟子之礼。」世居陕西路的安定堡，学者称安定先生。景祐初年（1034年），教学于泰州城内华佗庙旁的经武祠（今江苏省泰州中学