，生于清朝光绪十二年（1886年）农历正月十四日。幼年他随叔父胡雨人学习，12岁进上海南洋公学，后来入复旦公学学习拉丁文。1904年，他留学美国康奈尔大学哲学系，学习天文学、数学，3年后毕业，获得理学士学位。归国后，他任清政府开办的游美肄业馆（后更名为清华学堂）的教务长，主持留美学生的考察录取。1911年夏，他邀集清华学堂的同仁朱香晚、华绾言、顾养吾、吴在渊、顾珊臣、周润初、张季源、平海澜、赵师曾、郁少华一起创办了立达学社，以研究学术、编译图书，他出任社长。不久，因胡敦复主张清华学堂的学生应该多修理工科课程