901年入读南洋公学附属小学堂（今南洋模范中学），次年升入中学部，其后又曾就读于上海中等商业学校、南京高等商业学堂。1910成为第二批庚子赔款留美生赴美国留学，1914年夏毕业于美国康乃尔大学。毕业前后，与任鸿隽、杨杏佛、赵元任等中国留美学生筹备创立中国科学社和《科学》杂志，走上了科学救国的道路。1917年获哈佛大学数学专业哲学博士学位。1917年9月离美回国后，在其兄胡敦复创建的上海大同大学创办并主持数学系多年，还兼任国立东南大学、南洋大学等校的教授，为《科学》杂志的编务和科学社在国内的发展做出了极大的贡