留学期间，冯祖荀与几位同学成立「京师大学堂留日学生编译社」，创办中国最早的科技译刊《学海》杂志，选译外国科技文章，冯祖荀担任编辑。
开办数学教育.毕业回国后，冯祖荀起初在浙江两级师范学堂的优级师范数学科教微积分。1913年，北京大学数学门（后改称系）成立，是中国第一个现代的大学数学系，冯祖荀被任命为主任，主持数学分析课程。他参照德国模式规划教学，他任教的课也选用德国教材。因着他的努力，数学系发展突出，邀得多位国内外教授讲学，培养出不少优秀学生。他多次担任北大数学系主任，也曾兼