长乐龙门乡人（今航城街道龙门村）。少时不追求仕途，好经世致用之学。1901年，他任浙江大学堂总教习。1902年，他率留学生赴日本，并任留日学生监督。在日本，他体认到日本兴盛的根本在教育，教育的根本在于小学，故立愿编写小学教科书。1903年冬他回国，入商务印书馆办编译所，任编译所国文部部长，主持国文教科书的编写工作，亲自参与策划并编写《新字典》和《辞源》。1909年至1910年任复旦公学监督。1918年，他升任编译所长。五四运动后，他认为自己不懂外文，不适合任编译所长，故提出辞职，并到北京邀请胡适