蔡元培做了中华民国教育部首任教育总长，找他到教育部工作。在教育部历任佥事、视学。与同事鲁迅、许寿裳交往密切，《鲁迅日记》里有许多相关记述。他与鲁迅合作，从德语转译了荷兰文学作品《小约翰》。1925年教育部佥事周树人被司法总长兼署教育总长章士钊非法免职，他和许寿裳（他时任视学，就是现在的督学；许时任编审，都是简任职）2人辞去公职以表抗议。中华民国大学院成立后，任秘书，秘书长是许寿裳，院长蔡元培。