受日本教育家福泽谕吉创立庆应义塾（后庆应大学）影响，决心投身教育。1903年，返回中国，在龙湛霖资助下，于长沙创办湖南明德学堂（今长沙市明德中学），自任监督，一改地方书院、私塾教学旧制，设立新学。聘任大量有同盟会背景的教员，包括周震麟教地理，张继教历史，黄兴教体育，苏曼殊、华龙教英文，吴芳吉教国文，许奎元教数学，掘井觉太郎教理化，永江正直教博物。1904年，明德学堂增开高等小学班，胡元倓跪请陈介适主持附小兼日籍教师助教。明德学堂经费短缺，他时常去北平、南京、甚至日本、东南亚进行募捐，求助对象包括政府官员、亲