经海防去往上海。1924年，孙中山建立黄埔军官学校，蒋介石任校长；何托日本士官学校同学王柏龄介绍至广州谒见蒋。同月，被孙任命为大本营参谋处军事参议，协助筹建军校。陆军军官学校行政分为政治部、教练部、教授部等。教授部主任王柏龄、副主任叶剑英，教官何、钱大钧、刘峙、顾祝同等。何被孙任为黄埔军校总军事教官、教育长，战术长官，后改任总教官。后黄埔军由军校第二、三期学生2000余人和以军校第一期毕业生为骨干编成黄埔校军教导团，共有两团，第一教导团团长何、第二教导团团长王柏龄，两团共有士卒3000余人，参加两次东征