祖父病逝，父亲不久也在奔丧颠簸中哀伤死去。1901年其母孙弄琴率子女赴泸州投靠二叔生活，1903年又随母返回福建谋生。何家有一远亲在福建武备学堂任翻译，经其介绍，清朝光绪三十年（1904年），何遂考入福建武备学堂第二期预科，其间结识革命党人林觉民、方声洞、陈更新等革命党人，参与反清活动。以“文理荒谬，行止欠谨”被开除学籍。1906年2月，何遂由林森（时在上海海关任秘书，兼任上海福建学生会会长）介绍到南京去找林述庆、林之夏，林述庆时任第九镇第三十三标第三营管带，留何遂在该营任排长。当时赵声任统带，柏文蔚任