与林森等创建革命团体“福建学生会”。光绪31年（1905年），林毕业后进入驻扎在南京的南洋新军第九镇三十三标任队官，次年担任三十三标三营管带、二营管带，在标统赵声的影响下倾向革命党。宣统元年（1909年），林调任第三十六标一营管带，驻扎江阴，秘密加入中国同盟会。1911年辛亥革命爆发后，林于11月7日率部起义，攻占镇江，自立为镇江都督。11月26日，林率领镇江军一部参与江浙联军攻打南京，12月2日率军首先攻入南京，自命为江宁临时都督。后因与浙军发生矛盾，被迫率部离开南京，渡江北上，任北伐临淮总司令，江宁