部离开南京，渡江北上，任北伐临淮总司令，江宁临时都督一职在宋教仁斡旋下由程德全接任。南北议和后，林由于反对袁世凯而被迫下野。1912年9月，被袁世凯任命为陆军中将，加上将衔，10月前往北京任总统府顾问。1912年2月，林发起成立国事维持会。次年宋教仁被刺杀后，林对袁世凯表示不满，扬言南下起兵复仇，为袁所忌。1913年4月10日，林在赴总统府秘书长梁士诒举行的家宴后暴病，全身长满脓痘，入山本医院诊治，4月16日去世，多有认为其被毒杀者。