政府内部的政争中，经同乡兼朋友梁鸿志等介绍，林建章加入皖系。1922年（民国11年），第一次直奉战争爆发后，属于直系的第2舰队司令杜锡珪主张代表直系参战，林建章则主张中立。此后，杜锡珪帮助直系战胜奉系，林建章失势。翌年4月，林建章获得皖系的浙江督军卢永祥的资金援助，试图东山再起。因拖欠军饷而感到愤怒的海军士官受到教唆，鼓动海军一部独立于北京政府。林建章被上海的海军领袖处推戴为领袖，结成海军沪队。林建章还对北京政府方面发动收买攻势，一部分舰艇被引诱投归林建章。后来，1924年（民国13年）江浙战争卢永祥败