和张作霖相识，结为「金兰盟友」。1912年（民国元年）12月，张海鹏任第28师第55旅旅长（第28师师长：冯德麟）。1917年（民国6年），冯德麟唿应张勋复辟举兵，但被张作霖逮捕而失势。此后，张海鹏投靠张作霖。1921年（民国10年），张海鹏任中东铁路护路军哈满副司令，1923年（民国12年），昇任该军总司令。翌年第二次直奉战争爆发后，他任奉天骑兵第1游击队统领。1927年（民国16年），他任辽宁洮辽（洮南）镇守使兼东北骑兵第32师师长。1931年（民国20年），他奉张学良之命率军参与镇压嘎达梅林起