占元次女结婚，开兽医庄营生。在友人介绍下投奔马贼头目冯麟阁，担任看守。不久，张作霖离开冯部回到丈人家成立当地士绅雇佣的地方保安队，先后获得张景惠、汤玉麟、张作相的支持。1901年被盛京将军增祺收编，任游击马队管带，遂升擢而为奉天巡防营前路统领，同年儿子张学良出生。1904年日俄战争期间，张作霖未像其他多数军阀一样协助日本打击俄国，而是保持中立，但后来却被日本宪兵逮捕准备处决，所幸透过其他日本军官沟通后，安然脱身。。
经历.1911年（清宣统三年）辛亥革命爆发时，张作霖已拥有7个巡防