昆手下充当哨长。甲午战争时被调入关。战争失败后，1895年3月被遣返，回到故里，与黑山赵家庙地主赵占元次女结婚，开兽医庄营生。在友人介绍下投奔马贼头目冯麟阁，担任看守。不久，张作霖离开冯部回到丈人家成立当地士绅雇佣的地方保安队，先后获得张景惠、汤玉麟、张作相的支持。1901年被盛京将军增祺收编，任游击马队管带，遂升擢而为奉天巡防营前路统领，同年儿子张学良出生。1904年日俄战争期间，张作霖未像其他多数军阀一样协助日本打击俄国，而是保持中立，但后来却被日本宪兵逮捕准备处决，所幸透过其他日本军官沟通后，安然脱身