张骧伍幼年习儒，青年从军，加入北洋新军，派驻东北，成为李景林下属。1907年，北洋军许兰州、陈富贵聘请李书文前来东北，担任部队总教习，张骧伍得而成为他的入门弟子，习八极拳。张作霖崛起后，张骧伍随李景林投入奉系军队，曾参与直皖战争、第一次直奉战争与第二次直奉战争。1925年，李景林出任直隶军务督办，请其师奉天北镇宋唯一至其部队教授武当剑法、武当太极拳、昆吾剑法，张骧伍、蒋馨发等人得以在此时跟随宋唯一学剑，宋唯一在同年底病故。1926年，张骧伍退出奉系军队，1928年，随张之江至南京，参与创建中央国术