入清军。因讨伐匪贼立下军功，1906年（光绪32年）他升任奉天后路巡防营统领，驻郑家屯。翌年，他结识张作霖并交好。1912年（民国元年）8月，吴俊陞在东三省击退了蒙古军的进攻。翌年2月，他升任奉天第2骑兵旅旅长。5月，他获授陆军中将衔。11月，他驻扎林西，镇压宗社党叛乱。1914年（民国3年）2月，他升任陆军中将，3月兼任洮辽镇守使。1915年（民国4年）12月袁世凯称帝，他获封二等男爵。1916年（民国5年）10月，在林西之战中击败蒙古军。同年，辖下部队同日本军队发生冲突，造成郑家屯事件，北京政府