下部队同日本军队发生冲突，造成郑家屯事件，北京政府命令他向日本方面谢罪并承诺赔偿。1917年（民国6年），第28师师长冯德麟起兵反对张作霖，吴俊陞支援张作霖，击败冯德麟。因为该功绩，张作霖任命他为第29师师长。1919年（民国8年），在讨伐吉林督军孟恩远之际，他被任命为北路总司令，和东路总司令孙烈臣夹击孟恩远，令其屈服。被任命为黑龙江督军兼省长。此后七年，吴俊陞统治黑龙江省。内政手腕笨拙，而且图谋私利，贪欲强。同属奉系将领的张作相统治吉林省数年间，内政成绩突出。吴俊陞在黑龙江的统治与其形成鲜明的对比。