作霖任东三省保安总司令，吴俊陞和孙烈臣任副司令。吴俊陞以黒龙江军事训练处督办的身分参与奉系的军事改革。1924年（民国13年）9月第二次直奉战争中，吴被任命为第5军军长，负责巩固奉系后方。1925年（民国14年）10月，吴俊陞奉张作霖之命，袭击位于冯玉祥军队后方的多伦、张家口方面。11月20日，奉系将领郭松龄联络冯玉祥，发动兵变。12月23日，吴俊陞在巨流河击败了郭松齢，并将其逮捕处决。当时，吴俊陞和杨宇霆主张杀掉参加叛军的奉军官兵，张作相和韩麟春则要求对这些官兵宽大处理，最后张作霖听从后者的意见。