憨玉琨升任镇嵩军第三师师长。后来直系的吴佩孚将憨玉琨的第三师编为中央陆军第35师，企图拉拢憨玉琨，但憨玉琨并未为其所动。民国13年（1924年）第二次直奉战争期间，冯玉祥发动北京政变，吴佩孚在山海关兵败，逃回洛阳，令驻潼关的憨玉琨向东进取郑州，防止冯玉祥的国民二军南入河南。憨玉琨未执行吴佩孚的命令，而是率兵直逼洛阳，迫使吴佩孚离开了洛阳。占领洛阳后，憨玉琨所部扩编为6个混成旅，共4万余人。憨玉琨企图得到河南督军的位子，但国民二军军长胡景翼遵照临时政府的决议率所部入河南并任河南督办。民国14年（192