军统领刘镇华命憨玉琨任先锋，率兵援助陈树藩，解了西安之围。此后，刘镇华任陕西省省长，憨玉琨升任镇嵩军第三师师长。后来直系的吴佩孚将憨玉琨的第三师编为中央陆军第35师，企图拉拢憨玉琨，但憨玉琨并未为其所动。民国13年（1924年）第二次直奉战争期间，冯玉祥发动北京政变，吴佩孚在山海关兵败，逃回洛阳，令驻潼关的憨玉琨向东进取郑州，防止冯玉祥的国民二军南入河南。憨玉琨未执行吴佩孚的命令，而是率兵直逼洛阳，迫使吴佩孚离开了洛阳。占领洛阳后，憨玉琨所部扩编为6个混成旅，共4万余人。憨玉琨企图得到河南督军的位子