随王天纵攻洛阳未克，遂往潼关，加入张钫领导的秦陇豫复汉军东征军，随该军在潼关到新安一带和清军作战。南北议和后，镇嵩军成立，憨玉琨任该军第二标标统。他回到豫西剿匪，亲自将为患乡里的二哥憨玉琳毙于嵩县旧县的街头。民国6年（1917年）冬，陕西督军兼省长陈树藩遭到陕西靖国军围攻，遂邀请镇嵩军到陕西支援。镇嵩军统领刘镇华命憨玉琨任先锋，率兵援助陈树藩，解了西安之围。此后，刘镇华任陕西省省长，憨玉琨升任镇嵩军第三师师长。后来直系的吴佩孚将憨玉琨的第三师编为中央陆军第35师，企图拉拢憨玉琨，但憨玉琨并未为其所动。