贫民家庭。清朝光绪末年，他杀死了豪绅郭八仙之后投奔杨山，同孙琯（行大）、马超运（行二）、张屏（行三）、孙炳（行四）、陶福荣（行五）、王天纵（行六）、张治公（行七）、柴云升（行八）、关金钟（行九）等结为杨山十兄弟，他排第十。1911年10月，河南响应武昌起义，憨玉琨随王天纵攻洛阳未克，遂往潼关，加入张钫领导的秦陇豫复汉军东征军，随该军在潼关到新安一带和清军作战。南北议和后，镇嵩军成立，憨玉琨任该军第二标标统。他回到豫西剿匪，亲自将为患乡里的二哥憨玉琳毙于嵩县旧县的街头。民国6年（1917年）冬，陕西督