久之后宾客犯罪，刘玄便跑到平阳躲避官府的追捕。官吏抓走他的父亲刘子张，后来刘玄诈死，让人把他的灵柩运回舂陵，官吏才释放了他的父亲。随后刘玄便逃跑藏匿起来。新莽天凤四年（17年），南方发生饥荒，百姓只得到沼泽中挖荸荠野菜度日。新市人王匡、王凤带领马武、王常、成丹等人起义。他们藏身绿林山中，不久队伍就发展到五万多人。地皇三年（22年）七月，平林人陈牧、廖湛领导千余人起义，号平林兵，以应王匡，正在这里避难的刘玄参加平林军，担任安集掾。地皇四年（23年）正月，绿林军诸部合兵击破新莽将领甄阜、梁丘赐，遂号刘玄