后晋，发展出民壮、弓手、团练等各类乡兵。
唐宋.唐代设有团练使一职，类似民间的自卫队队长，以管理团练事务。宋代置诸州团练使，北宋苏轼曾任黄州团练副使。直到明代才取消团练使。
明朝.明代取消团练使，改以按察使、兵备道分统团练诸务。顺治二年（1645年5月）夏，大顺皇帝李自成在湖北通山九宫山死于地主团练之手，当时跟随在他身边的只有义子张鼐和二十余名士卒。
清朝.起源于19世纪初嘉庆时期对分散式的川楚白莲教起义，当时八旗、绿营严重腐