I begynnelsen av 1880-årene oppsto det en utbredt misnøye med Centralforeningen, som var en offisiell forening hvor medlemmene ikke hadde noen mulighet til påvirkning. Det første folkevæpningssamlaget ble stiftet etter initiativ av amtsskolebestyrer i Inntrøndelag Ole Five på et møte av representanter for skytterlagene i Nordre Trondhjems amt 29. januar 1881. Året etter var det dannet lokallag i 12 amter, og på et møte i Kristiania fra 6. til 8. februar 1882 ble det dannet et fellesstyre for folkevæpningssamlagene, med Ole Five som formann.