1881年3月11日，日本宪兵条例公布，5月9日宪兵队成立。宪兵条例列明宪兵是作为陆军军纪的代表，担任军内军纪的巡查和检察的任务，监督军人的日常品行。兼任行政警察和司法警察。日本陆军宪兵最初兵力1600名，在东京设有宪兵司令部。1883年在大阪建立了关西宪兵总司令部。1889年，设立六个师团后，每个师团都设置一个宪兵队。宪兵兵力2100名。甲午战争爆发，增设师团，宪兵兵力增加到5000名。第一次世界大战后，宪兵兵力裁至2000名。1923年陆军省正式规定了宪兵袖章，白棉质地的白箍宽十二公分，上面写有红色從右至左的「憲兵」二字。1931年918事变时，宪兵总数2250名。1935年9月东条英机任关东宪兵司令官后，把只有三百人的宪兵队伍迅速扩充为近千人。