Officieel was de Kempeitai in zijn geheel ondergeschikt aan het leger. Een lid van de Kempeitai echter kon een legerofficier arresteren die drie rangen hoger stond dan hijzelf, en hem vervolgens direct een straf opleggen. Daarbij kwam dat de chef van de militaire politie slechts verantwoording schuldig was aan de Minister van Oorlog. Hierdoor was er vrijwel geen controle op de activiteiten van de Kempeitai, zodat deze potentieel in staat was vrijwel iedere gedraging en gedachte van de burgers te beïnvloeden. De organisatie van de Kempeitai was in principe hetzelfde als een gevechtseenheid van een leger. Deze eenheden werden eenvoudigweg toegevoegd aan een van de legers. Zo werd de eenheid die Java zou terroriseren toegevoegd aan het 16e leger in april 1942, toen deze zich opmaakte voor de verovering van Java.