开始前日本本土的部队组织是由天皇担任总司令官的众直隶师团。而海外领土方面则有朝鲜军、台湾军、关东军、支那驻屯军等4军，其中仅朝鲜军拥有常设师团，其余都未拥有超过师团的兵力。不过战时可因应作战而编制相当规模的军，待战争结束后解编。日中战争开始后旧日本陆军大量增设军，近乎所有的师团皆隶属于军。于太平洋战争开始时共有22个军，类似规模的飞行集团、航空兵团有4个，终战时则有48个军，类似规模的兵团也有4个。伴随着战况的激烈，于军以上出现统括各军的组织方面军，而方面军又被编成最大的陆军部队单位总军。军