五军都督府建立于明朝洪武十三年（1380年），用于管理卫所。五军都督府的前身是大都督府。吴元年（1367），罢大都督，以左右都督为长官。洪武十三年（1380年）相当于明太祖朱元璋废除丞相制的同时，同时废除大都督府，并改为中军、左军、右军、前军、后军等五军都督府。每都督府设左、右都督、正一品，并设有五军断事官。永乐十九年（1421年）迁都北京，以原五军都督府加“南京”二字，一如旧制。五军都督府彼此平行，互不统辖，各自与兵部直接联系，最后奏请皇帝裁定。《明史‧职官志》云：“凡军制内外相维，武官不得辄下符