祖朱元璋废除丞相制的同时，同时废除大都督府，并改为中军、左军、右军、前军、后军等五军都督府。每都督府设左、右都督、正一品，并设有五军断事官。永乐十九年（1421年）迁都北京，以原五军都督府加“南京”二字，一如旧制。五军都督府彼此平行，互不统辖，各自与兵部直接联系，最后奏请皇帝裁定。《明史‧职官志》云：“凡军制内外相维，武官不得辄下符征发”。五军都督府有统兵权但无调兵权，兵部有调兵权而无统兵权，两者互相制衡，以避免权力过大，与现代国家军队概念相同。五军都督府的成立是为制肘将帅拥兵自重，但亦因此削弱军事力量