《周禮·夏官》有大司馬，掌邦政。漢承秦制，置丞相、太尉、御史大夫。漢武帝元狩四年，廢太尉，設大司馬，以冠將軍之號，無印綬、官屬。漢昭帝、漢宣帝時，霍光為大司馬大將軍輔政，漢成帝以王根為大司馬，置印綬、官屬。與丞相、御史大夫並為三公。東漢改為太尉。南北朝以大司馬、大將軍為二大。隋以後廢，明清作兵部尚書之別號。