吴汉死后，汉光武帝为了削弱三公权力，将大司马改为太尉。东汉末年，大司马与三公（太尉、司徒、司空）并设，位在三公之上。如汉献帝时的刘虞、权臣李傕。《资治通鉴》卷第六十一：（兴平）二年（乙亥、公元一九五年）。辛巳，以车骑将军李傕为大司马，在三公之右。魏晋南北朝时不定期会设有大司马之官，为上公，第一品，位在三公之上，多授予有权势的大臣，一般由重号将军如大将军或上大将军等升迁而来。如曹魏的曹仁、曹休、曹真，蜀汉的蒋琬，东吴的施绩、吕岱、丁奉等。近世以来的兵部尚书有时也别称作大司马。明清以大司马为兵部尚书的代称，