司马大将军辅政，“政事大小皆自凤出，天子曾不一举手”。汉哀帝时，废丞相改为大司徒，但大司马仍存，与大司空同属三公之一，共掌朝政，如董贤代丁明为大司马卫将军，掌管所有朝政。东汉时以大将军吴汉为大司马，吴汉死后，汉光武帝为了削弱三公权力，将大司马改为太尉。东汉末年，大司马与三公（太尉、司徒、司空）并设，位在三公之上。如汉献帝时的刘虞、权臣李傕。《资治通鉴》卷第六十一：（兴平）二年（乙亥、公元一九五年）。辛巳，以车骑将军李傕为大司马，在三公之右。魏晋南北朝时不定期会设有大司马之官，为上公，第一品，位在