上还是百僚之长。西汉后期干脆废掉丞相，改为大司徒，与从太尉改过来的大司马、从御史大夫改过来的大司空并列。汉武帝死后，将之授以霍光。霍光以大司马大将军辅政，昭帝年幼，政事均由霍光定夺。其后西汉一直有大司马之官，后也加于骠骑将军、车骑将军，称大司马骠骑将军、大司马车骑将军，常用为加官，授与掌权的外戚，也有不兼将军号者。汉成帝时，王凤为大司马大将军辅政，“政事大小皆自凤出，天子曾不一举手”。汉哀帝时，废丞相改为大司徒，但大司马仍存，与大司空同属三公之一，共掌朝政，如董贤代丁明为大司马卫将军，掌管所有