汉之前，最高军事武官称为上将军，如秦之白起、秦末之宋义和项羽，为指挥重大战役的临时统帅。陈胜、吴广起义时，赵王武臣任命陈余为大将军。刘邦赴巴蜀之国为汉王，则封韩信为大将军。西汉，直到汉武帝时才因卫青而复置大将军，作为将军的最高称谓，位在三公上。又设大司马，作为将军的加官，如卫青为大司马大将军，早期丞相的权力过大，皇帝不能亲自裁决政务。自汉武帝以后，章奏的拆读与审议，转归以大将军为首的尚书。大臣有罪，由尚书劾奏；选任御史大夫，由尚书品定高下；官吏有功迁升，上报尚书；州郡官吏入朝奏事，则面见尚书。丞相若有过