帝六年（前189年）复太尉官，仍以周勃为之。文帝三年（前177年）再废，权归丞相。武帝元狩四年（前119年）以大将军卫青功多，特加号大司马。后元二年（前87年）以霍光为大司马大将军，领尚书事。其后，置大司马，金印紫绶，秩比丞相。大将军或置或废，与武帝时大司马为加号不同，西汉后期大司马为实职，而将军为号。权臣多以大司马领尚书事，王莽即以此职移汉祚。太尉作为最高武职，除了评定全国武官的功绩高下、以为升降的依据外，就是作为皇帝的最高军事顾问。汉朝军队由各将军、校尉统领，太尉不能直接指挥军队。例如周勃平定诸吕之