晋开始，大将军地位高下多次变化，因个人任职就发生转变。到了东晋十六国以及南北朝时期，大将军除授甚滥，又增置柱国大将军、镇军大将军等号，逐渐失去过去总领军政的性质和意义。隋朝设置的大将军为勋官的第四等，次于上柱国、柱国、上大将军。唐朝时，大将军为十六卫长官之一，位居上将军下。唐初，府兵制行，十六卫置上将军、大将军各一人，将军各二人，为职事官，统领军队。随着府兵制日渐破坏，十六卫实际已经没有军队，诸卫大将军成为虚衔。宋朝时，十六卫诸上将军、大将军、等官无定员、无职掌，称环卫官。各官名为禁卫，实无职掌