南齐时，位在四征将军（征东、征西、征南、征北）之上。南梁、南陈时，中军将军与中卫将军、中抚将军、中权将军合称四中将军，专任命在京师任职的官员，地位显要。梁武帝天监七年（508年）定为武职二十四班中的二十三班，与四征将军同班；南陈拟二品，比秩中二千石。北魏时，中军将军位在四镇将军下，魏孝文帝太和十七年（493年）定为从一品下，太和二十三年（499年）复次职令，改为从二品。北齐时，用中军将军安置罢任武官，成为无实权的闲职，从二品。北周时，中军将军的品级是八命。隋朝因避讳太祖杨忠，中军将军改称内军将军。