到汉和帝时窦宪出任大将军，由于权势太大，朝廷震动，联合奏请以大将军位列三公之上。东汉末年，又开始设置大司马作为掌武事最高官员，位在大将军上。三国都继承了东汉的体制，但曹魏青龙元年司马懿曾由大将军转职为太尉，但并非升迁。后来司马师任大将军时由于其叔父司马孚是太尉，曾改大将军在太尉下。孙吴有上大将军与大将军并设。而蜀汉大将军姜维更是掌握军事大权。另外，三国时还设立了中军大将军、上军大将军、辅国大将军、南中大将军、镇军大将军、抚军大将军等名号大将军，位均在大将军下。四征、四镇、四平、四安等将军资深者也在将军前