将军之名最早从春秋时代的秦、晋开始出现。战国时有大将军，东周末期则有前、后、左、右将军，至秦朝时将军之官开始变多。
西汉.车骑将军最初出现在在楚汉时期，齐国齐王田广下面有将『华毋伤』，爲车骑将军。此后薄昭、灌婴、周亚夫、金日磾、程不识亦曾担任之。西汉车骑将军共有二十一人担任。大半是外戚。
东汉.东汉章帝时，曾令其舅马防为车骑将军，征讨西羌的叛乱，事后还师之后乃罢其名。汉和帝亦以其舅窦宪为车骑将军，令其征讨匈奴，其位在三公之下；后来因功迁为大将军，位即在三