外的塞外各民族都可以被泛称为胡人。五胡这个名称的来源，学界有所争议。从比较早的有关记载来看，胡人的称谓最初仅限于匈奴。在秦末汉初，漠北的匈奴形成为一个领地很广的大型帝国，至冒顿单于统治时期，匈奴击败了其西境以月氏为首的诸多各民族联盟，还击败了其东境强大的东胡民族。这些被打败的游牧各族自然也就被纳入到了匈奴的势力范围内。由于匈奴以胡自称，又适逢西汉初期汉匈和解，于是这些被匈奴降服的包括月氏、羌、东胡（乌桓、鲜卑）、丁零在内的各个游牧民族也一律被当时的汉朝人视为胡人看待，其被匈奴长期占领的游牧地带也都被默许为胡