秦、汉时期的胡人一般指匈奴，晋朝的五胡乱华指的是内迁的匈奴、鲜卑、羯、羌、氐。到唐代似乎对胡人有了比较严格的区别。唐彦琮法师R|云：「葱岭已西。并属梵种。铁门之左皆曰胡乡”。这是说梵人不称胡，其实突厥人也不称胡。唐代的胡专指深目高鼻或高加索人种的西域人，胡和突厥亦有严格区别。南宋的《翻译名义集》曰：「自汉至隋皆指西域以为胡国。」
字源.胡这个名称，可能起源自匈奴，据汉文献记载匈奴人自称为胡。可能对应东胡部落，乌其拉图教授认为，胡，对应到蒙古语ku，为子的意思。S