中原的色目人大约有三、四十万。而在江浙闽地区的色目人，在元朝灭亡后和滞留的蒙古人一起沦为堕民，或自发改汉姓，隐入汉民族当中。
种族.色目人包括回回人、粟特人、党项人、吐蕃人、亚述人、阿拉伯人、畏兀儿人、波斯人、犹太人、突厥人、斯拉夫人等，当中以粟特人、波斯人、阿拉伯人等中亚和西亚民族为主。陶宗仪的《南村辍耕录》中认为色目人有31种：葛逻禄、钦察、唐兀（党项）、阿速（奥塞梯人）、秃八（图瓦）、康里、苦里鲁、阿儿浑、合鲁歹、火里剌、撒里哥、土伯特（吐蕃）、雍古歹（汪古）、密赤思、夯