唐朝时不少城市都有阿拉伯人、波斯人等聚居。伊斯兰教在7世纪中叶由阿拉伯和波斯的穆斯林商人传入中原,这些人唐宋时期被叫做“蕃客”。他们在广州、泉州、杭州、扬州等地修建了中国最早的一批伊斯兰教的礼拜寺,并且经营了穆斯林的公共墓地。不过,唐宋时期伊斯兰教的信仰还仅仅局限在蕃客包括土生蕃客中间。当时,汉族人对于蕃客们的宗教信仰还是相当陌生的,在文献记载里往往以敬事“鬼”、“神”,礼“佛”、拜“天”(见岳珂《桯史》、赵汝适《诸蕃志》、郑所南《心史》)去形容蕃客们念经、礼拜等伊斯兰教的宗教活动。　唐朝人杜环于玄宗天宝十载到代宗宝应元年(751-762)曾在大食(唐代称阿拉伯为大食)住了12年,回国后著有《经行记》(杜佑《通典》卷193引),对大食人的宗教信仰有一个简要的叙述,并且把伊斯兰教称作“大食法”,穆罕默德称为“摩诃末”。这是有关伊斯兰教最早的汉文纪录和伊斯兰教在中国最早的汉文名称。　后来宋人越汝适在《诸蕃志》里说的“大食教度”,与大食法是一个意思,都指的是大食人信仰的宗教。宋朝人也称之为“麻霞勿”,宋朝时伊斯兰教徒促进了中国的航运及出入口贸易,把中国的商品和科技经过海上丝绸之路带到欧洲。在北宋首都开封以及辽国燕京　都有伊斯兰教徒聚居。　元朝　时有更多的中亚民族在中国定居,中亚各民族是蒙古人划分的“色目人”的主体,在元朝社会中地位仅次于蒙古人,能够在官府中担任官吏,部份更参与制定历法以及规划当时的首都大都(现今的北京)。伊斯兰教徒被称为“回回”。13世纪初叶蒙古军队西征开始,直到整个元代,一批批信仰伊斯兰教的中亚细亚各族人、波斯人、阿拉伯人,不断地被征发、迁徙到中国来,他们被叫做回回人。与此同时,那些久居东南沿海的蕃客和土生蕃客们,也被称作回回蕃客,成为回回人的一部分。关于回回这个名称,最早见于北宋沈括的《梦溪笔谈》。他说的“回回”,实际上指的是居住在安西一带唐时称作“回纥”、“回鹘”的人。回回和回纥、回鹘音近,可能是后者的音转、大众语或者俗写。南宋时有人提到“回回”,在含义上除了包括唐时人所说的回纥外,还包括葱岑以西的一些民族。在元代文献里,回回一词大量出现,含义和范围已基本上明确,回纥和回鹘一般指的是如今的维吾尔族人,回回是指信仰伊斯兰教的中亚各族人、波斯人和阿拉伯人。后来,由于大量的回回人在中国经过与汉族以及蒙古、维吾尔等族长期的姻亲交往,相互融合,形成了所谓回族。