阿拉伯学者纳苏鲁丁（那速鲁定）创建。《北京牛街冈儿上礼拜寺志》（简称《冈志》）记载：根据《北京牛街冈儿上礼拜寺志》和《古教西来历代建寺源流碑文总序略》记载，牛街礼拜寺始建于宋、辽时期，明朝宣德二年（1427年）扩建，明朝正统七年（1442年）整修。明朝成化十年（1474年），都指挥詹升题请命号，明宪宗赐名“礼拜寺”，故而该寺有“明寺”之称。明朝弘治九年（1496年）、万历四十一年（1613年）、清朝康熙十五年（1676年）重修。清朝康熙三十四年（1695年）到康熙三十五年（1696年）再度大修，在寺门棚面