有部分回民来从长安来汴州即现在的开封居住生活。宋元以后，大量回民从全国、乃至全球各地移居开封，并聚居于现开封东大寺所在地。因生活和信仰的需要，在此地建立清真寺，后因王朝更迭、黄河泛滥而毁。明永乐五年（1407年），敕赐重建寺院，但又因黄河水患而毁于明末。清顺治十二年（1655年），教民募资重建，并于道光二十六年（1846年）再次修复。如今的开封东大寺所保留的建筑风格，便是此次重修所形成。