年间，原寺因年久失修导致殿堂倾倒，后来由时任福建廉访使司佥事的张孝思捐献自己的俸禄银重新修葺，寺址在福州城南侯邑官贤坊之界，东侧为官衢，西侧是邑庠，南边靠民房，北边依万寿巷，全寺纵横为三十多丈，约100多米。到了明朝初年，又按中国传统寺庙建筑形式结合伊斯兰建筑的特点重修，福州萨氏家族的萨琦也有捐资。16世纪嘉靖年间，金陵后学兰敬一号召集资，购置福州南门兜洗马桥的铺面作为清真寺产业，以店面租金用来供给清真寺活动。明朝嘉靖二十年（1541年），原清真寺遭大火焚毁，1541年冬季，在穆斯林张洪的倡议集资下，由身为