日战争时期，福州穆斯林多迁往外地甚至海外，福州清真寺衰败严重。中华人民共和国建立以后，福州的穆斯林多是由外省迁来的，政府也于1955年出资对该清真寺进行改建，但由于经费有限，仅将原来“回”字形的平面布局修为“工”字形平面，这也引发了福州穆斯林的不满。文化大革命时期，福州清真寺大殿中的《古兰经》木刻、匾额、碑石、古鼎等文物都遭到严重破坏，直到1979年才在福州市宗教处协助下对该寺进行修缮。因为清真寺位于福州市中心的繁华地段，到了20世纪，寺门已经被沿街的商店所遮挡，不可看见。1989年，在福州市穆斯林的要求下