如估問話呢間嘢喺幾時起嘅，其實喺唐朝初葉，伊斯蘭教先知模罕默德就派咗4個門徒嚟到中國度傳教，到咗公元627年，阿布雲嘉斯同廣州入面住嘅阿拉伯穆斯林佬一齊捐咗錢起咗間清真寺，甚至重起埋座塔嚟紀念模罕默德。如估講話記載，最早係喺公元9世紀中嘅阿剌伯旅行家——蘇李文寫嘅《東遊記》嗰本嘢入面寫咗，話中國嘅伊斯蘭教古蹟——廣州嘅光塔就係喺廣東省廣州市越秀區嘅光塔路入面，懷聖寺院嘅西南角，佢同另外3個寺（聖友寺、鳳凰寺、仙鶴寺）都喺埋一齊，話成係伊斯蘭教傳傳入中國之後，最早起嘅四大著名清真寺。而喺南宋時期，岳珂寫嘅《桯史》本嘢度就話咗呢座塔，方信孺就喺《南海百詠》入面寫嘅「詠蕃塔」嗰首詩度重寫咗呢句：「蕃塔始于唐時，曰懷聖寺塔。」