施宅为寺院，取名制止寺，也称虞翻庙，这是光孝寺最早的前身。公元246年，交州分为交、广两州，合浦以北属广州，管辖有南海、苍梧、郁林、合浦四郡。广州又称羊城，所以有“未有羊城，先有光孝”的谚语。唐太宗贞观年间（627年－649年），寺宇的规模不断扩大，成为岭南地区一个重要的佛教活动中心。唐高宗仪凤元年（676年），惠能禅师（南宗始祖）曾在寺内讨论风幡关系，后在寺内建有风幡堂（已毁于文化大革命）与瘗发塔。五代南汉时，南汉时主刘鋹等在大宝六年（963年）和十年（967年），又先后建造东西两座铁塔，各七层。东塔为冶