寺址最初是南越王赵建德的故宅。三国吴大帝年间，虞翻被贬至此，聚徒讲学，在此广植苹婆和诃子树，所以称为“诃林”。又称“虞苑”。虞翻死后，家人施宅为寺院，取名制止寺，也称虞翻庙，这是光孝寺最早的前身。公元246年，交州分为交、广两州，合浦以北属广州，管辖有南海、苍梧、郁林、合浦四郡。广州又称羊城，所以有“未有羊城，先有光孝”的谚语。唐太宗贞观年间（627年－649年），寺宇的规模不断扩大，成为岭南地区一个重要的佛教活动中心。唐高宗仪凤元年（676年），惠能禅师（南宗始祖）曾在寺内讨论风幡关系，后在寺内建有风幡