认可的祠庙，多由民间自行设立的祠庙。淫是指多余的，淫祠即多余的祠庙，通常是劳民伤财。《礼记·曲礼下》很清楚的说：“非其所祭而祭之，名曰淫祀。淫祀无福。”。《宋书·武帝纪下》称：“淫祠惑民费财，前典所絶，可并下在所除诸房庙。”唐朝时常有毁淫祠之举，《新唐书·狄仁杰传》载：“吴楚俗多淫祠，仁杰一禁止，凡毁千七百房，止留夏禹、吴太伯、季札、伍员四祠而已。”宋朝时，陈希亮亦有毁淫祠之举，范镇《东斋记事》卷三：“又知虔州雩都县，毁淫祠数百区，勒巫觋为良民七十余家。”