祀最初是贵族身份的象征，「天子七庙，诸侯五庙，大夫三庙，庶人祭于寝」。直到北宋实行与士大夫共治天下的国策，士大夫提倡恢复宗法，以强调家国一体。打破礼不下庶人的原则，放宽宗族祭祖礼制，允许民间创设祭祀场所。与汉唐墓祠家庙不同，受北宋复兴先秦儒学影响，祠堂乃西周宗庙的恢复。后因元明之际皇权专制强化，在利用和打击宗族之间不断调整，当皇权足够强大不需要依赖地方宗族时，祠堂便消失殆尽。明中叶以前就只允许贵族或有品阶的官员设立祠堂，民间庶民建祠并不合法。明中叶以后皇权不得不依赖于宗族对地方进行控制，于是才正式允许庶民建