周围修建庙宇，后世谓之“孝堂山庙”。北宋赵明诚的《金石录》对此也有着录。明清两代屡经修缮，干隆三十二年（1767年）至三十四年间大修祠堂附属庙宇，有八殿两廊之规模。民国初年，日本人关野贞来此考察，于1916年首次发表祠堂的实测图。1961年，古建筑学家罗哲文考察齐长城时来此测量，发表了《孝堂山郭氏墓石祠》一文。郭氏墓石祠原是室外的露天建筑。后世为保护石祠，多次在其上修建覆室，现在石祠正前方残存有古代的石质柱础。1953年，当地文物部门在石祠外重建了覆室和围墻，并派人看护。1999年，按照汉代建筑风格重修