寺是刚公祠堂的附属建筑，到后来刚公祠堂反倒成了护国寺的附属建筑。王家屏所撰的《黑山会重修护国寺刚公祠堂碑记》，已表明该情况。宣统三年（1911年）的《重修黑山护国寺碑记》称护国寺“凡彩画者则有灵福殿、三世佛殿、天王殿与褒忠祠。”围绕刚公祠堂及护国寺，明朝及清朝形成了具有一定规模的宦官墓群，还有宦官组织。弘治八年（1495年）《重修黑山会坟茔碑》称，“处永乐年间，开国元勋、司礼监太监刚公铁葬于是，兹后内官内□葬此者不下百数冢。”光绪二十年《故宦官题名碑》中载，清朝中叶之后，管理庙务总管谷丑、领善圆明园首领