旁边建有行宫。金章宗年间，此处为西山八大水院之一的潭水院。后来该寺历朝不断获得修缮。元朝、明朝时期，皇家在香山兴建行宫，每年夏秋皇帝来此狩猎乘凉。清朝康熙十六年（1677年），在香山寺附近开始建造香山行宫。雍正十三年（1735年），对香山行宫进行了扩建。干隆十年（1745年），在香山兴建大型皇家园林（即日后的“静宜园”），建成二十八景。干隆十二年（1747年），香山行宫更名为“静宜园”，此名为干隆帝所赐。清朝京西的“三山五园”中，静宜园占其中一山（香山）一园（静宜园）。该园也是燕京八景之一西山晴雪的所在地。