经过思考，最终下山发动北京政变，此次隐居期间，冯玉祥与张学良、杨宇霆、李大钊等人联系密切。冯玉祥前后三次隐居期间，在天泰山先后留下6处石刻，分别为前山的“真吃苦”、“勤俭为宝”和后山的“耕读”、“淡泊”、“灵境”、“谦卦”，字都很大。这些石刻仍存。中华民国初年马芷庠编着、张恨水审定的《北平旅行指南》中说：“进山门后有七座小庙，号庙七，是干隆游寺时敕建，是按北斗七星方位排列。”中华人民共和国成立前夕，慈善寺失火烧毁部分建筑。文化大革命期间，多数建筑遭到人为损毁。1980年代之后，慈善寺逐渐引起人们关注。