清末废为民居，墙倒屋塌。民国初年，张伯桢出资购置此地，进行了修整，种植了不少花木，附近居民遂称此处为“张园”。门牌号后来为左安门内新西里三号。1946年张伯桢逝世以后，由于政局多变，且庭园渐见荒芜，张次溪遂征得弟弟同意，将这处房地捐给龙潭公园管理。齐白石曾在1931年（辛未年）应张伯桢之邀，到张园寓居。《白石老人自述》中说：“我到了夏天，常去避暑。记得辛未那年，你同尊公特把后跨院西屋三间，让给我住，又划了几丈空地，让我莳花种菜，我写了一张‘借山居’横额，挂在屋内。我在那里绘画消夏，得气之清，大可以洗涤身