园周边都是明朝二十四衙门的旧址以及明清两朝的王府。中华民国初年，政府为便利交通，将北京皇城墙陆续拆除，1927年又将部分皇城墙分段招商拆卖。当时米粮库胡同东口的一段皇城墙与淑园东墙相邻，于是，陈宗蕃出资购得该段皇城墙，保留至今。据说在1930年代，辅仁大学校长陈垣、北京大学教授傅斯年先后在米粮库1号的淑园居住。胡适主编《独立评论》时，其私宅在米粮库4号，将《独立评论》编辑部设在陈宗藩家。胡适和家人从1930年12月1日起在米粮库4号院居住，直到1937年6月18日启程到南京讨论国难，同年9月赴美国任大使