为台山富商所有。1928年10月22日，在容肇祖教授建议下，中央研究院历史语言研究所从中山大学迁入柏园。1929年6月5日，史语所从柏园迁出，迁至北平。1930年前后，恤孤院后街重新编排门牌号码，该建筑的地址改为恤孤院路12号。1938年7月22日，金九率大韩民国临时政府官员从长沙来到广州，在柏园办公，直至9月19日因日军轰炸撤往重庆。1946年5月1日，交通部公路总局在柏园设立第三区公路工程管理局，1949年改为华南公路工程指挥部广州材料供应站。1953年，中共中央华南分局交通部迁入办公，之后改为