二十一年（1682年）王永誉建将军府；咸丰十一年（1861年）部份范围被英国强占为领事馆。1928年收回英国领事馆，改为净慧公园。1931年修建为别墅，始称兰园迎宾馆。民国22年（1933年），公园北部建迎宾馆，接待军政要员。 1949年2月5日，中华民国行政院从南京迁往广州，北楼曾作为总统官邸和总统府（李宗仁代总统居住和办公）。10月14日中国人民解放军攻占广州后，军管会进驻宾馆。后华南军管会、广东省人民政府交际处及其招待所、广东省教育厅曾驻此。其中1952年在此成立华南分局行政处招待组，当时有10多