郡尉任嚣逝世后，在此处建任嚣庙；南梁大同三年（537年）建宝庄严寺；北宋端拱二年（989年）改为净慧寺；明朝洪武六年（1373年）改为提督府；清朝顺治九年（1652年）耿继茂建靖南王府；十六年（1659年）为尚可喜的王府后苑；康熙二十一年（1682年）王永誉建将军府；咸丰十一年（1861年）部份范围被英国强占为领事馆。1928年收回英国领事馆，改为净慧公园。1931年修建为别墅，始称兰园迎宾馆。民国22年（1933年），公园北部建迎宾馆，接待军政要员。 1949年2月5日，中华民国行政院从南京迁往广州，