元朝末年，孙蒉、黄哲、王佐、李德和赵介等五位诗人(史称南园五子)在此创办南园诗社。明朝初年改为总镇花园，嘉靖年间建有祭祀文天祥、张世杰、陆秀夫的三大忠祠。后来欧大任、梁有誉、黎民表、吴旦和李时行5位诗人在此重结南园诗社(史称南园后五子)。明末陈子壮、黎遂球等诗人续结诗社。清代屡有修葺，园内有正气堂、臣范堂、远风堂、南园前、后五先生祠等建筑。1893年孙中山、陆皓东、郑士民和尢列等人曾在园内抗风轩商议建立革命团体。清朝末年逐渐荒废，现时已成为居民区。