948年（民国三十七年）评定的「诸罗八景」中，就选定杉池垂钓之景，名为「桧沼垂纶」。1982年（民国七十一年），为因应中华民国行政院推行的十二项建设，台湾各县市的文化中心纷纷成立。嘉义市文化中心也在杉池原址填土兴建，但是嘉义市由于刚升格为省辖市，原嘉义县政府发包的工程有安全疑虑，加上财产移交不顺，故延宕多时。嘉义市政府至1987年（民国七十六年）全面接管，直到1992年（民国八十一年）7月1日，先假西区世贤图书馆位址成立，隔年2月27日迁至现址运作，是日亦订为馆庆。1999年（民国八十八年）12月2