并誉其为“两百年来东南一名区也”。唐寅、文征明等名士亦曾到访，无不感叹其景致之精巧和规模之庞大。经过安氏几代人的不断维护、修缮和拓建，在清朝初年，西林的规模和景观均达到鼎盛，一度园内文人墨客云集。明末清初吴门画派名家张复曾作画《西林园景图册》（现藏于无锡博物院）来记录西林内的三十二处景观风貌。清朝中后期，随着安氏家道中落，西林也变得无人问津。最终，因日久失修而破败不堪。民国时期，西林内的人文景观仅剩有堂屋5间，昔日的亭台楼阁早已荡然无存，自然景观也因缺乏维护而不可辨识。仅存的5间堂屋在抗战时期全部毁于战火。