因為園主潘仕成喺當時係個文化名流，佢鍾意收藏金石、紫砂壺、書畫等等好多文物，重出資刊印《海山仙館叢書》，留低一批文物，此外潘家作為十三行四大富商，影響力好大，所以海山仙館喺當時係嶺南一處文化坐標。