岸最近处约900米。元、明时期，岛上庙宇有八殿、五阁、三亭、一堂、一庵、一塔。塔为铜塔，基宽5丈，高9丈，13层，结构奇巧精妙，为当时滇东、滇中胜迹。有“巍然形胜冠南州”使得“骚人墨客停留着不可胜记”之说。清代顺治五年（1648年），岛上建筑尽毁于战乱。康熙十七年（1678年），又在孤山上重建瀛海寺。中华民国时期，因有土匪在孤山盘踞，江川县府于1931年3月10日，将孤山所有建筑尽行烧毁。1950年原民国时期的华宁县维新镇（今江川伏家营）镇长金绍云聚众暴动，曾在孤山据险固守。1979年7月，孤山被中国医学科