上林木葱蔚，多历代人文古迹留存。孤山东西分别以白堤和西泠桥与湖岸相连，且岛上名胜古迹甚多，因此杭州人将“孤山不孤”，与“断桥不断”、“长桥不长”并称西湖三怪。孤山上主要的景观包括中山公园、浙江省博物馆、文澜阁、西泠印社、放鹤亭、秋瑾墓、俞楼、慕才亭（苏小小墓）等。中山公园原为清代行宫御花园，1927年，为纪念孙中山先生，公园命名“中山公园”。公园进门迎面石级上书有“孤山”两大字，其中孤字没有一点，人们猜测其意为“孤山不孤”。放鹤亭在孤山东北角，为纪念宋代以“梅妻鹤子”闻名的林逋而建。浙江省博物馆在孤山