观，而在孤山进行了大规模拆迁工程，望湖亭被迁往宝石山。元代初年，四圣观为江南释教总统杨琏真珈所占据，并被改建为寺，元末被毁。明朝初年，望湖亭被迁回原址。明朝万历十四年被改建为“龙王祠”。明代田汝成《西湖游览志》卷二中的记载也可见亭址的多次变迁。一直到嘉靖《西湖游览志》所记的 “望湖亭”仍是一幅“四面玲珑,夏饮最快”的场景，建筑仍在，并未有倾倒的相关记载，且书中“今朝西湖图”也绘有望湖亭。据图所绘，嘉靖时的望湖亭形状如城关，起高台凌驾于白沙堤路中，高台四面皆开有门洞。而由成书年代稍晚的《西湖志类钞》 “望