于南宋嘉熙三年被认为是最早记录西湖十景的《方舆胜览》将平湖秋月列为十景之首。而至明朝《平湖秋月》版画也大多表现泛舟赏月的场景，而并没有关于建筑的描绘，可见当时凡是可以乘船在湖面赏月的地方都可以称作“平湖秋月”。早在唐朝，此处就建有望湖亭，曾任杭州刺史的白居易在诗作《湖亭晚归》中也曾提到此亭附近的白堤。南宋定都临安之后，于绍兴十四年开始为建设皇家道观四圣延祥观，而在孤山进行了大规模拆迁工程，望湖亭被迁往宝石山。元代初年，四圣观为江南释教总统杨琏真珈所占据，并被改建为寺，元末被毁。明朝初年，望湖亭被迁回原址