馀录》记载，明代景山上“有五亭曰毓秀亭、曰寿春亭、曰集芳亭、曰长春亭、曰会景亭，亭下有洞，曰寿明洞”。1930年出版的《北京胜景》记载：“明代嘉靖年间（1522-1567年）在煤山上建成五个亭子。”《清史稿》记载，雍正帝“拘禁三哥胤祉于景山之顶……”説明雍正时景山上也有建筑。而今的五亭始建于干隆十五年（1750年），是在原明代建筑的基础上兴建的。光绪二十六年（1900年），五亭在庚子事变中被八国联军损毁。当时八国联军中日本、法国、俄国三国军队闯入景山，盗走大量文物，掠走景山五亭中的四尊佛像，还烧毁了辑芳亭。