在煤山上建成五个亭子。”《清史稿》记载，雍正帝“拘禁三哥胤祉于景山之顶……”説明雍正时景山上也有建筑。而今的五亭始建于干隆十五年（1750年），是在原明代建筑的基础上兴建的。光绪二十六年（1900年），五亭在庚子事变中被八国联军损毁。当时八国联军中日本、法国、俄国三国军队闯入景山，盗走大量文物，掠走景山五亭中的四尊佛像，还烧毁了辑芳亭。1928年景山开园之前，辑芳亭得到修复，其他四亭也得到一定修缮。原五亭满汉文书匾额均改为汉文匾额，应为袁世凯称帝时所为。1934年6月6日，中国营造学社由梁思成、刘敦