初则为大内氏的重臣于1468年过世后，其妻为悼念陶弘房于1472年所建立，最初设于现在的山口市仁保高野地区，名为「安养寺」，1492年才更名为「瑠璃光寺」，由于位于仁保，也会被称为「仁保瑠璃光寺」。17世纪江户时代后，由于统领起地的毛利氏将藩厅设于萩，因此在1604年将香积寺迁移至萩，而原本位于仁保的瑠璃光寺则在1690年迁至此地。寺内的五重塔建于1442年，高31.2公尺，现已被列为国宝，和京都醍醐寺及奈良法隆寺的五重塔并称「日本三名塔」。展示五重塔的模型及资料，并有日本其他各地的五重塔资讯