智镜计划 - 中国传统艺术品鉴赏模型评测数据集

数据集描述

智镜计划（Zhijing Project） 是首个专注于评估大语言模型对中国传统艺术品鉴赏能力的评测项目。

本数据集采用 Arena对战形式，由艺术史、博物馆学等领域的专业评测者对模型生成的艺术品鉴赏文本进行盲评，评估维度包括：

• 专业知识准确性（年代、作者、流派）
• 审美范式理解（文人画、宫廷画、风俗画等）
• 技法分析能力（皴法、线描、设色等）
• 文化语境把握（题跋、用印、装裱等）

数据集统计

Winner分布

model_a    1451 (37.4%)
model_b    1344 (34.6%)
tie        1087 (28.0%)

年代分布

明          1131 (29.1%)
宋元         766 (19.7%)
其他         757 (19.5%)
唐前(含唐)    645 (16.6%)
清           583 (15.0%)

参与模型

国际模型:

• anthropic/claude-opus-4.5, claude-sonnet-4.5, claude-3.7-sonnet
• openai/gpt-4.1, o3, o4-mini-high
• google/gemini-2.5-pro, gemini-2.5-flash, gemini-3-pro-preview
• meta-llama/llama-4-maverick
• x-ai/grok-4, grok-4.1-fast

中国模型:

• doubao-seed-1-6-thinking, Doubao-1.5-vision-pro
• Qwen3-VL-235B-A22B-Thinking, qwen2.5-vl-72b-instruct
• glm-4.5v, thudm/glm-4.1v-9b-thinking
• stepfun-ai/step3
• tencent/hunyuan-t1-vision

数据字段

图像使用

图像文件存放在 images/ 目录下，以 {artwork_id}.jpg 命名。

from datasets import load_dataset
from PIL import Image

dataset = load_dataset("your-username/zhijing-chinese-art-arena")

# 加载图像
sample = dataset['train'][0]
image = Image.open(sample['image_path'])

分析工具

本项目提供以下分析Notebook：

1. analysis_visualization.ipynb

• 模型胜率Bar图
• 胜率矩阵热力图
• ELO分数及置信区间
• 不同朝代(唐前/宋元/明/清)模型表现对比

2. chatbot_arena_comparison.ipynb

• 智镜计划 vs Chatbot Arena Vision 排名对比
• 分析哪些模型在中国艺术任务上表现突出

错误类型分类

本项目建立了LLM中国古代艺术审美能力缺陷分类标准：

使用方式

from datasets import load_dataset

# 加载数据集
dataset = load_dataset("your-username/zhijing-chinese-art-arena")

# 查看数据示例
print(dataset['train'][0])

# 按年代筛选
song_yuan = dataset['train'].filter(lambda x: x['era_group'] == '宋元')

# 筛选特定模型的对战记录
gpt_battles = dataset['train'].filter(
    lambda x: 'gpt' in x['model_a'].lower() or 'gpt' in x['model_b'].lower()
)

许可证

本数据集采用 CC-BY-4.0 许可证发布。

引用

如果您使用了本数据集，请引用：

@dataset{zhijing_arena_2025,
  title={智镜计划 - 中国传统艺术品鉴赏模型评测数据集},
  author={Zhijing Project Team},
  year={2025},
  publisher={Hugging Face},
  url={https://huggingface.co/datasets/your-username/zhijing-chinese-art-arena}
}

致谢

感谢所有参与评测的艺术史专家和志愿者。

---

智镜计划 - 让AI更懂中国艺术之美