Repository: open-compass/opencompass
Issue: [Bug] AlignBench Auto-j extracted judgements failed
Root cause: Configuration Error

### Prerequisite

- [X] I have searched [Issues](https://github.com/open-compass/opencompass/issues/) and [Discussions](https://github.com/open-compass/opencompass/discussions) but cannot get the expected help.
- [X] The bug has not been fixed in the [latest version](https://github.com/open-compass/opencompass).

### Type

I'm evaluating with the officially supported tasks/models/datasets.

### Environment

```
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=20.04
DISTRIB_CODENAME=focal
DISTRIB_DESCRIPTION="Ubuntu 20.04.5 LTS"
Python 3.10.14
OpenCompass 16f29b25f142802c7cd7448d0c077237e4db2313 April 7, 2024
```

### Reproduces the problem - code/configuration sample

`configs/eval_skywork_alignbench_autoj.py`:

```
from mmengine.config import read_base

with read_base():
    from .datasets.subjective.alignbench.alignbench_judgeby_autoj import subjective_datasets

from opencompass.models import HuggingFaceCausalLM, HuggingFace, HuggingFaceChatGLM3, OpenAI, SkyOpenAI
from opencompass.models.openai_api import OpenAIAllesAPIN
from opencompass.partitioners import NaivePartitioner, SizePartitioner
from opencompass.partitioners.sub_naive import SubjectiveNaivePartitioner
from opencompass.partitioners.sub_size import SubjectiveSizePartitioner
from opencompass.runners import LocalRunner
from opencompass.runners import SlurmSequentialRunner
from opencompass.tasks import OpenICLInferTask
from opencompass.tasks.subjective_eval import SubjectiveEvalTask
from opencompass.summarizers import AlignmentBenchSummarizer

api_meta_template = dict(
    round=[
        dict(role='HUMAN', api_role='HUMAN'),
        dict(role='BOT', api_role='BOT', generate=True),
    ]
)

# -------------Inference Stage ----------------------------------------
# For subjective evaluation, we often set do sample for models
from opencompass.models import VLLM

_meta_template = dict(
    round=[
        dict(role="HUMAN", begin='
user\n', end='
\n'),
        dict(role="BOT", begin="
assistant\n", end='
\n', generate=True),
    ],
    eos_token_id=151645,
)

GPU_NUMS = 8

models = [
    dict(
        type=VLLM,
        abbr='qwen1.5-14b-chat-vllm',
        path="/xxx/hf_models/hub/models--Qwen--Qwen1.5-14B-Chat/snapshots/17e11c306ed235e970c9bb8e5f7233527140cdcf",
        model_kwargs=dict(tensor_parallel_size=GPU_NUMS),
        meta_template=_meta_template,
        max_out_len=2048,
        max_seq_len=4096,
        batch_size=GPU_NUMS * 8,
        # generation_kwargs=dict(temperature=0),
        generation_kwargs=dict(
            do_sample=True,
        ),
        end_str='
',
        run_cfg=dict(num_gpus=GPU_NUMS, num_procs=1),
    )
]

datasets = [*subjective_datasets]

# -------------Evalation Stage ----------------------------------------

# -------------Evalation Stage ----------------------------------------

## ------------- JudgeLLM Configuration
judge_models = [dict(
    type=HuggingFaceCausalLM,
    abbr='autoj-bilingual-6b',
    path='/xxx/models/autoj-bilingual-6b',
    tokenizer_path='/xxx/models/autoj-bilingual-6b',
    tokenizer_kwargs=dict(
        padding_side='left',
        truncation_side='left',
        trust_remote_code=True,
        use_fast=False,
    ),
    max_out_len=512,
    max_seq_len=2048,
    batch_size=8 * GPU_NUMS,
    model_kwargs=dict(device_map='auto', trust_remote_code=True),
    run_cfg=dict(num_gpus=GPU_NUMS, num_procs=1),
)]

## ------------- Evaluation Configuration
eval = dict(
    partitioner=dict(type=SubjectiveNaivePartitioner, mode='singlescore', models=models, judge_models=judge_models),
    runner=dict(type=LocalRunner, max_num_workers=GPU_NUMS, task=dict(type=SubjectiveEvalTask)),
)

summarizer = dict(type=AlignmentBenchSummarizer)

work_dir = 'outputs/alignment_bench/'
```

### Reproduces the problem - command or script

```
python run.py configs/eval_alignbench_autoj.py --debug
```

### Reproduces the problem - error message

terminal output:

```
...
100%|██████████████████████████████████████████████████████████████████████████████████████████| 11/11 [1:48:50<00:00, 593.66s/it]
04/08 11:28:41 - OpenCompass - INFO - Task [qwen1.5-14b-chat-vllm/alignment_bench]
04/08 11:28:41 - OpenCompass - INFO - time elapsed: 6569.18s
04/08 11:28:44 - OpenCompass - DEBUG - Get class `AlignmentBenchSummarizer` from "partitioner" registry in "opencompass"
04/08 11:28:44 - OpenCompass - DEBUG - An `AlignmentBenchSummarizer` instance is built from registry, and its implementation can be found in opencompass.summarizers.subjective.alignmentbench
Among 683 judgements, successfully extracted 0 judgements, please check!
****************************************************************************************************
There are no extracted judgements, please change your judge model or check your prompt!!!
****************************************************************************************************
Traceback (most recent call last):
  File "/xxx/opencompass/run.py", line 364, in <module>
    main()
  File "/xxx/opencompass/run.py", line 360, in main
    summarizer.summarize(time_str=cfg_time_str)
  File "/xxx/opencompass/opencompass/summarizers/subjective/alignmentbench.py", line 354, in summarize
    judged_answers, references = get_judgeanswer_and_reference(
  File "/xxx/opencompass/opencompass/summarizers/subjective/utils.py", line 77, in get_judgeanswer_and_reference
    assert len(judged_answers) > 0
AssertionError
```

### Other information

## predictions file - infer

```
    "0": {
        "origin_prompt": "
user\n高音单簧管和高音萨克斯的调性相同吗？如果相同，请说出他们的调性，如果不同，请分别说出他们的调性
\n
assistant\n",
        "prediction": "高音单簧管和高音萨克斯的调性是相同的，它们都属于C调（也被称为Soprano C或alto C，取决于不同的乐队或乐器配置，但通常指单簧管和萨克斯的高音部分）。这两种乐器的音域通常在C4到C6之间，有时可以演奏更高音，但它们的基础音都是C。",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 1,
                "reference": "高音单簧管和高音萨克斯的调性不同。高音单簧管的调性通常为E♭，而高音萨克斯的调性则为B♭。\n",
                "subcategory": "音乐"
            },
            "question": "高音单簧管和高音萨克斯的调性相同吗？如果相同，请说出他们的调性，如果不同，请分别说出他们的调性"
        }
    },
    "1": {
        "origin_prompt": "
user\n卡卡的第一个帽子戏法是于哪个赛季与哪个队比赛时完成的？
\n
assistant\n",
        "prediction": "卡卡（Ricardo Izecson dos Santos Leite， commonly known as Kaka）的第一个帽子戏法是在2005-2006赛季，他效力于意大利足球甲级联赛的球队AC米兰（AC Milan）时完成的。这场比赛是在2006年2月12日对阵布雷西亚（Brescia）。",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 2,
                "reference": "2006年4月9日，在与切沃的意甲第33轮比赛中完成的",
                "subcategory": "体育"
            },
            "question": "卡卡的第一个帽子戏法是于哪个赛季与哪个队比赛时完成的？"
        }
    },
    "2": {
        "origin_prompt": "
user\n动画《星际牛仔》的片尾曲是由谁作词的？
\n
assistant\n",
        "prediction": "动画《星际牛仔》（Cowboy Bebop）的片尾曲《ощущение》（オощしてる，Ooshyteiru）的歌词是由宇多田光（Utada Hikaru）作词，作曲则由大野克洋（Kōkichi Takada）与宇多田光共同完成。这首歌曲是作为原声大碟中的一部分而发布的。",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 3,
                "reference": "岩里祐穂",
                "subcategory": "其他"
            },
            "question": "动画《星际牛仔》的片尾曲是由谁作词的？"
        }
    },
    "3": {
        "origin_prompt": "
user\n原子弹之父于何时当选为美国科学院院士？
\n
assistant\n",
        "prediction": "原子弹之父，也就是著名物理学家罗伯特·奥本海默（Robert Oppenheimer），于1945年当选为美国科学院院士（National Academy of Sciences）。这是对他在这个领域的杰出贡献的认可。",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 4,
                "reference": "罗伯特·奥本海默（Robert Oppenheimer）被誉为“原子弹之父”，他在1941年当选为美国科学院院士。\n",
                "subcategory": "历史"
            },
            "question": "原子弹之父于何时当选为美国科学院院士？"
        }
    },
    "4": {
        "origin_prompt": "
user\nUFC的运动员伊斯瑞尔·阿迪萨亚为什么被称为黑龙？
\n
assistant\n",
        "prediction": "UFC（Ultimate Fighting Championship）的运动员伊斯瑞尔·阿迪萨亚（Israel Adesanya）被称为“黑龙”（The Black Belt），这个名字来源于他的个人武术经历和比赛风格。Adesanya在2018年UFC比赛早期就开始使用“黑龙”这一称号，因为：\n\n1. **武术背景**：他拥有黑带水平的巴西柔术（BJJ）、舍宾（Shinobi Jutsu，日本忍者武术）和截拳道等多个武术体系的资质，黑带是他武术能力的象征。\n\n2. **形象设计**：他在比赛中的形象和服装常常带有日本忍者的元素，尤其是黑色的紧身衣和头带，给人一种神秘且力量强大的形象，类似日本忍者中的“暗夜”角色。\n\n3. **比赛风格**：他以其优雅的动作和凌厉的直击而著称，这种风格有时让人联想到电影中的日本忍者或者武侠高手。\n\n因此，尽管他的真实姓氏不是“黑龙”，但他给自己取的这个绰号已经成为他在UFC格斗界的一个标志性身份。",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 5,
                "reference": "因为阿迪萨亚在年轻的时候曾经在中国打踢拳比赛，被收编为中国队的一员，且当时主办方要求阿迪萨亚身披中国国旗出战，为他量身定做了口号：“黑皮肤、中国心，我是黑龙”，因此而得名。",
                "subcategory": "体育"
            },
            "question": "UFC的运动员伊斯瑞尔·阿迪萨亚为什么被称为黑龙？"
        }
    },
    "5": {
        "origin_prompt": "
user\n足球运动员内马尔在哪个赛季获得了他的第一个欧洲金靴奖？
\n
assistant\n",
        "prediction": "内马尔在2015-2016赛季获得了他的第一个欧洲金靴奖。那个赛季他在西甲联赛中为巴塞罗那队效力，共进34球。",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 6,
                "reference": "内马尔在2014-15赛季获得他的第一个欧洲金靴奖。",
                "subcategory": "体育"
            },
            "question": "足球运动员内马尔在哪个赛季获得了他的第一个欧洲金靴奖？"
        }
    },
```


## results file - eval

```
"0": {
        "origin_prompt": "为上传的针对给定用户问题的回应撰写评论, 并为该回复打分:\n\n[BEGIN DATA]\n***\n[用户问询]: 高音单簧管和高音萨克斯的调性相同吗？如果相同，请说出他们的调性，如果不同，请分别说出他们的调性\n***\n[回应]: 高音单簧管和高音萨克斯的调性是相同的，它们都属于C调（也被称为Soprano C或alto C，取决于不同的乐队或乐器配置，但通常指单簧管和萨克斯的高音部分）。这两种乐器的音域通常在C4到C6之间，有时可以演奏更高音，但它们的基础音都是C。\n***\n[参考答案]: 高音单簧管和高音萨克斯的调性不同。高音单簧管的调性通常为E♭，而高音萨克斯的调性则为B♭。\n\n***\n[END DATA]\n\n请根据参考答案为这个回应撰写评论. 在这之后, 你应该按照如下格式给这个回应一个最终的1-10范围的评分: \"[[评分]]\", 例如: \"评分: [[5]]\".",
        "prediction": "\n\n回应错误地陈述高音单簧管和高音萨克斯的调性相同，这是对用户问询的明显错误解释。用户明确要求确定这两种乐器中较高的那一种的调性，而回应未能提供清晰准确的答案。相反，它提供了两种乐器通常调性的混淆信息，这可能会让用户感到困惑。回应应该直接回答用户的问题，明确指出高音单簧管的调性为E♭，高音萨克斯的调性为B♭。\n\n此外，回应未完全遵循用户的指示。用户要求指定这两种乐器的高音部分或较高的部分的调性，但回应却讨论了它们的通常调性范围，这并不是用户所要求的。\n\n回应还缺乏清晰的结构和布局，使其难以阅读和理解。它没有在开头提供简要摘要，也没有提供丰富、详细和专业的信息。回应中使用的语言不清晰或易懂，可能会让用户感到困惑。\n\n最后，回应没有推断出用户提问背后的意图。它没有要求更多信息或澄清，这可能有助于确保用户获得他们所寻求的正确信息。\n\n评分:[[2]] ",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 1,
                "reference": "高音单簧管和高音萨克斯的调性不同。高音单簧管的调性通常为E♭，而高音萨克斯的调性则为B♭。\n",
                "subcategory": "音乐"
            },
            "question": "高音单簧管和高音萨克斯的调性相同吗？如果相同，请说出他们的调性，如果不同，请分别说出他们的调性"
        }
    },
    "1": {
        "origin_prompt": "为上传的针对给定用户问题的回应撰写评论, 并为该回复打分:\n\n[BEGIN DATA]\n***\n[用户问询]: 卡卡的第一个帽子戏法是于哪个赛季与哪个队比赛时完成的？\n***\n[回应]: 卡卡（Ricardo Izecson dos Santos Leite， commonly known as Kaka）的第一个帽子戏法是在2005-2006赛季，他效力于意大利足球甲级联赛的球队AC米兰（AC Milan）时完成的。这场比赛是在2006年2月12日对阵布雷西亚（Brescia）。\n***\n[参考答案]: 2006年4月9日，在与切沃的意甲第33轮比赛中完成的\n***\n[END DATA]\n\n请根据参考答案为这个回应撰写评论. 在这之后, 你应该按照如下格式给这个回应一个最终的1-10范围的评分: \"[[评分]]\", 例如: \"评分: [[5]]\".",
        "prediction": "\n\n回应错误地陈述卡卡的第一个帽子戏法是在2005-2006赛季，而他当时正在为AC米兰队效力。实际上，卡卡的第一个帽子戏法是在2007年4月22日，当时他效力于西班牙足球甲级联赛的球队皇家马德里（Real Madrid）。回应还错误地提到了比赛是在2006年2月12日对阵布雷西亚，而实际上是在2006年5月21日对阵切沃。\n\n此外，回应未提供有关卡卡在比赛中上演帽子戏法的详细信息，而这在问询中明确要求。回应应该包括卡卡在比赛中进球的具体细节，以完全回答用户的问询。\n\n最后，回应缺乏可信度，因为它没有提供任何官方文件、链接、参考资料或其他可靠来源来支持所提供的信息。这对于保证所提供信息的准确性至关重要。\n\n评分:[[2]] ",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 2,
                "reference": "2006年4月9日，在与切沃的意甲第33轮比赛中完成的",
                "subcategory": "体育"
            },
            "question": "卡卡的第一个帽子戏法是于哪个赛季与哪个队比赛时完成的？"
        }
    },
    "2": {
        "origin_prompt": "为上传的针对给定用户问题的回应撰写评论, 并为该回复打分:\n\n[BEGIN DATA]\n***\n[用户问询]: 动画《星际牛仔》的片尾曲是由谁作词的？\n***\n[回应]: 动画《星际牛仔》（Cowboy Bebop）的片尾曲《ощущение》（オощしてる，Ooshyteiru）的歌词是由宇多田光（Utada Hikaru）作词，作曲则由大野克洋（Kōkichi Takada）与宇多田光共同完成。这首歌曲是作为原声大碟中的一部分而发布的。\n***\n[参考答案]: 岩里祐穂\n***\n[END DATA]\n\n请根据参考答案为这个回应撰写评论. 在这之后, 你应该按照如下格式给这个回应一个最终的1-10范围的评分: \"[[评分]]\", 例如: \"评分: [[5]]\".",
        "prediction": "\n\n回应错误地错误地陈述宇多田光与大野克洋共同创作了《星际牛仔》的主题曲。根据官方星际牛仔网站和日本官方音乐数据库的记录，歌曲《Kimi no Kioku》（你的回忆）是由宇多田光单独创作的。此外，回应错误地将歌曲的标题称为《ощущение》（オオシツレ，Ooshyteiru），实际上应该是《Kimi no Kioku》。\n\n此外，回应未提供用户问询中提到的歌词作者宇多田光的任何信息。这是一个重大疏忽，因为这是用户问询的主要焦点。\n\n回应还缺乏关于歌曲作为原声带的一部分发布的具体细节。这种缺乏具体性可能会让用户感到困惑，并促使他们提出额外的 questions。\n\n总之，回应中包含了几个不准确之处，并且缺乏必要的细节，无法完全回答用户的问询。\n\n评分:[[3]] ",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 3,
                "reference": "岩里祐穂",
                "subcategory": "其他"
            },
            "question": "动画《星际牛仔》的片尾曲是由谁作词的？"
        }
    },
    "3": {
        "origin_prompt": "为上传的针对给定用户问题的回应撰写评论, 并为该回复打分:\n\n[BEGIN DATA]\n***\n[用户问询]: 原子弹之父于何时当选为美国科学院院士？\n***\n[回应]: 原子弹之父，也就是著名物理学家罗伯特·奥本海默（Robert Oppenheimer），于1945年当选为美国科学院院士（National Academy of Sciences）。这是对他在这个领域的杰出贡献的认可。\n***\n[参考答案]: 罗伯特·奥本海默（Robert Oppenheimer）被誉为“原子弹之父”，他在1941年当选为美国科学院院士。\n\n***\n[END DATA]\n\n请根据参考答案为这个回应撰写评论. 在这之后, 你应该按照如下格式给这个回应一个最终的1-10范围的评分: \"[[评分]]\", 例如: \"评分: [[5]]\".",
        "prediction": "\n\n回应错误地将罗伯特·奥本海默（Robert Oppenheimer）当选为美国科学院院士的时间确定为1945年，而参考答案和问询中提供的正确时间是1941年。这个错误削弱了回应的可靠性，未能准确回答用户的问询。\n\n此外，回应未提供任何官方文件、链接、参考资料或其他可靠来源来验证这个信息。这种缺乏引用使得很难验证所提供信息的准确性，并进一步降低了回应的可信度。\n\n回应还可以从更详细和专业的角度来阐述。虽然它正确地确定了罗伯特·奥本海默当选为美国科学院院士的时间，但没有提供任何额外的细节或背景信息，这些信息可能会丰富回应并增加其价值。\n\n最后，回应没有遵循结构准则，没有在开头提供简要摘要，也没有在末尾提供丰富、详细和专业的信息。这种缺乏结构使得回应不太用户友好，难以理解。\n\n评分:[[3]] ",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 4,
                "reference": "罗伯特·奥本海默（Robert Oppenheimer）被誉为“原子弹之父”，他在1941年当选为美国科学院院士。\n",
                "subcategory": "历史"
            },
            "question": "原子弹之父于何时当选为美国科学院院士？"
        }
    },
    "4": {
        "origin_prompt": "为上传的针对给定用户问题的回应撰写评论, 并为该回复打分:\n\n[BEGIN DATA]\n***\n[用户问询]: UFC的运动员伊斯瑞尔·阿迪萨亚为什么被称为黑龙？\n***\n[回应]: UFC（Ultimate Fighting Championship）的运动员伊斯瑞尔·阿迪萨亚（Israel Adesanya）被称为“黑龙”（The Black Belt），这个名字来源于他的个人武术经历和比赛风格。Adesanya在2018年UFC比赛早期就开始使用“黑龙”这一称号，因为：\n\n1. **武术背景**：他拥有黑带水平的巴西柔术（BJJ）、舍宾（Shinobi Jutsu，日本忍者武术）和截拳道等多个武术体系的资质，黑带是他武术能力的象征。\n\n2. **形象设计**：他在比赛中的形象和服装常常带有日本忍者的元素，尤其是黑色的紧身衣和头带，给人一种神秘且力量强大的形象，类似日本忍者中的“暗夜”角色。\n\n3. **比赛风格**：他以其优雅的动作和凌厉的直击而著称，这种风格有时让人联想到电影中的日本忍者或者武侠高手。\n\n因此，尽管他的真实姓氏不是“黑龙”，但他给自己取的这个绰号已经成为他在UFC格斗界的一个标志性身份。\n***\n[参考答案]: 因为阿迪萨亚在年轻的时候曾经在中国打踢拳比赛，被收编为中国队的一员，且当时主办方要求阿迪萨亚身披中国国旗出战，为他量身定做了口号：“黑皮肤、中国心，我是黑龙”，因此而得名。\n***\n[END DATA]\n\n请根据参考答案为这个回应撰写评论. 在这之后, 你应该按照如下格式给这个回应一个最终的1-10范围的评分: \"[[评分]]\", 例如: \"评分: [[5]]\".",
        "prediction": "\n\n回应中提供的信息与参考答案中提供的信息不一致，这表明回应缺乏准确性。具体来说，回应错误地陈述阿迪萨亚在年轻时曾在中国打踢拳比赛，并被收编为中国队的一员，这是不正确的。阿迪萨亚是尼日利亚裔新西兰人，并没有在中国踢拳。此外，回应错误地陈述给他量身定制口号“黑皮肤、中国心，我是黑龙”，这是不准确的。这个口号通常用于描述阿迪萨亚在比赛中的风格，而不是他的种族或国籍。\n\n回应还缺乏引用的来源来证实提供的信息，这削弱了其可信度。此外，回应没有在开头提供简要摘要，这在设定背景和提供答案背景方面将会有所帮助。\n\n最后，回应没有承认不确定性或要求更多信息以澄清用户的问询，这可能会提高回应的互动性和用户友好性。\n\n鉴于这些不准确和缺乏之处，回应可以得到显着改进。\n\n评分:[[3]] ",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 5,
                "reference": "因为阿迪萨亚在年轻的时候曾经在中国打踢拳比赛，被收编为中国队的一员，且当时主办方要求阿迪萨亚身披中国国旗出战，为他量身定做了口号：“黑皮肤、中国心，我是黑龙”，因此而得名。",
                "subcategory": "体育"
            },
            "question": "UFC的运动员伊斯瑞尔·阿迪萨亚为什么被称为黑龙？"
        }
    },
    "5": {
        "origin_prompt": "为上传的针对给定用户问题的回应撰写评论, 并为该回复打分:\n\n[BEGIN DATA]\n***\n[用户问询]: 足球运动员内马尔在哪个赛季获得了他的第一个欧洲金靴奖？\n***\n[回应]: 内马尔在2015-2016赛季获得了他的第一个欧洲金靴奖。那个赛季他在西甲联赛中为巴塞罗那队效力，共进34球。\n***\n[参考答案]: 内马尔在2014-15赛季获得他的第一个欧洲金靴奖。\n***\n[END DATA]\n\n请根据参考答案为这个回应撰写评论. 在这之后, 你应该按照如下格式给这个回应一个最终的1-10范围的评分: \"[[评分]]\", 例如: \"评分: [[5]]\".",
        "prediction": "\n\n回应错误地将内马尔在2015-16赛季获得欧洲金靴奖的日期提前了一个赛季。根据参考答案，内马尔在2014-15赛季获得了他的第一个欧洲金靴奖，而不是回应中所说的2015-16赛季。这是一个重大错误，因为它曲解了用户关于内马尔赢得他的第一个欧洲金靴奖的问询。\n\n此外，回应提供了不准确的信息。内马尔在2015-16赛季为巴塞罗那队在西甲联赛中打进了34个进球，但赢得欧洲金靴奖 required他在该赛季的欧洲主要联赛（EPL，La Liga，德甲等）中排名前5。内马尔在那个赛季的欧洲金靴奖评选中排名第四，获奖的是皇家马德里队的克里斯蒂亚诺·罗纳尔多。\n\n回应未能准确和正确地回答用户的问询，这是一个重大缺点。\n\n评分:[[3]] ",
        "gold": {
            "capability": "专业能力",
            "others": {
                "question_id": 6,
                "reference": "内马尔在2014-15赛季获得他的第一个欧洲金靴奖。",
                "subcategory": "体育"
            },
            "question": "足球运动员内马尔在哪个赛季获得了他的第一个欧洲金靴奖？"
        }
    },
```

please change the `summarizer = dict(type=AlignmentBenchSummarizer)` to `summarizer = dict(type=AlignmentBenchSummarizer, judge_type='autoj')`