人間注釈者とLLMの注釈結果の違いは、引用文脈分析におけるいくつかの重要な課題を浮き彫りにします。まず、LLMは一貫性の面では優れた結果を示す一方で、予測性能が低いため、特に文脈が暗示的である場合に誤った分類を行うことがあります。これは、LLMが明示的な言葉に基づいてテキストを解釈する傾向があるためであり、文脈の微妙なニュアンスを捉えきれないことが原因です。これに対して、人間の注釈者は、文脈の暗示や背景知識を考慮に入れることができるため、より正確な判断が可能です。このような違いから、引用文脈分析においては、LLMの結果を単独で使用することが難しいことが明らかになりました。したがって、LLMを人間の注釈者の補助として活用し、両者の結果を組み合わせることで、より信頼性の高いデータを得る方法が求められます。