HumanEval-XLは、23種類の自然言語（NL）と12種類のプログラミング言語（PL）を結びつけた大規模な多言語コード生成ベンチマークであり、これまで存在するベンチマークではカバーされていなかった領域に焦点を当てています。従来のベンチマークは英語中心であったり、限られた数の自然言語に制約されていたりしたが、HumanEval-XLはこの欠陥を補うことで他を凌駕しています。さらに、異なる自然言語間で意味が等価に表現されるタスクにおいて現在のLLMが苦戦していることも明らかにしました。このような幅広いニーズや挑戦への対応から見ても、HumanEval-XLは他の既存ベンチマークよりも包括的かつ先進的だと考えられます。