FBK-MT/MCIF-ST huggingface dataset:
English: For comparison, we also evaluated these conversations using three existing methods: Likert ratings on the turn-level, Likert ratings on the dialogue-level, and dialogue-level pairwise comparisons.
German: Zum Vergleich haben wir diese Gespräche auch mit drei bestehenden Methoden evaluiert: Turn-Level Likert Ratings, Dialogue-Level Likert Ratings und Dialogue-Level Pairwise Comparisons.
Italian: Per fare un confronto, abbiamo anche valutato queste conversazioni utilizzando tre metodi esistenti: valutazioni Likert a livello di turno, valutazioni Likert a livello di dialogo e confronti a coppie a livello di dialogo.
Chinese: 为了进行比较，我们还使用三种现有方法来评估这些对话：回合层面李克特评分、对话层面的李克特评分，以及对话层面的成对比较。
English: For each of the existing methods, we collected evaluations on eight of the most commonly measured aspects of dialogue, since this is the standard practice for evaluating chat models along multiple dimensions.
German: Für jede der bestehenden Methoden haben wir Bewertungen für acht der am häufigsten gemessenen Aspekte des Dialogs erhoben, da dies eine gängige Praxis bei der Bewertung von Chat-Modellen entlang mehrerer Dimensionen ist.
Italian: Per ciascuno dei metodi esistenti, abbiamo raccolto valutazioni su otto degli aspetti del dialogo misurati con maggiore frequenza, poiché questa è la pratica standard per valutare i modelli di chat su più dimensioni.
Chinese: 对于现有的每种方法，我们收集了对话中八个最常见的衡量方面的评估，因为这是沿多个维度评估聊天模型的标准做法。
English: From our analysis of these evaluation results, we found that ABC-Eval behavior labels are overall more reliable than labels collected by existing methods, as measured by inter-annotator agreement on 100 doubly-labeled conversations.
German: Unsere Analyse dieser Evaluationsergebnisse hat gezeigt, dass die ABC-Eval-Verhaltensattribute insgesamt zuverlässiger sind als die Attribute, die von bestehenden Methoden erzeugt werden. Dies wurde anhand der Übereinstimmung zwischen den Annotatoren bei 100 doppelt markierten Interviews gemessen.
Italian: Dall'analisi di questi risultati di valutazione, abbiamo scoperto che le etichette di comportamento ABC-Eval sono nel complesso più affidabili delle etichette raccolte dai metodi esistenti, come misurato dall'accordo tra annotatori su 100 conversazioni doppiamente etichettate.
Chinese: 从对这些评估结果的分析来看，我们发现，在 100 个双标签对话中，ABC-Eval 行为标签在注释一致性方面，总体上比现有方法更可靠。
English: In addition, ABC-Eval labels are more predictive of the overall conversation quality compared to metrics produced by existing methods, as shown by this simple linear regression analysis.
German: Darüber hinaus sind die ABC-Eval-Kennzeichnungen aussagekräftiger für die allgemeine Gesprächsqualität als die Metriken bestehender Methoden, wie diese einfache lineare Regressionsanalyse zeigt.
Italian: Inoltre, le etichette ABC-Eval sono maggiormente predittive della qualità complessiva della conversazione rispetto alle metriche prodotte dai metodi esistenti, come mostrato da questa semplice analisi di regressione lineare.
Chinese: 此外，与现有方法产生的指标相比，ABC-Eval 标签对整体对话质量的预测性更强，如这个简单的线性回归分析所示。
English: For example, you can see how measuring the proportion of turns with self and partner contradictions explains 5% and 10% of conversation quality, respectively, while the average Likert consistency scores explain only 4% or less.
German: Beispielsweise erklärt die Messung des Anteils der Turns mit Selbstwidersprüchen und Partnerwidersprüchen 5 % bzw. 10 % der Gesprächsqualität, während die durchschnittlichen Likert-Konsistenzwerte nur 4 % oder weniger erklären.
Italian: Ad esempio, si può vedere come la misurazione della proporzione di turni con contraddizioni proprie e del partner spieghi rispettivamente il 5% e il 10% della qualità della conversazione, mentre i punteggi medi di coerenza Likert spiegano solo il 4% o meno.
Chinese: 例如，可以看到，自相矛盾和与对话者矛盾的回合比例分别解释了 5% 和 10% 的对话质量，而平均李克特一致性得分仅解释了 4% 或更少。
English: Finally, we checked whether each evaluation metric captures a unique aspect of chat quality using a stepwise linear regression.
German: Schließlich haben wir eine schrittweise lineare Regression durchgeführt, um zu sehen, ob jeder Indikator einen bestimmten Aspekt der Gesprächsqualität erfasst.
Italian: Infine, abbiamo verificato se ogni metrica di valutazione cattura un aspetto unico della qualità della chat utilizzando una regressione lineare graduale.
Chinese: 最后，我们使用逐步线性回归来检查每个评估指标是否捕捉到对话质量的独特方面。
English: You can see how the combination of all ABC-Eval metrics explains over 25% of conversation quality, and as you remove the metrics one at a time, most of them result in losing a decent amount of information about the quality.
German: Es zeigt sich, dass die Kombination aller ABC-Eval-Kennzahlen mehr als 25 % der Gesprächsqualität erklärt. Wenn man die Kennzahlen einzeln herausnimmt, geht bei den meisten eine beträchtliche Menge an Information über die Qualität verloren.
Italian: Si può vedere come la combinazione di tutte le metriche ABC-Eval spieghi oltre il 25% della qualità della conversazione e, man mano che le metriche vengono rimosse una dopo l'altra, la maggior parte di esse comporta la perdita di una discreta quantità di informazioni sulla qualità.
Chinese: 可以看到，所有 ABC-Eval 指标的组合解释了超过 25% 的对话质量，并且当删除任意一个指标时，其中大多数会导致丢失大量质量信息。
English: On the other hand, the combination of all turn-level Likert metrics explains far less of the quality, and fewer of these metrics carry unique information.
German: Andererseits erklärt die Kombination aller Likert-Kennzahlen auf Turn-Ebene weit weniger von der Qualität, und weniger dieser Kennzahlen enthalten eindeutige Informationen.
Italian: D'altra parte, la combinazione di tutte le metriche Likert a livello di turno fornisce molte meno spiegazioni sulla qualità e solo una parte esigua di queste metriche include informazioni uniche.
Chinese: 另一方面，所有回合层面的李克特指标的组合对质量的解释性要低得多，其中包含独特信息的指标也更少。
English: These reliable, informative, and distinct ABC-Eval metrics enable us to evaluate conversational AI with a higher resolution than previous methods are able to achieve.
German: Diese zuverlässigen, informativen und eindeutigen ABC-Eval-Metriken ermöglichen es uns, KI im Gespräch mit einer höheren Auflösung zu bewerten, als es mit früheren Methoden möglich war.
Italian: Queste metriche ABC-Eval affidabili, informative e distinte ci consentono di valutare l'IA conversazionale con una risoluzione più elevata rispetto ai metodi precedenti.
Chinese: 这表明 ABC-Eval 的指标更具可靠性、信息量更丰富，并能从多个维度对对话型 AI 进行更精细的评估。
English: You can see that in the results of our experiment that several challenges still remain and have been precisely quantified.
German: Sie können in den Ergebnissen unseres Experiments sehen, dass noch einige Herausforderungen bestehen bleiben und genau quantifiziert wurden.
Italian: I risultati del nostro esperimento rivelano che restano ancora diverse sfide che sono state quantificate con precisione.
Chinese: 在我们的实验结果中可以看到，仍然存在一些量化明确的挑战。
English: For example, the bots we tested have common sense violations in around 20% of their responses.
German: Die von uns getesteten Bots verstoßen beispielsweise in etwa 20 % ihrer Antworten gegen den gesunden Menschenverstand.
Italian: Ad esempio, i bot che abbiamo testato presentano violazioni del buon senso in circa il 20% delle loro risposte.
Chinese: 例如，我们测试的机器人在大约 20% 的回复中违反了常识。
English: They produce irrelevant information in around 15% of the responses, and they contradict themselves or their partner around 10% of the time.
German: Sie produzieren in etwa 15 % der Antworten irrelevante Informationen und widersprechen sich selbst oder ihrem Partner in etwa 10 % der Fälle.
Italian: Producono informazioni irrilevanti in circa il 15% delle risposte e si contraddicono o contraddicono il loro partner circa il 10% delle volte.
Chinese: 在大约 15% 的回复中，它们提供了不相关的信息，并且在大约 10% 的回复中，它们自相矛盾或与对话伙伴矛盾。
English: With the rapid pace of improvement in the field, many of these error rates could see a decrease in new models released since our evaluation was conducted.
German: Angesichts der raschen Fortschritte auf diesem Gebiet könnten viele dieser Fehlerraten bei neuen Modellen, die seit unserer Bewertung veröffentlicht wurden, sogar noch niedriger sein.
Italian: Con il rapido ritmo di miglioramento nel campo, molti di questi tassi di errore potrebbero vedere una diminuzione nei nuovi modelli rilasciati da quando è stata condotta la nostra valutazione.
Chinese: 随着该领域的快速发展，自我们进行评估以来，许多新发布的模型的错误率可能有所下降。
English: However, this is all the more reason to pursue reliable and precise evaluation metrics for comparing models.
German: Dies ist jedoch ein Grund mehr, zuverlässige und genaue Bewertungsmetriken für den Vergleich von Modellen zu verfolgen.
Italian: Tuttavia, questo è un motivo in più per perseguire metriche di valutazione affidabili e precise per confrontare i modelli.
Chinese: 然而，这样就更有理由去寻求可靠且精确的评估指标来比较模型。
English: We hope ABC-Eval can be leveraged by others in the field as a meaningful step in this direction.
German: Wir hoffen, dass ABC-Eval von anderen in diesem Bereich als nützlicher Schritt in diese Richtung aufgegriffen werden kann.
Italian: Ci auguriamo che ABC-Eval possa essere sfruttato da altri nel campo come un passo significativo in questa direzione.
Chinese: 我们希望 ABC-Eval 能够被该领域的其他人员利用，作为朝着这个方向迈进的有意义的一步。
English: And we look forward to seeing how conversational AI will advance in the coming months and years.
German: Und wir sind gespannt, wie sich die konversationale KI in den nächsten Monaten und Jahren weiterentwickeln wird.
Italian: E non vediamo l'ora di vedere come l'IA conversazionale progredirà nei prossimi mesi e anni.
Chinese: 我们期待看到对话型 AI 在未来几个月和几年中的发展。
English: Thank you for watching.
German: Vielen Dank fürs Zuschauen.
Italian: Grazie per la visione."
Chinese: 感谢您的观看。