FBK-MT/MCIF-ST huggingface dataset:
English: So when the difference between the lengths of the two conjuncts grows, the shorter conjunct prefers to be the first one, stronger, right?
German: Je größer also der Längenunterschied zwischen den beiden Konjunktionen ist, desto eher kommt die kürzere Konjunktion zuerst, oder?
Italian: Quindi, quando la differenza tra le lunghezze dei due congiunti cresce, quello più corto preferisce essere il primo, il più forte, giusto?
Chinese: 所以当两个连词的长度差异增加时，较短的连词更倾向于放在第一个位置，更强，对吗？
English: So the proportion is bigger of the left short conjunct.
German: Der Anteil der linken, kürzeren Konjunktion ist also größer.
Italian: Dunque la proporzione è maggiore è quella del congiunto corto sinistro.
Chinese: 因此，左边短连词的比例更大。
English: But what's novel in this paper is that we observed that this tendency only occurs when the governor is on the left or absent.
German: Das Neue an dieser Studie ist aber, dass wir festgestellt haben, dass diese Tendenz nur dann auftritt, wenn das Hauptwort auf der linken Seite steht oder fehlt.
Italian: Ma la novità di questo articolo è che abbiamo osservato che questa tendenza si verifica solo quando il governatore è a sinistra o è del tutto assente.
Chinese: 但是本论文的新颖之处在于，我们观察到这种趋势仅在支配词在左侧或不存在的情况下才会出现。
English: So the governor is on the left in this example ""I saw Bart and Lisa"" so is the governor is on the left.
German: In diesem Beispiel, „Ich sah Bart und Lisa“, steht das Hauptwort auf der linken Seite.
Italian: Quindi, il governatore è sulla sinistra in questo esempio "I saw Bart and Lisa", quindi il governatore è sulla sinistra.
Chinese: 在这个例子中，支配词在左侧，“I saw Bart and Lisa”，支配词在左侧。
English: It's absent in the second example ""Homer came and sneezed.""
German: Im zweiten Beispiel, „Homer kam und nieste“ fehlt es.
Italian: È assente nel secondo esempio "Homer came and sneezed".
Chinese: 在第二个例子“Homer came and sneezed”中，支配词则不存在。
English: Here we have coordination of two verbs and there's no outsides, external governor.
German: Hier handelt es sich um die Koordination zweier Verben, und es gibt kein externes Hauptwort.
Italian: Qui ci troviamo di fronte alla coordinazione di due verbi e non c'è nessun governatore esterno.
Chinese: 这里我们有两个动词的协调，没有外部的支配词。
English: In such cases, the left conjunct prefers to be shorter; the most of the biggest difference between the two conjuncts.
German: In solchen Fällen ist die linke Konjunktion eher kürzer, was den Hauptunterschied zwischen den beiden Konjunktionen ausmacht.
Italian: In questi casi, il congiunto sinistro preferisce essere più corto; ecco dov'è gran parte della differenza tra i due congiunti.
Chinese: 在这种情况下，左侧的连词更短；两个连词之间的最大差异。
English: However, when the governor is on the right, as here, ""laughed"" governs the coordination Ted and Ned, this effect disappears.
German: Befindet sich das Hauptwort jedoch auf der rechten Seite, wie hier, wo „lachen“ die Koordination von Ted und Ned bestimmt, verschwindet dieser Effekt.
Italian: Tuttavia, quando il governatore è sulla destra, come in questa circostanza, e "laughed" governa la coordinazione Ted e Ned, questo effetto scompare.
Chinese: 然而，当支配词在右侧时，比如这个例子，“laughed”支配“Ted”和“Ned”的协调，这种效应就会消失。
English: So we showed that by measuring length in characters, the first column, in syllables the middle column, and in words the right column.
German: Wir haben dies also gezeigt, indem wir die Länge in Buchstaben in der ersten Spalte, in Silben in der mittleren Spalte und in Wörtern in der rechten Spalte gemessen haben.
Italian: Quindi, abbiamo dimostrato che la lunghezza viene misurata in caratteri, la prima colonna, in sillabe la colonna centrale e in parole la colonna di destra.
Chinese: 我们通过以字符衡量长度（第一列），以音节衡量长度（中间一列），以单词衡量长度（右一列）来表示。
English: So I'll concentrate on the right one.
German: Ich werde mich also auf die rechte Spalte konzentrieren.
Italian: Ora mi concentrerò su quella di destra.
Chinese: 我们来看右边的一列。
English: What we see here is that when the governor is on the left, the tendency for the left conjunct to be shorter grows steadily, with the absolute difference in words, and the same is observed when there is no governor as in coordination of sentences.
German: Wir sehen, dass die Tendenz, dass die linke Konjunktion kürzer ist, wenn das Hauptwort auf der linken Seite steht, mit der absoluten Differenz der Wörter zunimmt, und dass dasselbe beobachtet wird, wenn es kein Hauptwort gibt, wie bei der Koordination von Sätzen.
Italian: Quello che vediamo qui è che quando il governatore è a sinistra, la tendenza del congiunto sinistro a essere più corto cresce costantemente, con la differenza assoluta in parole, e lo stesso si osserva quando non c'è alcun governatore come nella coordinazione delle frasi.
Chinese: 我们看到的是，当支配词在左侧时，左侧的连词变短的趋势就越稳定，单词的绝对差异也越大，当没有支配词时，在句子协调中也观察到同样的现象。
English: But when the governor is on the right this tendency disappears.
German: Aber wenn das Hauptwort auf der rechten Seite steht, verschwindet diese Tendenz.
Italian: Ma quando il governatore è a destra, questa tendenza viene meno.
Chinese: 但是当支配词在右侧时，这种趋势就会消失。
English: And we show in the paper how this provides an argument against asymmetric structures of coordination, as these two, and for the symmetric structures, as these two.
German: Und wir zeigen in der Arbeit, inwiefern dies ein Argument gegen asymmetrische Koordinationsstrukturen wie diese beiden und für symmetrische Strukturen wie diese beiden ist.
Italian: Nell'articolo mostriamo come tutto ciò rappresenti una tesi contro le strutture asimmetriche di coordinazione, come queste due, e a favore delle strutture simmetriche, come queste due.
Chinese: 我们在论文中展示了这一点如何为反对非对称协调结构提供论据，比如这两个，以及为支持对称协调结构提供论据，比如这两个。
English: So see the paper for the full arguments.
German: Die vollständigen Argumente finden Sie in der Arbeit.
Italian: Siete invitati a consultare l'articolo per gli argomenti completi.
Chinese: 有关完整论证，请参阅我们的论文。
English: And talk to us about at the poster session.
German: Und sprechen Sie gerne mit uns bei der Postersitzung darüber.
Italian: Per poi parlarne alla sessione poster.
Chinese: 期待在海报会议上与大家交流。
English: "Hello everyone, my name is David Vilar, and I will be giving a short review of the paper ""Prompting PaLM for Translation: Assessing Strategies and Performance.""
German: Hallo zusammen, mein Name ist David Vilar und ich werde einen kurzen Überblick über die Arbeit „Prompting PaLM for Translation: Evaluating Strategies and Performance“ geben.
Italian: "Ciao a tutti, mi chiamo David Vilar. Mi trovo qui per offrirvi una panoramica dell'articolo "Prompting PaLM for Translation: Assessing Strategies and Performance".
Chinese: 大家好，我叫 David Vilar，我将简要回顾论文《PaLM 在翻译中的提示：策略评估与性能》。
English: This is joint work with my colleagues from Google Translate.
German: Dies ist eine gemeinsame Arbeit mit meinen Kollegen von Google Translate.
Italian: Questo è un lavoro congiunto con i miei colleghi di Google Translate.
Chinese: 这是我与谷歌翻译团队的同事合作编写的论文。
English: PaLM is a 540 billion-parameter large language model presented last year in 2022.
German: PaLM ist ein Large Language Model mit 540 Milliarden Parametern, das im Jahr 2022 vorgestellt wurde.
Italian: PaLM è un modello linguistico di grandi dimensioni con 540 miliardi di parametri presentato lo scorso anno, nel 2022.
Chinese: PaLM 是去年 2022 年发布的一个拥有 5400 亿参数的大语言模型。
English: It's trained on a large collection of text, comprising 780 billion tokens.
German: Es wurde mit einer großen Sammlung von 780 Milliarden Token trainiert.
Italian: È addestrato su una vasta raccolta di testi, che comprende 780 miliardi di token.
Chinese: 它是在包含 7800 亿个令牌的大型文本集上训练的。
English: At the time of publication, it achieved state-of-the-art in hundreds of NLP tasks.
German: Zum Zeitpunkt der Veröffentlichung hatte es in hunderten von NLP-Aufgaben die beste Leistung erzielt.
Italian: Al momento della pubblicazione, ha raggiunto lo stato dell'arte in centinaia di attività NLP.
Chinese: 发布时，它在数百个 NLP 任务中实现了最一流的成果。
English: In this work, we present the first systematic study of large language model prompting for machine translation.
German: In dieser Arbeit stellen wir die erste systematische Studie über Prompts in Large Language Models für die maschinelle Übersetzung vor.
Italian: In questo lavoro, presentiamo il primo studio sistematico di prompting di grandi modelli linguistici per la traduzione automatica.
Chinese: 在这篇论文中，我们展示了大语言模型提示机器翻译的首个系统性研究。
English: We evaluated the transition capability of such models using the best practices of the MT community.
German: Wir haben die Übertragbarkeit dieser Modelle auf der Grundlage der Best Practices der MT-Community bewertet.
Italian: Abbiamo valutato la capacità di transizione di tali modelli utilizzando le migliori pratiche della comunità MT.
Chinese: 我们使用机器翻译社区的最佳实践来评估这种模型的转换能力。
English: This involves using the latest test sets to avoid an overlap of the test data with the training data of the language model.
German: Dazu gehört die Verwendung der neuesten Testsätze, um Überschneidungen zwischen den Testdaten und den Trainingsdaten der Sprachmodelle zu vermeiden.
Italian: Ciò comporta l'utilizzo dei set di test più recenti per evitare una sovrapposizione dei dati di test con i dati di addestramento del modello linguistico.
Chinese: 这涉及到使用最新的测试集，以避免测试数据与语言模型的训练数据重叠。
English: And we compared to state-of-the-art systems, so the best performing system, so the WMT evaluation.
German: Und wir haben sie mit Systemen verglichen, die dem neuesten Stand der Technik entsprechen, das heißt mit dem leistungsfähigsten System, der WMT-Evaluation.
Italian: E abbiamo eseguito un confronto con i sistemi all'avanguardia, quindi con il sistema più performante, sulla base della valutazione WMT.
Chinese: 我们还与最先进的系统进行了比较，即表现最佳的系统，进行了 WMT 评估。
English: We use state-of-the-art, neural MT metrics, and additionally also show expert-based human evaluation results.
German: Wir verwenden neuronale MT-Metriken, die dem neuesten Stand der Technik entsprechen, und zeigen zusätzlich die Ergebnisse der menschlichen Bewertung durch Experten.
Italian: Facciamo ricorso a metriche di MT neurale all'avanguardia e mostriamo i risultati della valutazione umana effettuata da esperti.
Chinese: 我们使用最先进的神经机器翻译指标，并展示了基于专家的人工评估结果。
English: Finally, we provide some recommendations for prompt selection strategies.
German: Abschließend geben wir einige Empfehlungen für Strategien zur Auswahl von Prompts ab.
Italian: Infine, forniamo alcune raccomandazioni per strategie di selezione rapida.
Chinese: 最后，我们提供了一些关于提示选择策略的建议。
English: The prompting has a big influence on the performance of the LLMs for translation, as we can see in a simple experiment, where we used one-shot prompting and provided two different prompts for each sentence.
German: Prompting hat einen großen Einfluss auf die Übersetzungsleistung von LLMs, wie ein einfaches Experiment mit One-Shot-Prompting zeigt, bei dem für jeden Satz zwei verschiedene Prompts ausgegeben wurden.
Italian: Il prompting ha una grande influenza sulle prestazioni dei LLM per la traduzione, come possiamo vedere in un semplice esperimento, in cui abbiamo utilizzato un prompting one-shot e fornito due diversi prompt per ogni frase.
Chinese: 提示对 LLM 的翻译性能有很大的影响，可以在一个简单的实验中看到，我们使用了一次性提示，并为每个句子提供了两个不同的提示。
English: The majority of sentences 516 out of 1,000.
German: Die Mehrheit der Sätze waren 516 von 1.000.
Italian: La maggior parte delle frasi, 516 su 1.000.
Chinese: 在 1000 个测试句子中，
English: The difference observed is of more than one BLEURT points.
German: Der beobachtete Unterschied betrug mehr als einen BLEURT-Punkt.
Italian: La differenza osservata non si limita al singolo punto BLEURT.
Chinese: 有 516 个的 BLEURT 评分相差超过 1 分。
English: And this can go, in extreme cases, up to 40 BLEURT points.
German: Im Extremfall können es bis zu 40 BLEURT-Punkte sein.
Italian: E questo può arrivare, in casi estremi, fino a 40 punti BLEURT.
Chinese: 在极端情况下，差异可能高达 40 个 BLEURT 分。
English: So, it's important to select a good prompting strategy.
German: Es ist also wichtig, eine gute Prompting-Strategie zu wählen.
Italian: Quindi, è importante selezionare una buona strategia di prompting.
Chinese: 因此，选择一个好的提示策略很重要。
English: In our experiments, we settled for a 5-shot prompting strategy where we just marked each sentence that we provide to the system, with the language it's in.
German: In unseren Experimenten haben wir uns für eine 5-Shot-Prompting-Strategie entschieden, bei der wir einfach jeden Satz, den wir dem System geben, mit der Sprache markieren, in der er geschrieben ist.
Italian: Nei nostri esperimenti, ci siamo accontentati di una strategia di prompting 5-shot in cui non abbiamo fatto altro che contrassegnare ogni frase messa a disposizione del sistema con la lingua in cui è elaborata.
Chinese: 在实验中，我们采用了 5 样本提示策略，我们只需用所使用的语言来标记我们提供给系统的每个句子。
English: So in this example here, where we perform translation from German into English, the German sentences, the source sentences, are marked with German colon and the English translations with English colon.
German: In diesem Beispiel, in dem wir vom Deutschen ins Englische übersetzen, sind also die deutschen Sätze, die Ausgangssätze, mit einem deutschen Doppelpunkt, und die englischen Übersetzungen mit einem englischen Doppelpunkt markiert.
Italian: Quindi, in questo esempio qui, dove eseguiamo la traduzione dal tedesco all'inglese, le frasi in tedesco, nella lingua di origine, sono contrassegnate con i due punti tedeschi e le traduzioni inglesi con i due punti inglesi.
Chinese: 在这个例子中，我们从德语翻译成英语，德语句子是源句子，用“German:”标记，英语翻译用“English:”标记。
English: We saw that the actual form of the prompting doesn't have a big influence in the case of several short promptings.
German: Wir haben gesehen, dass die Form des Prompts selbst keinen großen Einfluss hat, wenn es mehrere kurze Prompts gibt.
Italian: Abbiamo visto che la forma effettiva del prompt non ha una grande influenza nel caso di svariati prompt brevi.
Chinese: 我们看到，在几个简短提示的情况下，提示的实际格式没有很大的影响。
English: It's crucial for zero and one-shot prompting.
German: Bei Null- und One-Shot-Prompts ist sie entscheidend.
Italian: Ciò si rivela fondamentale per i prompt zero-shot e one-shot.
Chinese: 但对于零样本和单样本提示来说，提示格式至关重要。
English: And when we go, as in our case, to five-shot prompting, there is nearly no difference to the actual form of the prompting.
German: Und wenn wir, wie in unserem Fall, zu Five-Shot-Prompts übergehen, gibt es fast keinen Unterschied in der Form des Prompts selbst.
Italian: E quando operiamo con cinque prompt, come nel nostro caso, non emerge quasi alcuna differenza con la forma effettiva del prompting.
Chinese: 而当我们进行五次提示时，提示格式影响不大。
English: It's the examples that carry most of the weight.
German: Die Beispiele haben das größte Gewicht.
Italian: Si tratta degli esempi che portano la maggior parte del peso.
Chinese: 示例句子的质量才是关键因素。
English: The summary of our experimental results is that the example quality is more important than the similarity to the source sentence.
German: Zusammenfassend kann gesagt werden, dass die Qualität des Beispiels wichtiger ist als seine Ähnlichkeit mit dem Ausgangssatz.
Italian: La sintesi dei nostri risultati sperimentali è che la qualità dell'esempio è più importante della somiglianza con la frase di origine.
Chinese: 我们实验结果的总结是，示例质量比与源句子的相似性更重要。
English: So it's important to select the examples from high-quality translations.
German: Daher ist es wichtig, Beispiele aus qualitativ hochwertigen Übersetzungen auszuwählen.
Italian: Quindi è importante selezionare gli esempi da traduzioni di alta qualità.
Chinese: 因此，从高质量的翻译中选择示例非常重要。
English: In particular, we compare the selecting prompts from the training data for the WMT evaluations on the dev data.
German: Wir vergleichen insbesondere die Auswahlprompts der Trainingsdaten für die WMT-Auswertungen mit den Dev-Daten.
Italian: In particolare, confrontiamo i prompt di selezione dai dati di addestramento per le valutazioni WMT sui dati di sviluppo.
Chinese: 特别是，我们比较了从训练数据中选择的提示，用于开发数据上的 WMT 评估。
English: The dev data is much more curated, and with higher quality than the training data, that it's more noisy.
German: Die Dev-Daten sind sehr viel stärker kuratiert und von höherer Qualität als die Trainingsdaten, das heißt sie sind stärker mit Rauschen durchsetzt.
Italian: I dati di sviluppo sono molto più curati e di qualità superiore rispetto ai dati di addestramento, che invece sono più rumorosi.
Chinese: 开发数据经过更多的处理，质量比训练数据更高，噪音更大。
English: And their results so a better performance when using the dev data.
German: Daher sind die Ergebnisse besser, wenn die Dev-Daten verwendet werden.
Italian: E i loro risultati offrono prestazioni migliori quando si utilizzano i dati di sviluppo.
Chinese: 使用开发数据时，其结果表现更好。
English: Nevertheless, specialized state-of-the-art systems have a substantial advantage over the PaLM translations.
German: Dennoch haben spezialisierte State-of-the-Art-Systeme einen klaren Vorteil gegenüber PaLM-Übersetzungen.
Italian: Tuttavia, i sistemi specializzati all'avanguardia presentano un vantaggio sostanziale rispetto alle traduzioni PaLM.
Chinese: 尽管如此，相对于 PaLM，专业的最先进系统仍然具有巨大的翻译优势。
English: But, PaLM comes pretty close to a commercial system.
German: Aber PaLM kommt einem kommerziellen System sehr nahe.
Italian: PaLM si avvicina abbastanza a un sistema commerciale.
Chinese: 但是，PaLM 已经非常接近商业系统。
English: In our case, we chose to evaluate with Google Translate.
German: In unserem Fall haben wir uns für eine Bewertung mit Google Translate entschieden.
Italian: Nel nostro caso, abbiamo scelto di procedere alla valutazione con Google Translate.
Chinese: 在我们的案例中，我们选择使用谷歌翻译进行评估。
English: The insights that we gained from the human evaluation that we performed using the MQM framework said that the fluency of PaLM is comparable to state-of-the-art systems but the main difference comes from the accuracy.
German: Die Ergebnisse der menschlichen Evaluierung, die wir mithilfe des MQM-Frameworks durchgeführt haben, zeigen, dass PaLM in der Flüssigkeit mit den modernsten Systemen vergleichbar ist, der Hauptunterschied jedoch in der Genauigkeit liegt.
Italian: Le intuizioni acquisite dalla valutazione umana che abbiamo eseguito utilizzando il framework MQM ci hanno fatto scoprire che la fluidità di PaLM è paragonabile ai sistemi all'avanguardia, ma la differenza principale deriva in particolare dalla precisione.
Chinese: 我们从使用 MQM 框架进行的人工评估中获得的见解表明，PaLM 的流畅度可与最先进的系统相媲美，但主要区别是准确性。
English: So, in particular, the most common errors are omission errors.
German: Insbesondere sind die häufigsten Fehler Auslassungsfehler.
Italian: Quindi, gli errori più comuni sono quelli di omissione.
Chinese: PaLM 最常见的错误是遗漏错误。
English: So, it seems that PaLM chooses to produce a better-sounding translation, sometimes by dropping parts of the source sentence that are made in translation.
German: Es scheint also, dass PaLM eine besser klingende Übersetzung erstellt, indem es manchmal Teile des Ausgangssatzes in der Übersetzung weglässt.
Italian: Sembra che PaLM scelga di produrre una traduzione migliore, a volte tralasciando parti della frase di partenza che vengono fatte in traduzione.
Chinese: 因此，PaLM 似乎选择生成听起来更好的翻译，有时是通过删除源句子中的一部分来实现这一点。
English: However, the ""Style/Awkward"" category for PaLM is lower than for the state-of-the-art systems, which is an additional signal that PaLM provides really fluent output, but still with some problems of accuracy.
German: Allerdings ist die Kategorie „Stil/Schwierigkeit“ für PaLM niedriger als für die modernsten Systeme, was ein weiteres Signal dafür ist, dass PaLM eine wirklich flüssige Ausgabe liefert, aber immer noch einige Probleme bei der Genauigkeit bestehen.
Italian: Tuttavia, la categoria "Style/Awkward" per PaLM è inferiore rispetto ai sistemi all'avanguardia, il che è un segnale ulteriore che PaLM fornisce un output realmente fluente, ma ancora contraddistinto da alcuni problemi di precisione.
Chinese: 然而，PaLM 的“风格/笨拙”类别低于最先进的系统，这是一个额外的信号，表明 PaLM 提供了真正流畅的输出，但仍然存在一些准确性问题。
English: And that's it for this really short overview.
German: Und das war‘s für diesen wirklich kurzen Überblick.
Italian: E questo è tutto per ora.
Chinese: 这就是本次简短概述的全部内容。
English: For more details, please come to the full presentation of the paper.
German: Weitere Details finden Sie in der vollständigen Präsentation der Arbeit.
Italian: Per maggiori dettagli, siete invitati a partecipare alla presentazione completa dell'articolo.
Chinese: 如需了解更多详细信息，请查看论文的完整演示文稿。
English: Thank you very much."
German: Vielen Dank.
Italian: Grazie mille."
Chinese: 非常感谢。
English: "Hello everyone, I'm Akshatha, and today my co-author Martin and I are presenting our work ""The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources.""
German: Hallo zusammen, ich bin Akshatha und heute stellen mein Co-Autor Martin und ich unsere Arbeit „The KITMUS Test: Assessing Knowledge Integration from Multiple Sources“ vor.
Italian: "Ciao a tutti, sono Akshatha, e oggi io e il mio coautore Martin presentiamo il nostro lavoro "The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources".
Chinese: 大家好，我是 Akshatha，今天我和我的合著者 Martin 将介绍我们的论文《KITMUS 测试：评估来自多个来源的知识整合》。
English: This work is a collaboration between McGill University, Mila, and Microsoft Research.
German: Diese Arbeit ist eine Kooperation zwischen der McGill University, Mila und Microsoft Research.
Italian: Questo lavoro è una collaborazione tra McGill University/Mila e Microsoft Research.
Chinese: 研究是麦吉尔大学/Mila 和微软研究院之间的合作成果。
English: Natural language understanding models draw on a variety of knowledge sources, such as knowledge contained in their parameters, usually acquired by a pretraining, and knowledge given in inputs at inference time.
German: Modelle zum Verstehen natürlicher Sprache stützen sich auf eine Vielzahl von Wissensquellen, zum Beispiel das in ihren Parametern enthaltene Wissen, das normalerweise durch vorheriges Training erworben wird, und das Wissen, das in den Eingaben zur Inferenzzeit enthalten ist.
Italian: I modelli di comprensione del linguaggio naturale attingono a una varietà di fonti di conoscenza, come la conoscenza contenuta nei loro parametri, di solito acquisita da un pre-addestramento, e la conoscenza fornita negli input al momento dell'inferenza.
Chinese: 自然语言理解模型利用多种知识来源，例如通常包含预训练获得的参数中包含的知识，以及在推理时输入的知识。
English: Recent works in tasks like question answering show that models can use pretrained-time knowledge to solve the task.
German: Jüngste Arbeiten zu Aufgaben wie dem Beantworten von Fragen haben gezeigt, dass Modelle vortrainiertes Wissen nutzen können, um die jeweilige Aufgabe zu lösen.
Italian: Lavori recenti in attività come la risposta alle domande mostrano che i modelli possono utilizzare la conoscenza del tempo pre-addestrato per risolvere l'attività.
Chinese: 最近在问答等任务中的研究表明，模型可以使用预训练时期的知识来解决任务。
English: But natural language understanding often requires knowledge that is also supplied at inference time.
German: Das Verstehen natürlicher Sprache erfordert jedoch häufig Wissen, das auch während der Inferenzzeit zur Verfügung steht.
Italian: Ma la comprensione del linguaggio naturale richiede spesso conoscenze che vengono fornite anche al momento dell'inferenza.
Chinese: 但是，自然语言理解通常需要在推理时提供的知识。
English: For example, in the sentence, ""John saw the newly elected president on TV.""
German: Zum Beispiel in dem Satz „John hat den neu gewählten Präsidenten im Fernsehen gesehen“.
Italian: Ad esempio, nella frase "John ha visto il presidente appena eletto in TV".
Chinese: 例如，在“John saw the newly elected president on TV.”（John 在电视上看到了新当选的总统）这句话中。
English: Pretrained parameters can contain information about what presidents do and what a TV is but they cannot reliably know who this instance-specific entity ""John"" is, or who the new president is, because the president might have changed since pretraining.
German: Vortrainierte Parameter können Informationen darüber enthalten, was Präsidenten tun und was ein Fernseher ist, aber sie können nicht zuverlässig wissen, wer diese instanzspezifische Entität „John“ ist oder wer der neue Präsident ist, da sich der Präsident seit dem Vortraining geändert haben kann.
Italian: I parametri pre-addestrati possono contenere informazioni su ciò che fanno i presidenti e su cosa sia una TV, ma non possono sapere in modo affidabile chi sia questa entità specifica dell'istanza "John", o chi sia il nuovo presidente, perché il presidente potrebbe essere cambiato dopo il pre-addestramento.
Chinese: 预训练参数可以包含关于总统的工作以及电视是什么的信息，但它们无法可靠地知道这个实例特定的实体“John”是谁，或者新总统是谁，因为自预训练以来，总统可能已经发生了变化。
English: Therefore, successful models for knowledge-intensive NLU tasks require the ability to integrate and use both pretrain-time and inference-time knowledge.
German: Erfolgreiche Modelle für wissensintensive NLU-Aufgaben erfordern daher die Fähigkeit, sowohl das Wissen zum Zeitpunkt des Vortrainings als auch das Wissen zur Inferenzzeit zu integrieren und zu nutzen.
Italian: Pertanto, i modelli di successo per le attività di NLU ad alta intensità di conoscenza richiedono la capacità di integrare e utilizzare sia la conoscenza pre-allenamento che quella al momento dell'inferenza.
Chinese: 因此，成功的知识密集型 NLU 任务模型需要具备整合和使用预训练时期的能力和推理时期知识的能力。
English: In this work, we propose a diagnostic test suite for knowledge integration.
German: In dieser Arbeit schlagen wir eine diagnostische Testsuite für die Wissensintegration vor.
Italian: In questo lavoro, proponiamo una suite di test diagnostici per l'integrazione della conoscenza.
Chinese: 在本文中，我们提出了一个用于知识整合的诊断测试套件。
English: We introduce a coreference resolution task, designed to probe for the ability to draw on knowledge available in different sources.
German: Wir führen eine Koreferenz-Auflösungsaufgabe ein, um die Fähigkeit zu testen, auf Wissen aus verschiedenen Quellen zuzugreifen.
Italian: Introduciamo un'attività di risoluzione della coreferenza, progettata per sondare la capacità di attingere alle conoscenze disponibili in diverse fonti.
Chinese: 我们引入了一个共指消解任务，旨在探索利用不同来源中可用知识的能力。
English: We evaluate the data set with human study participants and established coreference resolution models.
German: Wir evaluieren den Datensatz mit menschlichen Teilnehmern und etablierten Modellen zur Koreferenzauflösung.
Italian: Valutiamo il set di dati con partecipanti allo studio umano e modelli di risoluzione della coreferenza stabiliti.
Chinese: 我们使用人类研究参与者和已建立的共指消解模型来评估数据集。
English: Here is an example from our data set.
German: Hier ein Beispiel aus unserem Datensatz.
Italian: Ecco un esempio dal nostro set di dati.
Chinese: 以下是我们数据集的一个例子。
English: Servin is a judge.
German: Servin ist Richter.
Italian: Servin è un giudice.
Chinese: Servin 是一名法官。
English: Kea is a Baker.
German: Kea ist Bäcker.
Italian: Kea è un fornaio.
Chinese: Kea 是一名面包师。
English: Servin and Kea met at a park.
German: Servin und Kea trafen sich in einem Park.
Italian: Servin e Kea si sono incontrati in un parco.
Chinese: Servin 和 Kea 在公园相遇。
English: After a long day at work deciding cases in a law court, he was happy to relax.
German: Nach einem langen Arbeitstag, an dem er Fälle vor Gericht verhandelt hat, wollte er sich entspannen.
Italian: Lui era felice di rilassarsi dopo una lunga giornata di lavoro trascorsa a prendere decisioni sui casi in tribunale.
Chinese: 在法庭上审理一天案件后，他很高兴能够放松一下。
English: The task here is to identify the correct entity that the pronoun ""he"" refers to, which in this case is Servin.
German: Die Aufgabe besteht darin, die richtige Entität zu identifizieren, auf die sich das Pronomen „er“ bezieht, in diesem Fall Servin.
Italian: Il compito qui è identificare l'entità corretta a cui si riferisce il pronome "lui", che in questo caso è Servin.
Chinese: 这里的任务是确定代词“he”指代的正确实体，在这一示例中，指代的是 Servin。
English: The resolution of a given pronoun requires two types of information.
German: Die Auflösung eines bestimmten Pronomens erfordert zwei Arten von Informationen.
Italian: La risoluzione di un dato pronome richiede due tipi di informazioni.
Chinese: 要解决代词问题，我们需要两类信息。
English: First, entity-specific knowledge such as ""Servin is a judge.""
German: Erstens entitätsspezifisches Wissen wie „Servin ist Richter“.
Italian: In primo luogo, la conoscenza specifica dell'entità, ad esempio "Servin è un giudice".
Chinese: 首先是关于实体的知识，例如“Servin 是一名法官。”
English: And second, background knowledge such as ""Judges decide cases in law courts.""
German: Und zweitens Hintergrundwissen wie „Richter entscheiden Fälle in Gerichten“.
Italian: E, in secondo luogo, conoscenze di base come "I giudici emettono sentenze sui casi in tribunale".
Chinese: 其次是背景知识，例如“法官在法庭上对案件做出裁决。”
English: Generally, background knowledge is learned during the pretraining of large language models, while entity-specific knowledge is typically observed at inference time.
German: Im Allgemeinen wird das Hintergrundwissen während des Vortrainings von Large Language Models erworben, während das entitätsspezifische Wissen typischerweise zum Zeitpunkt der Inferenz beobachtet wird.
Italian: In generale, la conoscenza di base viene appresa durante il pre-addestramento di grandi modelli linguistici, mentre la conoscenza specifica dell'entità viene di norma osservata al momento dell'inferenza.
Chinese: 一般来说，背景知识是在大语言模型的预训练过程中学习的，而特定于实体的知识通常是在推理时观察到的。
English: We vary the availability of these two pieces of information such that it may either be found in a single source, or in multiple sources.
German: Wir variieren die Verfügbarkeit dieser beiden Arten von Informationen, sodass sie entweder in einer einzigen Quelle oder in mehreren Quellen gefunden werden können.
Italian: Variamo la disponibilità di queste due informazioni in modo che possano essere trovate in un'unica fonte o in più fonti.
Chinese: 我们改变这两种信息的可用性，使其可以在单一来源或多个来源中找到。
English: We have defined three settings of KITMUS.
German: Wir haben drei Einstellungen für KITMUS definiert.
Italian: Abbiamo definito tre impostazioni di KITMUS.
Chinese: 我们定义了 KITMUS 的三种设置。
English: First, we have the typical setting: ""Background-Pretrain"", where background knowledge is assumed to be available at pretrain time.
German: Erstens haben wir die typische Einstellung „Background-Pretrain“, bei der wir davon ausgehen, dass das Hintergrundwissen zum Zeitpunkt des Vortrainings verfügbar ist.
Italian: In primo luogo, abbiamo l'impostazione tipica: "Background-Pretrain", in cui si presume che la conoscenza di base sia disponibile al momento del pre-addestramento.
Chinese: 首先，我们有典型的设置：“背景-预训练”，其中背景知识被认为是在预训练时可用的。
English: Second, there's a ""Background-Both"" setting, where background knowledge is available both at pretrain time and inference time.
German: Zweitens gibt es die Einstellung „Background-Both“, bei der das Hintergrundwissen sowohl zum Zeitpunkt des Vortrainings als auch zum Zeitpunkt der Inferenz verfügbar ist.
Italian: In secondo luogo, c'è un'impostazione "Background-Both", in cui la conoscenza di base è disponibile sia al momento del pre-addestramento che al momento dell'inferenza.
Chinese: 其次，有一个“背景-两者”设置，其中背景知识在预训练时和推理时都可用。
English: Lastly, the ""Background-Inference"" setting, where both knowledge types are available only at inference time.
German: Schließlich gibt es noch die Einstellung „Background-Inference“, bei der beide Arten von Wissen nur zum Zeitpunkt der Inferenz verfügbar sind.
Italian: Infine, l'impostazione "Background-Inference", in cui entrambi i tipi di conoscenza sono disponibili solo al momento dell'inferenza.
Chinese: 最后，“背景-推理”设置，其中两种知识类型仅在推理时可用。
English: This last setting is especially interesting, since it simulates the case where the background knowledge necessary to solve a task is not part of the pretrain data of models.
German: Dieser letzte Parameter ist von besonderem Interesse, da er den Fall simuliert, dass das für die Lösung einer Aufgabe erforderliche Hintergrundwissen in den Vortrainingsdaten der Modelle nicht enthalten ist.
Italian: Quest'ultima impostazione è particolarmente interessante, poiché simula il caso in cui la conoscenza di base necessaria per risolvere un compito non fa parte dei dati di pre-addestramento dei modelli.
Chinese: 最后一个设置特别有趣，因为它模拟了解决任务所需的背景知识不是模型预训练数据一部分的情况。
English: For example, because new occupations have developed since the time of pretraining.
German: Zum Beispiel, weil sich seit der Zeit des Vortrainings neue Berufe herausgebildet haben.
Italian: Ad esempio, perché dal momento del pre-addestramento si sono sviluppate nuove occupazioni.
Chinese: 例如，因为自预训练以来出现了新的职业。
English: Here's an example of how we control the availability of facts in the true sources.
German: Hier ist ein Beispiel dafür, wie wir die Verfügbarkeit von Fakten in realen Quellen kontrollieren.
Italian: Ecco un esempio di come controlliamo la disponibilità dei fatti nelle fonti vere.
Chinese: 以下是一个例子，说明我们如何控制真实来源中事实的可用性。
English: In the Background-Pretrain setting, we assume that the background knowledge ""Politicians seek elected seats in government"" is contained in the pretrained parameters and in inference-time context we provide the entity-specific knowledge ""Chichester is a politician.""
German: In der Einstellung Background-Pretrain nehmen wir an, dass das Hintergrundwissen „Politiker streben nach gewählten Sitzen in der Regierung“ in den vortrainierten Parametern enthalten ist, und im Kontext der Inferenzzeit liefern wir das entitätsspezifische Wissen „Chichester ist ein Politiker“.
Italian: Nell'impostazione Background-Pretrain, si presume che la conoscenza di base "I politici cercano seggi elettivi nel governo" sia contenuta nei parametri pre-addestrati e nel contesto del tempo di inferenza si fornisce la conoscenza specifica dell'entità "Chichester è un politico".
Chinese: 在“背景-预训练”设置中，我们假设“政治家寻求在政府中获得选举席位”这一背景知识包含在预训练参数中，并在推理时提供实体特定知识“Chichester 是一位政治家”。
English: In the Background-Both setting, we additionally provide not only entity-specific but also background knowledge about politicians in their inference-time context.
German: In der Einstellung Background-Both liefern wir nicht nur entitätsspezifisches Wissen, sondern auch Hintergrundwissen über Politiker im Kontext der Inferenzzeit.
Italian: Nell'impostazione Background-Both, forniamo inoltre non solo conoscenze specifiche dell'entità, ma anche conoscenze di base sui politici nel loro contesto di inferenza.
Chinese: 在“背景-两者”设置中，我们不仅提供实体特定的知识，而且还提供关于政治家的背景知识，以供推理时使用。
English: In the Background-Inference setting, we provide the fictional occupation ""mirituer"" instead of politician because ""mirituer"" is unlikely to be contained in the pretrained parameters.
German: In der Einstellung Background-Inference stellen wir den fiktiven Beruf „Mirituer“ anstelle von „Politiker“ zur Verfügung, da es unwahrscheinlich ist, dass „Mirituer“ in den vortrainierten Parametern enthalten ist.
Italian: Nell'impostazione Background-Inference, forniamo l'occupazione fittizia "mirituer" invece di politico perché è improbabile che "mirituer" sia contenuto nei parametri pre-addestrati.
Chinese: 在“背景-推理”设置中，我们提供了虚构的职业“mirituer”而不是政治家，因为“mirituer”不太可能包含在预训练的参数中。
English: We evaluate the data set both with human study participants, and established coreference resolution models.
German: Wir evaluieren den Datensatz sowohl mit menschlichen Teilnehmern als auch mit etablierten Modellen zur Koreferenzauflösung.
Italian: Valutiamo il set di dati sia con i partecipanti allo studio umano sia con i modelli di risoluzione della coreferenza stabiliti.
Chinese: 我们使用人类研究参与者和已建立的共指消解模型来评估数据集。
English: In this figure, we show the results of the best-performing models on the most difficult variant of the Background-Pretrain setting.
German: In dieser Abbildung zeigen wir die Ergebnisse der leistungsstärksten Modelle für die schwierigste Variante der Einstellung Background-Pretrain.
Italian: In questa figura, mostriamo i risultati dei modelli con le migliori prestazioni sulla variante più complessa dell'impostazione Background-Pretrain.
Chinese: 在这张图中，我们展示了表现最佳的模型在“背景-预训练”设置中最困难变体上的结果。
English: Without task-specific training on KITMUS, both models do not perform well.
German: Ohne aufgabenspezifisches Training auf KITMUS schneiden beide Modelle nicht gut ab.
Italian: Senza un addestramento specifico per l'attività su KITMUS, entrambi i modelli non operano adeguatamente.
Chinese: 如果没有在 KITMUS 上进行特定任务的训练，两个模型都表现不佳。
English: When trained on KITMUS, however, both C2F and BERT4Coref perform significantly better than the random choice.
German: Wenn sie jedoch auf KITMUS trainiert werden, schneiden sowohl C2F als auch BERT4Coref deutlich besser ab als die Zufallsauswahl.
Italian: Quando addestrati su KITMUS, tuttavia, sia C2F che BERT4Coref funzionano notevolmente meglio della scelta casuale.
Chinese: 然而，当在 KITMUS 上训练后，C2F 和 BERT4Coref 的表现都明显优于随机情况。
English: This suggests that when trained on generic reference resolution data sets, most learn to exploit surface cues, which are not useful when testing on KITMUS where such queues have been removed.
German: Dies deutet darauf hin, dass die meisten Modelle, wenn sie auf generischen Referenzauflösungsdatensätzen trainiert werden, lernen, Oberflächenhinweise zu verwenden, die nicht nützlich sind, wenn sie auf KITMUS getestet werden, bei denen solche Hinweise entfernt wurden.
Italian: Ciò suggerisce che, quando vengono addestrati su set di dati di risoluzione di riferimento generici, la maggior parte impara a sfruttare gli spunti superficiali che non sono utili quando si eseguono test su KITMUS, dove tali code sono state rimosse.
Chinese: 这表明，当在通用参考分辨率数据集上进行训练时，大多数都学会利用表面线索，而当在已删除此类线索的 KITMUS 上进行测试时，这些线索就不再有用。
English: Additional experiments with fictional knowledge indicated even the best performing models, cannot reliably integrate backward knowledge provided only at inference time.
German: Zusätzliche Experimente mit fiktivem Wissen haben gezeigt, dass selbst die leistungsfähigsten Modelle nicht in der Lage sind, retrospektives Wissen zum Zeitpunkt der Inferenz zuverlässig zu integrieren.
Italian: Ulteriori esperimenti con conoscenza fittizia hanno indicato che anche i modelli con le migliori prestazioni non possono integrare in modo affidabile la conoscenza retrospettiva fornita solo al momento dell'inferenza.
Chinese: 使用虚构知识的其他实验表明，即使是表现最好的模型，也无法可靠地整合仅在推理时提供的反向知识。
English: To summarize the main takeaways of our paper, many coreference resolution models appear unable to reason over knowledge from different sources without task-specific training.
German: Um die wichtigsten Ergebnisse unserer Arbeit zusammenzufassen: Viele Modelle zur Koreferenzauflösung scheinen ohne aufgabenspezifisches Training nicht in der Lage zu sein, Wissen aus verschiedenen Quellen zu verarbeiten.
Italian: Per riassumere i principali punti del nostro articolo, molti modelli di risoluzione della coreferenza sembrano incapaci di ragionare sulla conoscenza proveniente da fonti diverse senza un addestramento specifico per l'attività.
Chinese: 我们论文的主要结论是，许多共指消解模型似乎无法在没有特定任务训练的情况下对来自不同来源的知识进行推理。
English: However, with task-specific training, some models successfully integrate knowledge from multiple sources.
German: Mit aufgabenspezifischem Training gelingt es jedoch einigen Modellen, Wissen aus verschiedenen Quellen zu integrieren.
Italian: Tuttavia, con un addestramento specifico per l'attività, alcuni modelli integrano con successo le conoscenze provenienti da più fonti.
Chinese: 然而，通过特定任务的训练，一些模型成功地整合了来自多个来源的知识。
English: Still, even the best-performing models seem to have difficulties with reliably integrating backward knowledge presented only at inference time.
German: Allerdings scheinen selbst die leistungsfähigsten Modelle Schwierigkeiten zu haben, retrospektives Wissen, das erst zum Zeitpunkt der Inferenz präsentiert wird, zuverlässig zu integrieren.
Italian: Tuttavia, anche i modelli con le migliori prestazioni sembrano avere difficoltà a integrare in modo affidabile la conoscenza retrospettiva presentata solo al momento dell'inferenza.
Chinese: 尽管如此，即使是表现最好的模型，也似乎难以可靠地整合仅在推理时呈现的反向知识。
English: If you're interested in more details, please see our paper and check out the data set and code on GitHub.
German: Wenn Sie an weiteren Details interessiert sind, lesen Sie bitte unsere Arbeit und schauen Sie sich den Datensatz und den Code auf GitHub an.
Italian: Se siete interessati a maggiori dettagli, consultate il nostro articolo e date un'occhiata al set di dati e al codice su GitHub.
Chinese: 如果你希望了解更多细节，请参阅我们的论文，并在 GitHub 上查看数据集和代码。
English: Hello, I'm James Finch.
German: Hallo, ich bin James Finch.
Italian: "Ciao, sono James Finch.
Chinese: 大家好，我是 James Finch。
English: And I'm Sarah Finch.
German: Und ich bin Sarah Finch.
Italian: E io sono Sarah Finch.
Chinese: 我是 Sarah Finch。
English: And today we'll tell you all about ABC-Eval, a new dimensional approach to evaluating conversational AI.
German: Heute stellen wir Ihnen ABC-Eval vor, einen neuen dimensionalen Ansatz zur Evaluierung konversationaler KI.
Italian: Oggi vi diremo tutto su ABC-Eval, un nuovo approccio dimensionale per valutare l'IA conversazionale.
Chinese: 今天，我们将向大家介绍 ABC-Eval，这是一种用于评估对话型 AI 的新型方法。
English: This work was done by the Emory NLP Lab led by Professor Jinho Choi at Emory University and in collaboration with Amazon Alexa AI.
German: Diese Arbeit wurde vom Emory NLP Lab unter der Leitung von Professor Jinho Choi an der Emory University in Zusammenarbeit mit Amazon Alexa AI durchgeführt.
Italian: Questo lavoro è stato svolto dall'Emory NLP Lab guidato dal professor Jinho Choi presso la Emory University e in collaborazione con Amazon Alexa AI.
Chinese: 这项研究是由埃默里大学 Jinho Choi 教授领导的埃默里 NLP 实验室与 Amazon Alexa AI 合作完成的。
English: So let's say that you just developed a dialogue model and you want to see how well it compares against the current state-of-the-art.
German: Angenommen, Sie haben gerade ein Dialogmodell entwickelt und möchten wissen, wie gut es im Vergleich zum aktuellen Stand der Technik abschneidet.
Italian: Dunque, supponiamo che abbiate appena sviluppato un modello di dialogo e vogliate vedere come si confronta con lo stato dell'arte attuale.
Chinese: 假设你刚刚开发了一个对话模型，你想看看它与当前最先进技术相比的表现如何。
English: The common practice is to use human evaluation, such as by asking human judges to select which of two conversations is better or to rate conversations given a Likert scale.
German: Ein gängiger Ansatz ist die Verwendung menschlicher Bewertungen, zum Beispiel indem menschliche Gutachter entscheiden, welcher von zwei Dialogen besser ist, oder indem Dialoge auf einer Likert-Skala bewertet werden.
Italian: La pratica comune è quella di utilizzare la valutazione umana, ad esempio chiedendo ai giudici umani di selezionare quale delle due conversazioni è migliore o di valutare le conversazioni in base a una scala Likert.
Chinese: 常见的做法是使用人工评估，例如，让人类评估者选择两个对话中哪一个更好，或者使用李克特量表对对话进行评分。
English: These approaches work well to provide holistic evaluations of overall dialogue quality, but dialogue quality has many aspects.
German: Diese Ansätze sind gut geeignet, um eine ganzheitliche Bewertung der Gesamtqualität des Dialogs vorzunehmen, aber die Dialogqualität hat viele Aspekte.
Italian: Questi approcci funzionano bene per fornire valutazioni olistiche della qualità complessiva del dialogo, ma la qualità del dialogo presenta molti aspetti.
Chinese: 这些方法可以很好地提供对话质量的整体评估，但对话质量包括很多方面。
English: Therefore, you might want to evaluate multiple dimensions of chat quality to understand the strengths and weaknesses of the model on a finer-grained level.
German: Daher kann es sinnvoll sein, mehrere Dimensionen der Gesprächsqualität zu bewerten, um die Stärken und Schwächen des Modells auf einer feingliedrigeren Ebene zu verstehen.
Italian: Pertanto, l'intenzione potrebbe essere quella di valutare più dimensioni della qualità della chat per comprendere i punti di forza e di debolezza del modello a un livello più dettagliato.
Chinese: 因此，你可能需要评估聊天质量的多个维度，以便更细致地了解模型的优缺点。
English: One approach is to simply ask human judges to evaluate several dimensions of dialogue quality, such as the relevance of model responses using existing comparative or Likert scale methods.
German: Ein Ansatz besteht darin, einfach menschliche Gutachter zu bitten, mehrere Dimensionen der Dialogqualität zu bewerten, wie zum Beispiel die Relevanz der Modellantworten unter Verwendung bestehender vergleichender oder Likert-Skala-Methoden.
Italian: Un approccio consiste nella semplice richiesta ai giudici umani di valutare diverse dimensioni della qualità del dialogo, come la pertinenza delle risposte del modello, attraverso metodi comparativi o di scala Likert esistenti.
Chinese: 一种方法是简单地让人类评估者评估对话质量的几个方面，例如使用现有的比较或李克特量表方法来评估模型回答的相关性。
English: However, we believe there is a more precise and reliable strategy for dimensional dialogue evaluation.
German: Wir glauben jedoch, dass es eine genauere und zuverlässigere Strategie für die dimensionale Bewertung von Dialogen gibt.
Italian: Tuttavia, riteniamo che esista una strategia più precisa e affidabile per la valutazione del dialogo dimensionale.
Chinese: 然而，我们认为有一种更精确可靠的对话评估策略。
English: Our approach attempts to reduce the subjectivity of human evaluation by explicitly annotating whether or not each model response expresses certain behaviors, such as responding with irrelevant information or contradicting itself.
German: In unserem Ansatz versuchen wir, die Subjektivität der menschlichen Evaluierung zu reduzieren, indem wir explizit annotieren, ob jede Modellantwort bestimmte Verhaltensweisen ausdrückt, wie zum Beispiel mit irrelevanter Information antwortet oder sich selbst widerspricht.
Italian: Il nostro approccio tenta di ridurre la soggettività della valutazione umana annotando esplicitamente se ogni risposta del modello esprime o meno determinati comportamenti, come risposte con informazioni irrilevanti o contraddizioni.
Chinese: 我们的方法试图通过明确注释每个模型响应是否表达某些行为来减少人工评估的主观性，例如用不相关的信息回复或自相矛盾。
English: We call this approach annotating behaviors in chat or ABC-Eval in short.
German: Wir nennen diesen Ansatz Annotation von Verhaltensweisen im Chat oder kurz ABC-Eval.
Italian: Chiamiamo questo approccio annotazione dei comportamenti in chat, ABC-Eval in breve.
Chinese: 我们称这种方法为对话中的注释行为，简称 ABC-Eval。
English: We developed this method to comprehensively cover chat model behaviors that have been suggested to affect chat quality in recent literature.
German: Wir haben diese Methode entwickelt, um die Verhaltensweisen von Chatmodellen umfassend zu erfassen, von denen in der neueren Literatur angenommen wird, dass sie die Chatqualität beeinflussen.
Italian: Abbiamo sviluppato questo metodo per coprire in modo completo i comportamenti del modello di chat che, secondo la letteratura recente, influenzano la qualità della chat stessa.
Chinese: 我们开发这种方法，目的是全面涵盖最近文献中已被认为影响聊天质量的聊天模型行为。
English: ABC-Eval is capable of measuring the rates at which chat models will commit various thematic errors.
German: ABC-Eval ist in der Lage, die Rate zu messen, mit der Chatmodelle verschiedene thematische Fehler begehen.
Italian: ABC-Eval è in grado di misurare le velocità con cui i modelli di chat commetteranno vari errori tematici.
Chinese: ABC-Eval 能够测量聊天模型犯下各种主题错误的速度。
English: For example, ABC-Eval measures the number of turns in which a chat model ignores its partner or says something irrelevant, contradicts itself or its partner, hallucinates incorrect facts or violates common sense knowledge, and when the model succeeds or fails to show empathy.
German: ABC-Eval misst beispielsweise die Anzahl der Runden, in denen ein Chatmodell seinen Partner ignoriert oder etwas Irrelevantes sagt, sich selbst oder seinem Partner widerspricht, falsche Tatsachen halluziniert oder gegen den gesunden Menschenverstand verstößt, und in denen es dem Modell gelingt oder misslingt, Empathie zu zeigen.
Italian: Ad esempio, ABC-Eval misura il numero di turni in cui un modello di chat ignora il suo partner o dice qualcosa di irrilevante, contraddice se stesso o il suo partner, immagina fatti errati o viola la conoscenza del buon senso, e quando il modello riesce o non riesce a mostrare empatia.
Chinese: 例如，ABC-Eval 可以衡量聊天模型忽略其对话者，或者说出不相关内容、自相矛盾或与对话者矛盾、幻觉不正确事实或违反常识知识的次数，以及模型成功或未能成功表现出同理心的次数。
English: To determine what kind of evaluation is most effective, we selected four state-of-the-art chat models and evaluated them on 100 human-bot conversations per model using ABC-Eval.
German: Um herauszufinden, welche Art der Evaluierung am effektivsten ist, haben wir vier hochmoderne Chat-Modelle ausgewählt und sie mit ABC-Eval anhand von 100 Mensch-Bot-Gesprächen pro Modell bewertet.
Italian: Per determinare quale tipo di valutazione sia più efficace, abbiamo selezionato quattro modelli di chat all'avanguardia e li abbiamo valutati su 100 conversazioni uomo-bot per modello utilizzando ABC-Eval.
Chinese: 为了确定哪种评估方式最为有效，我们选择了四种最先进的聊天模型，并使用 ABC-Eval 对每个模型的 100 次人机对话进行评估。