FBK-MT/MCIF-ST huggingface dataset:
English: "Hi, I'm Sara Papi from the University of Trento and Foundazione Bruno Kessler and I will briefly introduce the ""Attention as a Guide for Simultaneous Speech Translation"" paper, that is a joint work with Matteo Negri and Marco Turchi.
German: Hallo, ich bin Sara Papi von der Universität Trento und der Foundazione Bruno Kessler. Ich werde kurz den Artikel „Attention as a Guide for Simultaneous Speech Translation“ vorstellen, den ich zusammen mit Matteo Negri und Marco Turchi verfasst habe.
Italian: "Ciao, sono Sara Papi dell'Università di Trento e della Fondazione Bruno Kessler e vi presenterò brevemente il paper "Attention as a Guide for Simultaneous Speech Translation", frutto di un lavoro congiunto con Matteo Negri e Marco Turchi.
Chinese: 大家好，我是来自特伦托大学和布鲁诺·凯斯勒基金会的 Sara Papi，我将简要介绍《注意力作为同声传译的指南》论文，这是我与 Matteo Negri 和 Marco Turchi 合作编写的论文。
English: What is simultaneous speech translation?
German: Was ist Simultanübersetzung?
Italian: Che cos'è la traduzione simultanea vocale?
Chinese: 什么是同声传译？
English: Simultaneous speech translation, or SimulST, is the process of translating spoken language into a text in another language in real time, enabling cross-language communication.
German: Simultanübersetzung oder SimulST ist der Prozess, bei dem gesprochene Sprache in Echtzeit in einen Text in einer anderen Sprache übersetzt wird, um eine interlinguale Kommunikation zu ermöglichen.
Italian: La traduzione simultanea vocale, o SimulST, è il processo di traduzione in tempo reale della lingua parlata in un testo in un'altra lingua, che consente la comunicazione tra lingue.
Chinese: 同声传译，或 SimulST，是将口语实时翻译成另一种语言的文本的过程，目的是实现跨语言交流。
English: And what are the problems of the current SimulST models?
German: Und wo liegen die Probleme der aktuellen SimulST-Modelle?
Italian: E quali sono i problemi degli attuali modelli SimulST?
Chinese: 当前的 SimulST 模型有哪些问题？
English: Specific architectures are usually trained, introducing additional modules to be optimized.
German: In der Regel werden bestimmte Architekturen durch die Einführung zusätzlicher Module, die optimiert werden müssen, trainiert.
Italian: Di solito vengono addestrate architetture specifiche che introducono moduli aggiuntivi da ottimizzare.
Chinese: 通常需要对特定架构进行训练，引入额外的模块进行优化。
English: Long and complicated training procedures, for example, training involving different optimization objectives.
German: Lange und komplizierte Trainingsverfahren, z. B. Training mit verschiedenen Optimierungszielen.
Italian: Procedure di addestramento lunghe e complicate, ad esempio un addestramento che coinvolge diversi obiettivi di ottimizzazione.
Chinese: 训练过程又长又复杂，例如涉及不同优化目标的训练。
English: And training and maintaining several models to reach different latency regimes.
German: Und Training und Wartung mehrerer Modelle, um verschiedene Latenzzeiten zu erreichen.
Italian: O ancora, l'addestramento e il mantenimento di diversi modelli per raggiungere diversi regimi di latenza.
Chinese: 同时，为了达到不同的延迟目标，需要训练和维护多个模型。
English: For example, training a model with an average of one second latency and another one with two seconds latency, and so on.
German: Beispielsweise kann ein Modell mit einer durchschnittlichen Latenz von einer Sekunde, ein anderes mit einer Latenz von zwei Sekunden usw. trainiert werden.
Italian: Ad esempio, l'addestramento di un modello con una latenza media di un secondo e un altro con una latenza di due secondi, e così via.
Chinese: 例如，训练一个平均延迟为一秒的模型，另一个延迟为两秒的模型，以此类推。
English: So what is our solution?
German: Was ist also unsere Lösung?
Italian: Qual è la nostra soluzione?
Chinese: 那么我们的解决方案是什么呢？
English: First, to use already existing offline ST models without re-training or adopting specific architecture for SimulST.
German: Zunächst einmal verwenden wir bestehende Offline-ST-Modelle, ohne sie neu zu trainieren oder eine spezielle Architektur für SimulST einzuführen.
Italian: In primo luogo, utilizzare modelli ST offline già esistenti senza addestrare nuovamente né adottare un'architettura specifica per SimulST.
Chinese: 首先，使用已经存在的离线 ST 模型，而不需要重新训练或采用特定的 SimulST 架构。
English: Use only one model for every latency regime and handle latency through specific parameters.
German: Wir verwenden nur ein Modell für jede Latenzzeit und adressieren die Latenzzeit mit spezifischen Parametern.
Italian: Utilizzare un solo modello per ogni regime di latenza e gestire la latenza attraverso parametri specifici.
Chinese: 对每个延迟模式只使用一个模型，并通过特定参数来处理这些延迟。
English: And leverage the knowledge already acquired by the model through the attention mechanism between audio input and textual output.
German: Außerdem nutzen wir das Wissen, das das Modell bereits durch den Aufmerksamkeitsmechanismus zwischen Audioeingabe und Textausgabe erworben hat.
Italian: E sfruttare la conoscenza già acquisita dal modello attraverso il meccanismo di attenzione tra input audio e output testuale.
Chinese: 并通过音频输入和文本输出之间的注意力机制利用模型已经获得的知识。
English: That is the cross-attention mechanism, and you can see an example on the right.
German: Dies ist der Cross-Attention-Mechanismus. Rechts sehen Sie ein Beispiel.
Italian: Questo è il meccanismo di cross-attention: potete vederne un esempio sulla destra.
Chinese: 这就是交叉注意力机制，右边有一个示例。
English: Our solution is to propose EDAtt, or Encoder-Decoder Attention, and it is a strategy for which we decide whether to emit or not a partial translation, based on where attention points to.
German: Unsere Lösung heißt EDAtt, Encoder-Decoder Attention, und ist eine Strategie, bei der wir entscheiden, ob wir eine Teilübersetzung ausgeben oder nicht, je nachdem, wohin die Aufmerksamkeit gerichtet ist.
Italian: La nostra soluzione è proporre EDAtt, o Encoder-Decoder Attention, una strategia mediante la quale possiamo decidere se emettere o meno una traduzione parziale in base a dove punta l'attenzione.
Chinese: 我们的解决方案是提出 EDAtt，即编码器-解码器注意力机制，这是一种基于注意力指向来决定是否输出部分翻译的策略。
English: A word is emitted if the attention is not concentrated, that is, its sum is below a certain threshold alpha towards the last lambda speech frames, meaning that the received information is enough stable.
German: Ein Wort wird ausgegeben, wenn die Aufmerksamkeit nicht fokussiert ist, das heißt wenn seine Summe unter einem bestimmten Alpha-Schwellenwert zu den letzten Lambda-Sprachrahmen liegt, was bedeutet, dass die empfangene Information ausreichend stabil ist.
Italian: Una parola viene emessa se l'attenzione non è concentrata, vale a dire che la sua somma è al di sotto di una certa soglia alfa verso gli ultimi segmenti vocali lambda, il che si traduce nel fatto che l'informazione ricevuta è piuttosto stabile.
Chinese: 如果注意力不集中，即其对总和低于最后一个 λ 语音帧的某个阈值 α，则发出一个单词，这意味着收到的信息足够稳定。
English: For example, if we receive a speech chunk containing ""I'm going to talk about..."" and our model predicts the translation in German, and we will look at the cross-attention weights, we'll see that the first two words points to the earliest received speech frames, while the last word points to the last received speech frames, as lambda speech frames.
German: Wenn wir z. B. ein Sprachfragment erhalten, das „I'm going to talk about …“ enthält, und unser Modell die Übersetzung ins Deutsche vorhersagt, und wir die Cross-Attention-Gewichte betrachten, sehen wir, dass die ersten beiden Wörter auf die ersten empfangenen Sprachrahmen verweisen, während das letzte Wort auf die letzten empfangenen Sprachrahmen als Lambda-Sprachrahmen verweist.
Italian: Ad esempio, se riceviamo un frammento di discorso contenente "Parlerò di..." e il nostro modello prevede la traduzione in tedesco, osservando i pesi dell'attenzione incrociata, vedremo che le prime due parole puntano ai primi segmenti vocali ricevuti, mentre l'ultima parola punta agli ultimi segmenti vocali ricevuti, come segmenti vocali lambda.
Chinese: 例如，如果我们收到一个包含“I'm going to talk about...”（我要谈论……）的语音块，而我们的模型预测的是德语翻译，我们将查看交叉注意力权重，我们将看到前两个单词指向最早收到的语音帧，而最后一个单词指向最后收到的语音帧，作为 λ 语音帧。
English: This means that the first two words will be emitted while since the sum of the cross-attention is above a certain threshold alpha, we will not emit the last word and we wait for another speech chunk.
German: Das bedeutet, dass die ersten beiden Wörter ausgegeben werden, aber da die Summe der Cross-Attention-Gewichte über einem bestimmten Alpha-Schwellenwert liegt, wird das letzte Wort nicht ausgegeben und wir warten auf ein weiteres Sprachfragment.
Italian: Ciò significa che le prime due parole verranno emesse mentre, al contempo, dal momento che la somma dell'attenzione incrociata si trova al di sopra di una certa soglia alfa, non emetteremo l'ultima parola e aspetteremo un altro frammento vocale.
Chinese: 这意味着将输出前两个单词，而由于交叉注意的总和高于某个阈值 α，我们不会输出最后一个单词，而是等待另一个语音块。
English: If we go on and we receive another speech chunk, and our model predicts other three words and we will look at those cross-attention weights, we will see that no word points to the last lambda speech frames.
German: Wenn wir fortfahren und ein weiteres Sprachpaket erhalten und unser Modell drei weitere Wörter vorhersagt und wir uns diese Cross-Attention-Gewichte ansehen, werden wir feststellen, dass keines der Wörter auf die letzten Lambda-Sprachframes verweist.
Italian: Se, proseguendo, riceviamo un altro frammento vocale, e il nostro modello prevede altre tre parole, osservando quei pesi di attenzione incrociata, vedremo che nessuna parola punta agli ultimi segmenti vocali lambda.
Chinese: 如果我们继续并收到另一个语音块，而我们的模型预测其他三个单词，我们将查看这些交叉注意力权重，将看到没有单词指向最后的 λ 语音帧。
English: This means that these three words will be emitted.
German: Das bedeutet, dass diese drei Wörter ausgesprochen werden.
Italian: Il risultato di tutto ciò è che queste tre parole verranno emesse.
Chinese: 这意味着将输出这三个单词。
English: If we look at the main results of EDAtt, we'll plot the simultaneous speech translation results on graphs in which we have BLEU on one side that measures the translation quality, and average lagging that is the latency measure, and we also consider the computational aware average lagging that accounts for the model's computational times to predict the output.
German: Wenn wir uns die wichtigsten Ergebnisse von EDAtt ansehen, stellen wir die Ergebnisse der simultanen Sprachübersetzung in Diagrammen dar. Auf der einen Seite haben wir den BLEU, der die Qualität der Übersetzung misst, und die durchschnittliche Verzögerung, die ein Maß für die Latenz ist, und wir berücksichtigen auch die berechnete durchschnittliche Verzögerung, die die Rechenzeit des Modells für die Vorhersage der Ausgabe berücksichtigt.
Italian: Se guardiamo i principali risultati di EDAtt, rappresenteremo i risultati della traduzione simultanea vocale su grafici in cui da un lato abbiamo BLEU, che misura la qualità della traduzione, e il ritardo medio, che è la misura della latenza. Inoltre, prendiamo in considerazione il ritardo medio computazionale che tiene conto dei tempi di calcolo del modello per prevedere l'output.
Chinese: 如果我们看一下 EDAtt 的主要结果，我们会在图上绘制同步语音翻译的结果，其中一侧是 BLEU，用于衡量翻译质量，另一侧是平均滞后，即延迟度量，我们还会考虑计算感知平均滞后，即模型的计算时间来预测输出。
English: So we want our curves to be as high as possible on this plot.
German: Wir wollen also, dass unsere Kurven in diesem Diagramm so hoch wie möglich liegen.
Italian: A tal fine, desideriamo che le nostre curve su questo grafico siano quanto più alte possibili.
Chinese: 因此，我们希望这张图上的曲线尽可能高。
English: But also we want that they are shifted on the left.
German: Wir wollen sie aber auch nach links verschieben.
Italian: Allo stesso tempo, intendiamo spostarle a sinistra.
Chinese: 但是我们也希望它们向左移动。
English: And we compare with popular strategies that are also applied to offline models that are the Wait-k strategy and the Local Agreement.
German: Und wir vergleichen sie mit beliebten Strategien, die auch in Offline-Modellen verwendet werden, nämlich der Wait-k-Strategie und der lokalen Übereinstimmung.
Italian: Proseguendo, confrontiamo il tutto con strategie note che vengono applicate anche a modelli offline, vale a dire la strategia Wait-k e il Local Agreement.
Chinese: 我们将其与 Wait-k 策略和局部协议等也适用于离线模型的常用策略进行比较。
English: And we compare also with the state-of-the-art architecture specifically tailored for simultaneous pre-translation.
German: Und wir vergleichen sie auch mit dem Stand der Technik der Architektur, die speziell für die simultane Vorübersetzung entwickelt wurde.
Italian: Il confronto si estende all'architettura all'avanguardia, appositamente studiata per la pre-traduzione simultanea.
Chinese: 我们还与专门为同声预翻译定制的最先进架构进行比较。
English: These are all the results of the simultaneous speech translation strategy on German.
German: Das sind die Ergebnisse der Simultanübersetzungsstrategie für Deutsch.
Italian: Questi sono tutti i risultati della strategia di traduzione simultanea vocale in tedesco.
Chinese: 这些都是德语同声传译翻译策略的结果。
English: And we see that it outperforms all the strategies applied to offline models since the curves are shifted over the left.
German: Wir sehen, dass sie alle Strategien für Offline-Modelle übertrifft, weil die Kurven nach links verschoben sind.
Italian: Possiamo notare che supera tutte le strategie applicate ai modelli offline, poiché le curve sono spostate a sinistra.
Chinese: 可以看到，它优于所有适用于离线模型的策略，因为曲线向左移动。
English: And we also see that if we consider the actual elapsed time or the computational-aware time, that is the fastest strategy.
German: Und wir sehen auch, dass es die schnellste Strategie ist, egal ob wir die tatsächlich benötigte Zeit oder die Rechenzeit betrachten.
Italian: E vediamo anche che se consideriamo il tempo effettivo trascorso o il tempo di calcolo, questa è la strategia più veloce.
Chinese: 还可以看到，如果我们考虑实际耗时或计算感知时间，这是最快的策略。
English: If you want to discover more results, read our paper.
German: Wenn Sie mehr über die Ergebnisse erfahren möchten, lesen Sie unsere Arbeit.
Italian: Se volete conoscere gli altri risultati, vi invitiamo a leggere il nostro articolo.
Chinese: 如果您想了解更多结果，请阅读我们的论文。
English: And we also released open source the code and models and simultaneous output to facilitate the reproducibility of our work.
German: Wir haben auch den Code und die Modelle sowie die simultane Ausgabe Open Source veröffentlicht, um die Reproduzierbarkeit unserer Arbeit zu erleichtern.
Italian: Abbiamo anche rilasciato in open source il codice, i modelli e l'output simultaneo per facilitare la riproducibilità del nostro lavoro.
Chinese: 我们还发布了开源代码、模型和同步输出，以便我们的研究得以重复进行。
English: Thanks for your attention."
German: Vielen Dank für Ihre Aufmerksamkeit.
Italian: Grazie per l'attenzione."
Chinese: 谢谢大家。
English: "Hi, I'm Myra and today I'll be talking about our paper ""Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models.""
German: Hallo, mein Name ist Myra und ich werde heute über unsere Arbeit „Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models“ sprechen.
Italian: "Ciao, sono Myra e oggi parlerò del nostro articolo "Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models".
Chinese: 大家好，我是 Myra，今天我将谈谈我们的论文《有标记角色：使用自然语言提示来衡量语言模型中的刻板印象》。
English: This work is done in collaboration with Esin Durmus and Dan Jurafsky.
German: Es handelt sich dabei eine Zusammenarbeit mit Esin Durmus und Dan Jurafsky.
Italian: Questo lavoro è stato svolto in collaborazione con Esin Durmus e Dan Jurafsky.
Chinese: 这篇论文是我与 Esin Durmus 和 Dan Jurafsky 合作完成的。
English: In recent years, many have documented the prevalence of social bias and stereotypes in large language models, or LLMs.
German: In den letzten Jahren haben viele die Prävalenz von sozialen Vorurteilen und Stereotypen in großen Sprachmodellen (LLMs) dokumentiert.
Italian: Negli ultimi anni, molti hanno documentato la prevalenza di bias e stereotipi sociali nei modelli linguistici di grandi dimensioni o LLM.
Chinese: 近年来，许多人记录了社会偏见和成见在大语言模型 (LLM) 中的普遍程度。
English: However, these measures have various limitations.
German: Diese Messungen weisen jedoch einige Einschränkungen auf.
Italian: Va precisato, tuttavia, che queste misure presentano svariati limiti.
Chinese: 然而，这些措施有各种各样的局限性。
English: They usually rely on hand-constructed data sets that are very time-consuming to curate and they also usually only. measure very specific stereotypes, meaning that they don't generalize well to other demographics or contexts, or they simply capture very general broad associations, like negative associations with particular groups.
German: Sie basieren in der Regel auf manuell erstellten Datensätzen, deren Zusammenstellung sehr zeitaufwändig ist, und sie tendieren dazu, nur sehr spezifische Stereotypen zu messen, was bedeutet, dass sie nicht gut auf andere demografische Gruppen oder Kontexte verallgemeinert werden können, oder sie erfassen einfach sehr allgemeine Assoziationen, z. B. negative Assoziationen mit bestimmten Gruppen.
Italian: Di solito si basano su set di dati realizzati manualmente che richiedono molto tempo per essere mantenuti e di solito misurano solo stereotipi molto specifici, il che si traduce nel fatto che non eseguono una generalizzazione appropriata ad altri dati demografici o contesti, o semplicemente catturano associazioni molto generali, come associazioni negative con gruppi particolari.
Chinese: 它们通常依赖于手工构建的数据集，策划这些数据集非常耗时，而且通常只能衡量非常具体的刻板印象，这意味着这些措施无法很好地推广至其他人口统计学特征或语境，或者只能捕捉非常笼统的广泛关联，如与特定群体的负面关联。
English: Furthermore, most work in this space doesn't account for intersectionality, which is the notion that multi-faceted social identities can compound biases and be unique loci of harm.
German: Darüber hinaus berücksichtigen die meisten Arbeiten in diesem Bereich nicht die Intersektionalität, das heißt die Idee, dass mehrere soziale Identitäten Vorurteile verstärken und einzigartige Orte der Benachteiligung sein können.
Italian: Inoltre, la maggior parte del lavoro in questo ambiente non tiene conto dell'intersezionalità, che è la nozione secondo cui le identità sociali sfaccettate possono inasprire i bias e costituire punti unici di danno.
Chinese: 此外，这方面的大多数研究都没有考虑到交叉性，即多方面的社会身份可能会加剧偏见，并成为独特的伤害源头。
English: To overcome these limitations, we rely on the property that these newer instruction-tuned LLMs are very good at responding to instructions and prompts.
German: Um diese Einschränkungen zu überwinden, machen wir uns die Tatsache zunutze, dass diese neueren LLMs sehr gut auf Anweisungen und Prompts reagieren können.
Italian: Per superare queste limitazioni, ci affidiamo alla proprietà che questi nuovi LLM, concepiti per aderire alle istruzioni, si dimostrano molto validi nel fornire una risposta a istruzioni e prompt.
Chinese: 为了克服这些局限性，我们利用了一种特性，即这些新型的、经过指令调整的 LLM 非常擅长回应指令和提示。
English: So we can ask the model to generate a persona, which is a depiction of an imagined individual using a prompt like ""Imagine you are an Asian woman.
German: Beispielsweise können wir das Modell auffordern, eine Persona zu erstellen, das heißt die Darstellung einer imaginären Person, indem wir einen Prompt wie „Stellen Sie sich vor, Sie sind eine asiatische Frau.
Italian: Quindi, possiamo chiedere al modello di riprodurre una personalità, vale a dire una rappresentazione di un individuo immaginario, generando un prompt come "Immagina di essere una donna asiatica.
Chinese: 因此，我们可以要求模型生成一个角色，而这个角色是一个想象中的个体，例如，使用的提示可以是：“想象一下，你是一个亚洲女性。
English: Describe yourself."".
German: Beschreiben Sie sich selbst“ eingeben.
Italian: Descrivi te stessa".
Chinese: 请描述一下你自己。”。
English: And we can immediately see that this is very generalizable to any demographic because we can just specify whatever identity marker that we want into this prompt.
German: Und wir können sofort sehen, dass dies für jede Bevölkerungsgruppe verallgemeinerbar ist, da wir jedes Identitätsmerkmal in diesen Prompt einfügen können.
Italian: A questo punto, possiamo subito notare l'elevato grado di generalizzazione a qualsiasi demografica, in quanto ci basta specificare qualsiasi marcatore di identità che desideriamo integrare in questo prompt.
Chinese: 我们可以立即看到，对于任何人口特征来说，都可以应用这一方法，因为我们可以在这个提示中指定任何我们想要的身份标记。
English: So here are some example generations from GPT-4.
German: Hier sind also einige Beispielgenerationen von GPT-4.
Italian: Ecco alcuni esempi di generazioni da parte di GPT-4.
Chinese: 以下是 GPT-4 生成的一些示例。
English: Immediately we see that, while the outputs aren't overtly negative or toxic in the traditional sense of these words, there are some interesting patterns.
German: Wir können sofort erkennen, dass die Ergebnisse nicht eindeutig negativ oder toxisch im traditionellen Sinne dieser Wörter sind, aber es gibt einige interessante Muster.
Italian: Emerge subito che, anche se i risultati non sono apertamente negativi o tossici in senso stretto, ci troviamo di fronte ad alcuni schemi interessanti.
Chinese: 可以看到，虽然输出在传统意义上并不明显地带有负面或有恶毒意味，但其中有一些有趣的模式。
English: The Asian woman is depicted as unassuming; the Middle-Eastern woman is referred to using words like exotic and like, referring to a mesmerizing region.
German: Die asiatische Frau wird als bescheiden dargestellt; die Frau aus dem Nahen Osten wird mit Wörtern wie exotisch beschrieben und es wird bei ihr auf eine faszinierende Region hingewiesen.
Italian: La donna asiatica è descritta come modesta; la donna mediorientale è definita con parole come "esotica" e simili, nel senso di località affascinante.
Chinese: 亚洲女性被描绘成“谦逊的”；中东女性则被用“异域”和“迷人”等词来形容，代表中东是一个迷人的地区。
English: And both of the women of color personas make references to ancestry while the white man persona has nothing of the sort.
German: Und die beiden Personas der Women-of-Colour verweisen auf ihre Abstammung, während die des weißen Mannes dies nicht tut.
Italian: Ed entrambe le donne di colore fanno riferimento alle loro origini, mentre l'uomo bianco non riporta nulla del genere.
Chinese: 两个有色人种女性角色的输出内容中都提到了祖先，而白人男性角色则没有这方面的内容。
English: To capture these patterns, our method has two parts.
German: Unsere Methode zur Erfassung dieser Muster besteht aus zwei Teilen.
Italian: Per catturare questi modelli, il nostro metodo è suddiviso in due parti.
Chinese: 为了捕捉这些模式，我们的方法分为两部分。
English: The first one is generating these personas.
German: Der erste Teil besteht in der Erstellung der Personas.
Italian: La prima risiede nella generazione di tali personalità.
Chinese: 第一部分是生成这些角色。
English: Our prompts to generate these personas were inspired by a study where they gave these prompts to human subjects, finding that by giving it to human subjects, they also were able to surface racial stereotypes.
German: Unsere Prompts für die Erstellung dieser Personas wurden von einer Studie inspiriert, in der diese Prompts menschlichen Teilnehmern vorgelegt wurden und in der festgestellt wurde, dass dadurch auch rassistische Stereotypen aufgedeckt werden konnten.
Italian: I nostri prompt per generare queste personalità sono stati ispirati da uno studio in cui tali prompt sono stati assegnati a soggetti umani, per poi scoprire che, così facendo, sono emersi anche stereotipi razziali.
Chinese: 我们生成这些角色的提示语是受到一项研究的启发，该研究向人类受试者提供了这些提示词，发现通过向人类受试者提供这些提示词，也能够揭示种族刻板印象。
English: And also this enables direct comparison between our generated personas and the human written responses.
German: Dies ermöglicht auch einen direkten Vergleich zwischen den von uns generierten Personas und den schriftlichen Antworten von Menschen.
Italian: Inoltre, ciò getta le basi per un confronto diretto tra le nostre personalità generate e le risposte scritte da soggetti umani.
Chinese: 这也使得我们生成的人物角色和人类书面反应之间能够进行直接比较。
English: The second part is marked words, which is a method to identify the words that distinguish marked groups from unmarked ones, which I'll elaborate on shortly.
German: Der zweite Teil ist das Tagging. Dabei handelt es sich um eine Methode zur Identifizierung von Wörtern, die getaggte Gruppen von nicht getaggten Gruppen unterscheiden.
Italian: La seconda parte è costituita dalle parole marcate, che è un metodo per identificare le parole che distinguono i gruppi marcati da quelli non marcati, che provvederò ad approfondire a breve.
Chinese: 第二部分是使用“标记词”，这是识别区分显性群体和非显性群体的词语的方法，稍后我会详细说明。
English: The benefit of this is that we get really specific stereotypes and patterns, without having to rely on any specific lexicon.
German: Der Vorteil dieser Methode besteht darin, dass wir wirklich spezifische Stereotypen und Muster erhalten, ohne auf ein spezielles Lexikon zurückgreifen zu müssen.
Italian: Il vantaggio risiede nel fatto che otteniamo stereotipi e modelli molto specifici, senza dover fare affidamento su un lessico specifico.
Chinese: 这样做的好处是，我们无需依赖任何特定词汇，就能得到非常具体的刻板印象和模式。
English: So the Marked Words method draws upon the sociolinguistic concept of ""markedness"", which states that there is an unmarked default, and any group that differs from that default is linguistically marked.
German: Die Marked-Words-Methode basiert also auf dem soziolinguistischen Konzept der „Markierung“, das besagt, dass es eine unmarkierte Norm gibt und dass jede Gruppe, die von dieser Norm abweicht, sprachlich markiert wird.
Italian: In questo modo, il metodo delle parole marcate attinge al concetto sociolinguistico di "marcatezza", secondo cui esiste uno standard non marcato e qualsiasi gruppo che differisce da quello standard è marcato sotto il profilo linguistico.
Chinese: 因此，“有标记词汇”方法借鉴了“标记理论”这一社会语言学概念，该概念指出存在一个无标记的默认词汇，任何与该默认词汇不同的群体在语言上都是有标记的。
English: So for instance, the word ""warrior"" is usually associated with men.
German: Zum Beispiel wird das Wort „Krieger“ normalerweise mit Männern assoziiert.
Italian: Ad esempio, la parola "guerriero" è solitamente associata agli uomini.
Chinese: 例如，“战士”一词通常与男性相关联。
English: So when people are describing a warrior who is a woman, they'll usually actually specify ""woman warrior"" and mark the term with ""woman"".
German: Wenn man also einen Krieger beschreibt, der eine Frau ist, sagt man normalerweise „Kriegerin“ und markiert das Wort mit „Frau“.
Italian: Ne deriva che, quando le persone descrivono un guerriero di sesso femminile, di solito specificano la variabile "guerriera" e contrassegnano il termine con "donna".
Chinese: 因此，当人们描述一个女性战士时，他们通常会实际上指定其为“女战士”，并用“女”来标记这个词。
English: And more broadly, dominant groups in society are both linguistically and socially unmarked, while the marginalized groups are usually marked.
German: Im Allgemeinen werden dominante Gruppen in der Gesellschaft weder sprachlich noch sozial markiert, während marginalisierte Gruppen in der Regel markiert werden.
Italian: E, più in generale, i gruppi dominanti nella società sono sia linguisticamente che socialmente non marcati, mentre i gruppi emarginati sono generalmente marcati.
Chinese: 更广泛来说，社会中的主导群体在语言和社会角度上都是无标记的，而边缘化群体通常是带有标记的。
English: So in our method, we first designate what the unmarked and marked groups are, and then we compare the personas using the Fightin’ Words method, which is basically using weighted log-odds ratios to distinguish the top words for each marked group.
German: Bei unserer Methode bestimmen wir zunächst die unmarkierten und markierten Gruppen und vergleichen dann die Personas mit der „Fightin’ Words“-Methode, die im Wesentlichen gewichtete log-odds-Verhältnisse verwendet, um die Top-Wörter für jede markierte Gruppe zu unterscheiden.
Italian: Quindi, nel nostro metodo, designiamo prima quali sono i gruppi non marcati e quelli marcati, quindi confrontiamo le personalità usando il metodo delle fighting words, che fondamentalmente attinge ai rapporti di probabilità logaritmici ponderati per distinguere le parole principali per ciascun gruppo marcato.
Chinese: 因此，在我们的方法中，我们首先指定无标记群体和有标记群体，然后我们使用“战斗词汇”方法来比较角色，该方法基本上是使用加权对数比来区分每个标记群体的最常用词。
English: So for instance, for the personas of black women, we would do Fightin’ Words and compare the log-odds ratios against both white personas and man personas because those are the two corresponding unmarked groups.
German: Für die schwarzen weiblichen Personas würden wir beispielsweise die „Fightin’ Words“-Methode anwenden und die log-odds-Verhältnisse sowohl mit den weißen als auch mit den männlichen Personas vergleichen, da dies die beiden entsprechenden nicht markierten Gruppen sind.
Italian: Ad esempio, per le personalità delle donne nere, useremmo il metodo delle fighting words e confronteremmo i rapporti di probabilità logaritmici sia con le personalità bianche sia con le personalità maschili, poiché questi sono i due gruppi non marcati.
Chinese: 例如，对于黑人女性的角色，我们将使用“战斗词汇”，并将对数比率与白人角色和男性角色进行比较，因为这是两个相应的无标记群体。
English: Now for some results.
German: Nun zu einigen Ergebnissen.
Italian: Ora vediamo alcuni risultati.
Chinese: 现在来看看结果。
English: So first we use a lexicon of stereotypes, and we find that the generated personas contain a lot more stereotypes than the human-written ones.
German: Zuerst verwenden wir ein Lexikon von Stereotypen und stellen fest, dass die generierten Personas viel mehr Stereotypen enthalten als die von Menschen geschriebenen.
Italian: In primo luogo, ricorriamo a un lessico di stereotipi e scopriamo che le personalità generate contengono molti più stereotipi di quelli scritti dai soggetti umani.
Chinese: 首先，我们使用了一份刻板词汇表，发现生成的角色比人类书写的角色包含更多的刻板印象。
English: However, when we actually look at the distribution of the words and lexicon, we find very different things.
German: Wenn wir uns aber anschauen, wie sich die Wörter und der Wortschatz verteilen, dann stellen wir fest, dass es ganz anders aussieht.
Italian: Tuttavia, quando osserviamo effettivamente la distribuzione delle parole e del lessico, ci imbattiamo in esiti assai disparati.
Chinese: 然而，当我们真正观察单词和词汇的分布时，我们发现情况截然不同。
English: So, while the generated personas have much higher rates of the lexicon words, the human-written ones have a much wider distribution of words, while the stereotype words that are in the generated personas are really just the words ""tall"" and ""athletic"".
German: Während also die generierten Personas einen viel höheren Anteil an Lexikonwörtern aufweisen, weisen die von Menschen geschriebenen Personas eine viel breitere Verteilung von Wörtern auf, während die stereotypen Wörter in den generierten Personas eigentlich nur die Wörter „groß“ und „sportlich“ sind.
Italian: Quindi, se da un lato le personalità generate presentano percentuali molto più alte di parole del lessico, quelli scritti da soggetti umani rivelano una distribuzione molto più ampia di parole, mentre le parole stereotipate che si trovano nelle personalità generate sono in realtà solo le parole "alto" e "atletico".
Chinese: 虽然生成的角色包含更多的刻板词汇，但人类书写的角色包含的词汇分布更广，而生成的角色中的刻板词汇实际上只有“tall”（高大）和“athletic”（运动型）这两个词。
English: So, really just only the positive or at least non-negative ones.
German: Also wirklich nur die positiven oder zumindest nicht negativen Wörter.
Italian: In poche parole, solo quelle positive o quantomeno non negative.
Chinese: 所以，实际上只有正面的词语，或者至少是非负面的词语。
English: And in fact, this lexicon doesn't really capture many of the harmful patterns that we saw in the earlier slides well at all.
German: Und in der Tat deckt dieses Lexikon nicht wirklich viele der schädlichen Muster ab, die wir auf den vorherigen Folien gesehen haben.
Italian: E in effetti, questo lessico non coglie interamente molti degli schemi dannosi che abbiamo visto nelle diapositive precedenti.
Chinese: 事实上，这个词汇表并没有很好地捕捉到我们在之前的幻灯片中看到的许多有害模式。
English: So instead to do that, we'll turn to the results from our Marked Words method to show how these positive-seeming words facilitate stereotypes and essentializing narratives.
German: Stattdessen wenden wir uns den Ergebnissen unserer Marked-Words-Methode zu, um zu zeigen, wie diese positiv erscheinenden Wörter Stereotypen und essentialisierende Erzählungen fördern.
Italian: Quindi, per muoverci in tal senso, ci rivolgeremo ai risultati del nostro metodo delle parole marcate per mostrare come queste parole apparentemente positive facilitino gli stereotipi e le narrazioni essenzializzanti.
Chinese: 因此，我们将转向“有标记词汇”方法的结果，来展示这些看似正面的词汇是如何助长成见和固化叙事的。
English: In our analysis, we reveal how these seemingly positive portrayals reflect harmful patterns.
German: In unserer Analyse zeigen wir, wie diese scheinbar positiven Darstellungen schädliche Muster widerspiegeln.
Italian: Nella nostra analisi, riveliamo come tali rappresentazioni apparentemente positive riflettano al contrario schemi dannosi.
Chinese: 在我们的分析中，我们揭示了这些看似正面的描述是如何反映出有害模式的。
English: First, from our groups, the top words include things like ""culture"", ""tradition"", ""proud"", and ""exotic"".
German: Zunächst gehören zu den wichtigsten Wörtern unserer Gruppen Begriffe wie „Kultur“, „Tradition“, „stolz“ und „exotisch“.
Italian: In primo luogo, le parole principali comprendono nei nostri gruppi concetti quali "cultura", "tradizione", "orgoglioso" ed "esotico".
Chinese: 首先，在我们的群体中，最常用的词包括“culture”（文化）、“tradition”（传统）、“proud”（骄傲）和“exotic”（异域）。
English: And these words define these groups only by their relationship to their identity and distinguish them as different from the white norm.
German: Und diese Wörter definieren diese Gruppen nur in Bezug auf ihre Identität und grenzen sie von der weißen Norm ab.
Italian: E queste parole definiscono questi gruppi solo in base al rapporto con la loro identità e li distinguono come diversi dalla norma bianca.
Chinese: 这些词只通过与身份的关系来定义这些群体，并将他们与白人标准区分开来。
English: This contributes to a long legacy of discrimination and othering for these groups.
German: Dies trägt zu einem langen Erbe der Diskriminierung und Fremdbestimmung dieser Gruppen bei.
Italian: Ciò contribuisce a una lunga tradizione di discriminazione e alterità per questi gruppi.
Chinese: 这导致了这些群体长期以来遭受歧视和排斥的现象。
English: Furthermore, there's a lot of common tropes that are reflected in these words, especially for women of color.
German: Darüber hinaus spiegeln sich in diesen Begriffen viele gängige Tropen wider, insbesondere für Women-of-Colour.
Italian: Inoltre, sono presenti molti tropi che si riflettono in queste parole, specialmente in riferimento alle donne di colore.
Chinese: 此外，这些词汇反映了很多常见的成见，尤其是针对有色人种女性的成见。
English: So for example, the words describing Latina women include things like ""vibrant"" and ""curvaceous"" which connect to a trope of tropicalism.
German: So werden beispielsweise Latina-Frauen unter anderem mit Wörtern wie „lebhaft“ und „kurvenreich“ beschrieben, die mit der Trope des Tropismus verbunden sind.
Italian: Ad esempio, le parole che descrivono le donne latine includono concetti come "vivace" e "prosperosa", che rimandano allo stereotipo del tropicalismo.
Chinese: 例如，用来形容拉丁裔妇女的词语包括“vibrant”（充满活力）和“curvaceous”（曲线优美），这与热带主义的氛围息息相关。
English: For Asian women, the words are things like ""petite"" and ""delicate"" and ""silky"" which connects to a long history of Asian women being hyper-sexualized, seen as very docile and submissive, and so on.
German: Bei asiatischen Frauen sind es Wörter wie „zierlich“ und „zart“ und „seidig“, was damit zusammenhängt, dass asiatische Frauen lange Zeit übersexualisiert und als sehr fügsam und unterwürfig angesehen wurden.
Italian: Per le donne asiatiche, le parole sono "minuta", "delicata" e "setosa", che si collegano a una lunga storia di donne asiatiche ipersessualizzate, viste come molto docili e sottomesse, e così via.
Chinese: 对于亚裔女性，词汇包括“petite”（娇小）、“delicate”（精致）和“silky”（柔滑），这与亚裔女性长期以来被过度性别化、被视为非常温顺和顺从等等的悠久历史有关。
English: And finally, for black women, we see that some of the top words are things like ""strong"" and ""resilient"".
German: Bei den schwarzen Frauen schließlich finden sich unter den Top-Wörtern Begriffe wie „stark“ und „widerstandsfähig“.
Italian: Infine, per le donne nere, notiamo che alcune delle parole più ricorrenti sono associate ai concetti di "forza" e "resilienza".
Chinese: 最后，对于黑人女性，我们看到一些最常用的词是“strong”（强大）和“resilient”（坚韧）。
English: This connects to an archetype that people have called the ""Strong Black Women"" archetype.
German: Dies ist eine Produktkopplung mit einem Archetyp, der als „starke schwarze Frau“ bezeichnet wird.
Italian: Ciò si collega a un archetipo che le persone hanno definito "Donne nere toste".
Chinese: 这与人们所说的“强大的黑人妇女”原型有关。
English: And while it sounds positive at first glance, there's been work showing that this kind of archetype actually is very harmful because it puts a lot of pressure on these demographics to be resilient and strong against societal obstacles.
German: Und obwohl das auf den ersten Blick positiv klingt, gibt es Arbeiten, die zeigen, dass diese Art von Archetyp eigentlich sehr schädlich ist, weil er diese Bevölkerungsgruppen unter Druck setzt, widerstandsfähig und stark gegenüber sozialen Hindernissen zu sein.
Italian: E anche se a prima vista può sembrare positivo, alcuni studi hanno dimostrato che questo tipo di archetipo è in realtà molto dannoso, in quanto mette molta pressione su questi gruppi demografici affinché siano resilienti e forti contro gli ostacoli della società.
Chinese: 乍一看，这听起来很正面，但有研究表明，这种原型实际上是非常有害的，因为它给这些人群带来了很大的压力，要求他们要有适应力，要坚强地面对社会障碍。
English: So rather than actually working towards changing those obstacles, it puts pressure on those people to overcome them, which leads to a very negative health outcomes for these people, among other harms.
German: Anstatt also wirklich daran zu arbeiten, diese Hindernisse zu verändern, setzt er diese Menschen unter Druck, sie zu überwinden, was neben anderen schädlichen Auswirkungen auch sehr negative gesundheitliche Folgen für sie hat.
Italian: Quindi, anziché operare concretamente per cambiare quegli ostacoli, mette pressione su quelle persone affinché li superino, il che porta, tra gli altri esiti lesivi, a conseguenze dannose per la salute.
Chinese: 因此，这类词汇并非有助于改变这些障碍，而是给这些人施加压力，要求他们克服这些障碍，这会给他们的健康带来非常负面的后果，以及其他危害。
English: More broadly, we find that the words for each marked group pretty much just reflect very essentializing narratives.
German: Generell stellen wir fest, dass die Wörter für jede markierte Gruppe fast ausschließlich stark essentialisierende Narrative widerspiegeln.
Italian: Più in generale, scopriamo che le parole per ogni gruppo marcato riflettono nella pratica narrazioni decisamente essenzializzanti.
Chinese: 更广泛地说，我们发现每个有标记群体的词汇几乎都只是反映了非常本质化的叙事。
English: So based on these patterns, we conclude with three recommendations for model owners.
German: Auf der Grundlage dieser Muster schließen wir mit drei Empfehlungen für Modellierer.
Italian: Quindi, sulla base di questi schemi, concludiamo con tre raccomandazioni per i proprietari di modelli.
Chinese: 因此，基于这些模式，我们为模型所有者提出了三项建议。
English: First, we should, as researchers, be addressing positive stereotypes and essentializing narratives.
German: Erstens sollten wir uns als Forscher auf positive Stereotype und essentialisierende Narrative konzentrieren.
Italian: In primo luogo, dovremmo, come ricercatori, affrontare gli stereotipi positivi e le narrazioni essenzializzanti.
Chinese: 首先，作为研究人员，我们应该解决正面的成见和固化叙事。
English: We should also be using an intersectional lens to study biases and harms because there's a lot of things that might be overlooked if we don't do that.
German: Wir sollten auch eine intersektionale Linse verwenden, um Voreingenommenheit und Benachteiligung zu betrachten, denn es gibt viele Dinge, die wir sonst übersehen könnten.
Italian: Inoltre, dovremmo munirci di una lente intersezionale per studiare pregiudizi e danni, perché ci sono molte cose che potrebbero essere trascurate se non lo facessimo.
Chinese: 我们还应该使用交叉视角来研究偏见和伤害，因为如果我们不这样做，可能会忽略很多事情。
English: And finally, there should really be increased transparency about bias mitigation methods, because for instance, like these positive stereotypes, we don't know if it's because there is some sort of weird overly-excessive value alignment going on, or maybe some other anti-stereotyping methods that are resulting in these pernicious patterns.
German: Und schließlich sollten wir mehr Transparenz in die Methoden bringen, mit denen wir Vorurteile abbauen, denn bei diesen positiven Stereotypen wissen wir nicht, ob es sich um ein seltsames, übertriebenes Wertalignment handelt oder um andere Anti-Stereotypisierungs-Methoden, die zu diesen schädlichen Mustern führen.
Italian: Infine, dovrebbe esserci davvero una maggiore trasparenza sui metodi di mitigazione dei pregiudizi, perché, ad esempio, come nel caso di questi stereotipi positivi, non sappiamo se ciò sia dovuto a una sorta di strano ed eccessivo allineamento di valori in corso o, ancora, ad altri metodi anti-stereotipizzazione che stanno provocando questi modelli perniciosi.
Chinese: 最后，人们真的应该提高偏见缓解方法的透明度，因为例如，像这些积极的刻板印象，我们不知道到底是因为存在某种奇怪的过度价值观调整，还是说有其他一些反刻板印象方法导致了这些有害的模式。
English: We just really can't make any assumptions or really study that further, without more transparency.
German: Ohne mehr Transparenz können wir keine Vermutungen anstellen oder die Angelegenheit weiter untersuchen.
Italian: Non possiamo avanzare alcuna ipotesi né fare alcun approfondimento ulteriore senza una maggiore trasparenza.
Chinese: 如果没有更多的透明度，我们就无法做出任何假设，也无法进一步研究。
English: Thank you so much for listening.
German: Vielen Dank fürs Zuhören.
Italian: Grazie infinite dell'ascolto.
Chinese: 谢谢大家的聆听。
English: Have a good time at ACL."
German: Viel Spaß bei der ACL.
Italian: Buon proseguimento ad ACL."
Chinese: 祝大家在 ACL 过得愉快。
English: Hi, everyone.
German: Hallo zusammen.
Italian: "Buongiorno a tutti.
Chinese: 大家好。
English: I'm Koustav Sinha, and I'm pleased to welcome you to our talk of our ACL 2023 paper.
German: Mein Name ist Koustav Sinha und ich freue mich, Sie zu unserer Präsentation unserer Arbeit für die ACL 2023 begrüßen zu dürfen.
Italian: Sono Koustav Sinha e sono felice di darvi il benvenuto al nostro intervento sul nostro articolo ACL 2023.
Chinese: 我是 Koustav Sinha，很高兴欢迎大家参加我们关于 ACL 2023 论文的讨论。
English: Language model acceptability judgments are not always robust to context.
German: Die Bewertung der Akzeptanz von Sprachmodellen ist nicht immer kontextabhängig.
Italian: Language model acceptability judgments are not always robust to context.
Chinese: 语言模型的可接受性判断并不总是对上下文有很强的适应性。
English: This is a joint work with John Gauthier, Aaron Mueller, Kanishka Misra, Karen Fences, Roger Levy, and Adina Williams.
German: Dies ist eine gemeinsame Arbeit mit John Gauthier, Aaron Mueller, Kanishka Misra, Karen Fences, Roger Levy und Adina Williams.
Italian: Questo è un lavoro congiunto con John Gauthier, Aaron Mueller, Kanishka Misra, Karen Fences, Roger Levy e Adina Williams.
Chinese: 这是我与 John Gauthier、Aaron Mueller、Kanishka Misra、Karen Fences、Roger Levy 和 Adina Williams 合作编写的论文。
English: So in this work, we revisit the minimal pair paradigms.
German: In dieser Arbeit greifen wir auf das Minimal-Pair-Paradigma zurück.
Italian: In questo lavoro, rivisitiamo i paradigmi della coppia minima.
Chinese: 在这篇论文中，我们重新审视了最小对模式。
English: So the minimal pair paradigm basically evaluates language models on top of acceptability judgments.
German: Das Minimal-Pair-Paradigma bewertet Sprachmodelle im Wesentlichen auf der Basis von Akzeptanzurteilen.
Italian: Il paradigma della coppia minima valuta fondamentalmente i modelli linguistici sulla base dei giudizi di accettabilità.
Chinese: 最小对模式基本上是在可接受性判断之上对语言模型进行评估。
English: Which can also include grammaticality like BLiMP, SyntaxGym, or acceptability in terms of stereotypes such as CrowS pairs.
German: Dies kann Grammatikalität wie BLiMP, SyntaxGym oder die Akzeptanz von Stereotypen wie CrowS-Paare betreffen.
Italian: Ciò può anche includere la grammaticalità come BLiMP, SyntaxGym o l'accettabilità in termini di stereotipi come le coppie CrowS.
Chinese: 其中也可以包括 BLiMP、SyntaxGym 等的语法性，或 CrowS-Pairs 等刻板印象的可接受性。
English: And in this, minimal pair paradigm, the typical way to evaluate language models is that you show like an acceptable sentence or a grammatical sentence and then you show an acceptable sentence or an ungrammatical sentence.
German: Und in diesem Paradigma der minimalen Paare besteht die typische Art und Weise, Sprachmodelle zu evaluieren, darin, einen akzeptablen Satz oder einen grammatikalischen Satz und dann einen akzeptablen Satz oder einen nicht grammatikalischen Satz zu zeigen.
Italian: E, in questo paradigma della coppia minima, il modo tipico per valutare i modelli linguistici è mostrare una frase accettabile o una frase grammaticale e poi mostrare una frase accettabile o una frase non grammaticale.
Chinese: 在这种最小对模式中，评估语言模型的典型方法是，你先展示一个可接受的句子或一个符合语法的句子，然后再展示一个可接受的句子或一个不符合语法的句子。
English: And then the hope is that the model, basically, puts more probability to the acceptable sentence.
German: Dann hofft man, dass das Modell dem akzeptablen Satz eine höhere Wahrscheinlichkeit einräumt.
Italian: Dopodiché, la speranza è che il modello, in sostanza, aggiunga maggior probabilità alla frase accettabile.
Chinese: 然后，希望模型会把更多的概率放在可接受的句子上。
English: The current MPP pipeline basically doesn't allow us to evaluate a model's acceptance towards longer sentences.
German: Die aktuelle MPP-Pipeline erlaubt es uns im Grunde nicht, die Akzeptanz eines Modells für längere Sätze zu bewerten.
Italian: L'attuale pipeline MPP non ci permette di valutare l'accettazione di un modello in direzione di frasi più lunghe.
Chinese: 当前的 MPP 管道基本上不允许我们评估模型对较长句子的接受度。
English: These days large language models are coming up with longer and longer context windows.
German: Heutzutage haben große Sprachmodelle immer längere Kontextfenster.
Italian: In questi giorni i grandi modelli linguistici sono caratterizzati da finestre di contesto sempre più lunghe.
Chinese: 如今，大语言模型的上下文窗口越来越长。
English: So it's crucial that we evaluate the models' acceptability throughout the context window and that is what we are trying to do here.
German: Daher ist es wichtig, die Akzeptanz der Modelle über das gesamte Kontextfenster zu bewerten, und genau das versuchen wir hier.
Italian: Pertanto è fondamentale valutare l'accettabilità dei modelli in tutta la finestra di contesto ed è quello che stiamo cercando di fare qui.
Chinese: 因此，至关重要的是，我们要在整个上下文窗口中评估模型的可接受性，这就是我们要做的。
English: We're trying to revisit the MPP pipeline by asking the model to evaluate acceptability on longer and longer sequences.
German: Wir versuchen, die MPP-Pipeline zu überdenken, indem wir das Modell auffordern, die Akzeptanz in immer längeren Sequenzen zu bewerten.
Italian: Stiamo cercando di rivisitare la pipeline MPP chiedendo al modello di valutare l'accettabilità su sequenze sempre più lunghe.
Chinese: 我们尝试通过要求模型评估越来越长的序列的可接受性来重新审视 MPP 管道。
English: So that is the approach.
German: Das ist also der Ansatz.
Italian: Ecco in cosa consiste questo approccio.
Chinese: 这就是我们的方法。
English: So what we do is that to simulate these longer sequences, we revisit the data sets themselves and then we recreate sentences by choosing acceptable or unacceptable sentences from those datasets.
German: Um diese längeren Sequenzen zu simulieren, verwenden wir die Datensätze selbst und erstellen dann Sätze, indem wir akzeptable oder inakzeptable Sätze aus diesen Datensätzen auswählen.
Italian: Quindi, quello che facciamo per simulare queste sequenze più lunghe è rivisitare gli insiemi di dati stessi e ricreare le frasi scegliendo quelle accettabili o inaccettabili da quegli insiemi di dati.
Chinese: 因此，为了模拟这些更长的序列，我们重新审视数据集本身，然后从这些数据集中选择可接受或不可接受的句子来重新创建句子。
English: So for example, here we have chosen like a typical pair of grammaticality from the BLiMP data set from the Adjunct Island case.
German: Hier haben wir zum Beispiel ein typisches Grammatikalitätspaar aus dem BLiMP-Datensatz für den Fall Adjunct Island ausgewählt.
Italian: Ad esempio, qui abbiamo scelto una tipica coppia di grammaticalità dal set di dati BLiMP dal caso Adjunct Island.
Chinese: 例如，在这里，我们从 Adjunct Island 案例中的 BLiMP 数据集中选择了一对典型的语法。
English: And what we do is that to recreate like longer sequences and which are acceptable and which has the same matching of the grammatical structure.
German: Und wir reproduzieren längere Sequenzen, die akzeptabel sind und die gleiche grammatikalische Struktur aufweisen.
Italian: E ciò che facciamo è ricreare sequenze più lunghe che siano accettabili e che abbiano la stessa corrispondenza della struttura grammaticale.
Chinese: 我们所做的就是重新创建更长的序列，这些序列是可接受的，并且具有相同的语法结构匹配。
English: We extract grammatical sentences from Adjunct Island and then we add it as a prefix to both the acceptable query and the unacceptable query.
German: Wir extrahieren grammatikalische Sätze aus Adjunct Island und fügen sie als Präfix sowohl der akzeptablen als auch der inakzeptablen Abfrage hinzu.
Italian: Estrarremo frasi grammaticali da Adjunct Island e le aggiungeremo come prefisso sia alla query accettabile che a quella inaccettabile.
Chinese: 我们从 Adjunct Island 中提取语法句子，然后将其作为前缀添加到可接受的查询和不可接受的查询中。