Bilingual conversation (english, german):

Hi Lukas! Hallo. You sent me a paper called textbooks are all you need. Can I ask you briefly some questions about it? Sicher! So what is paper about? This is... uhh... the... come up with a new dataset or a new model? Also die Grundidee ist, dass man sich anguckt, wie was abseits von den normalen Scaling-Laws möglich ist. Also dass statt dass man die Modelle einfach nur größer macht und mehr Daten benutzt, dass man Guckt, dass die Datenqualität höher ist und man dadurch weniger Daten braucht, was weniger Rechenleistung bedeutet und gleichzeitig auch kleinere Modelle, was auch wieder weniger Rechenleistung dann in der Inferenz braucht. Also sowohl Trainings- als auch Inferenzrechenleistung ist dann weniger. Okay, so what's the actual size of the data they use for training the new model? So etwa sieben Milliarden Tokens. Also deutlich weniger als zum Beispiel Llama. Da war ja so die fast zehnfache Menge. Ne, hundertfach sogar fast. Okay, I have angerman question. Is this model have the similar architecture as the chatGPT model? Mehr oder weniger. Es ist ein Transformer, aber es ist so ein bisschen wie bei PaLM, dass die MLP-Schichten und die Attention-Schichten parallel zueinander sind statt sequenziell. So it's not autoregressive. It's a parallel structure? No, no, this is, das ist das ist nur innerhalb von der von einem Transformer-Block. Also es ist schon ein Decoder und es ist autoregressiv, aber es ist nicht, aber es nicht dass innerhalb von einem Block die Sachen sequenziell sind, sondern parallel. Can you tell me how is the performance of this new model? Ich muss sagen, ich weiß jetzt nicht mehr genau auswendig, was die Performance war, aber es war bei Human Eval, also diesem Coding Benchmark von OpenAI, war es Ähnlich zu Modellen, die deutlich größer waren. Also da hat sich dann gezeigt, dass diese Idee mit der deutlich höheren Datenqualität, was man ja eigentlich auch weiß von allen anderen Deep-Learning-Modellen, dass bessere Daten zu besseren Ergebnissen führen, dass man das auch da gesehen hat. Also dass kleinere Modelle deutlich besser performen oder ähnlich gut performen wie größere Modelle. You said you use like a good quality textbook data, right? So by saying quality, how do you assess it? Like what's the criter... what's the criterium for saying like this is good quality or not? Also ein Teil der Daten ist gefiltert, ein Teil ist synthetisch erzeugt, der größte Teil ist gefiltert. Und das machen sie, glaube ich, mit GPT-4. Und sie achten dann auf sowas wie, dass die Beispiele sich nicht zu ähnlich sind, also dass sie auch nicht zu einfach sind. Dass nicht zu viel auf irgendwelche externen Module, also dass so ein bisschen für sich selbst stehen, also dass man jetzt nicht dann sich noch andere Sachen angucken muss, die jetzt gar nicht dann im Kontext drin sind. Ja, ich glaube das war so grob die Idee dahinter. So the textbook, they are coming from the same domain or different domain? Ähm... Mehr oder weniger. Also es ist halt alles Code. Also es geht um ein Modell, das speziell für Code gemacht ist und ganz speziell eben Python. Do you have any idea like how to further employ it or just to use it for your own research? Weil ich jetzt nichts mit Code-LLMs mache, hätte ich es jetzt nicht für meine Zwecke benutzt, aber die Nachfolgemodelle davon, die für allgemeine Sprachverarbeitung sind, wären interessant. Also zum Beispiel Phi-3, also die dritte Version, die dann aber nicht speziell auf Code ist, sondern wie GPT auch.