crscardellino commited on
Commit
77f27da
1 Parent(s): 680a7f2

Divided the prompt example to it's own subslide with code

Browse files
Files changed (1) hide show
  1. flisol-cordoba-2023.ipynb +20 -5
flisol-cordoba-2023.ipynb CHANGED
@@ -168,7 +168,7 @@
168
  "## 驴Qu茅 es un \"Transformer\"?\n",
169
  "\n",
170
  "- Es una arquitectura de red neuronal que se present贸 en el paper [\"Attention is All You Need\"](https://arxiv.org/abs/1706.03762).\n",
171
- "- Existen variantes:\n",
172
  " - Los modelos de traducci贸n de secuencia a secuencia (e.g. el [Transformer](https://arxiv.org/abs/1706.03762) o el [T5](https://arxiv.org/abs/1910.10683)). Tienen codificador y decodificador. Sirven para tareas de transformaci贸n (e.g. traducci贸n).\n",
173
  " - Los modelos basados en el codificador (e.g. [BERT](https://arxiv.org/abs/1810.04805)). Sirven para buscar representaciones vectoriales (embeddings) del texto.\n",
174
  " - Los modelos basados en el decodificador (e.g. [GPT](https://arxiv.org/abs/2005.14165)). Sirven para generaci贸n de texto.\n",
@@ -307,7 +307,7 @@
307
  },
308
  {
309
  "cell_type": "markdown",
310
- "id": "6e6b4464",
311
  "metadata": {
312
  "slideshow": {
313
  "slide_type": "subslide"
@@ -320,11 +320,26 @@
320
  "- Actualmente es m谩s un arte que una ciencia.\n",
321
  " - **No existe el \"prompt engineering\" porque los modelos no son determin铆sticos.**\n",
322
  "- Depende much铆simo del modelo, la inicializaci贸n aleatoria (i.e. la suerte), la tarea que se busca resolver, entre otros factores.\n",
323
- "- Siguiendo los ejemplos de [esta publicaci贸n](https://medium.com/@fractal.ai/create-conversational-agents-using-bloom-part-1-63a66e6321c0), y en vistas de armar un chatbot, buscar茅 definir 3 cosas:\n",
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
324
  " - La \"identidad\", i.e. 驴Qu茅 es?\n",
325
  " - La \"intenci贸n\", i.e. 驴Qu茅 hace?\n",
326
  " - El \"comportamiento\", i.e. 驴C贸mo lo hace?\n",
327
- "- Adem谩s, se le pueden dar ejemplos concretos de c贸mo se espera que interact煤e. Estos sirven a los LLMs para hacer lo que se conoce como \"Few Shot Learning\" (aunque no est谩n \"aprendiendo\", los ejemplos s贸lo ayudan a mejorar el contexto."
328
  ]
329
  },
330
  {
@@ -333,7 +348,7 @@
333
  "id": "c1227c49",
334
  "metadata": {
335
  "slideshow": {
336
- "slide_type": "subslide"
337
  }
338
  },
339
  "outputs": [],
 
168
  "## 驴Qu茅 es un \"Transformer\"?\n",
169
  "\n",
170
  "- Es una arquitectura de red neuronal que se present贸 en el paper [\"Attention is All You Need\"](https://arxiv.org/abs/1706.03762).\n",
171
+ "- Existen variantes, de acuerdo a que parte de la arquitectura usan:\n",
172
  " - Los modelos de traducci贸n de secuencia a secuencia (e.g. el [Transformer](https://arxiv.org/abs/1706.03762) o el [T5](https://arxiv.org/abs/1910.10683)). Tienen codificador y decodificador. Sirven para tareas de transformaci贸n (e.g. traducci贸n).\n",
173
  " - Los modelos basados en el codificador (e.g. [BERT](https://arxiv.org/abs/1810.04805)). Sirven para buscar representaciones vectoriales (embeddings) del texto.\n",
174
  " - Los modelos basados en el decodificador (e.g. [GPT](https://arxiv.org/abs/2005.14165)). Sirven para generaci贸n de texto.\n",
 
307
  },
308
  {
309
  "cell_type": "markdown",
310
+ "id": "e89d104b",
311
  "metadata": {
312
  "slideshow": {
313
  "slide_type": "subslide"
 
320
  "- Actualmente es m谩s un arte que una ciencia.\n",
321
  " - **No existe el \"prompt engineering\" porque los modelos no son determin铆sticos.**\n",
322
  "- Depende much铆simo del modelo, la inicializaci贸n aleatoria (i.e. la suerte), la tarea que se busca resolver, entre otros factores.\n",
323
+ "- Algo bastante com煤n es que se le den ejemplos concretos de c贸mo se espera que genere texto.\n",
324
+ " - A esta pr谩ctica se le conoce como [\"Few Shot Learning\"](https://arxiv.org/abs/2005.14165), si bien el modelo no \"aprende\" sino que busca contextos similares a los vistos en los ejemplos."
325
+ ]
326
+ },
327
+ {
328
+ "cell_type": "markdown",
329
+ "id": "6e6b4464",
330
+ "metadata": {
331
+ "slideshow": {
332
+ "slide_type": "subslide"
333
+ }
334
+ },
335
+ "source": [
336
+ "### Ejemplo de PROMPT\n",
337
+ "\n",
338
+ "- Siguiendo los ejemplos de [esta publicaci贸n](https://medium.com/@fractal.ai/create-conversational-agents-using-bloom-part-1-63a66e6321c0), y en vistas de armar un chatbot, buscar茅 definir 4 cosas:\n",
339
  " - La \"identidad\", i.e. 驴Qu茅 es?\n",
340
  " - La \"intenci贸n\", i.e. 驴Qu茅 hace?\n",
341
  " - El \"comportamiento\", i.e. 驴C贸mo lo hace?\n",
342
+ " - Adem谩s le dar茅 pie a que continu茅 una conversaci贸n (\"Few Shot Learning\")."
343
  ]
344
  },
345
  {
 
348
  "id": "c1227c49",
349
  "metadata": {
350
  "slideshow": {
351
+ "slide_type": "fragment"
352
  }
353
  },
354
  "outputs": [],