crscardellino commited on
Commit
77f27da
1 Parent(s): 680a7f2

Divided the prompt example to it's own subslide with code

Browse files
Files changed (1) hide show
  1. flisol-cordoba-2023.ipynb +20 -5
flisol-cordoba-2023.ipynb CHANGED
@@ -168,7 +168,7 @@
168
  "## ¿Qué es un \"Transformer\"?\n",
169
  "\n",
170
  "- Es una arquitectura de red neuronal que se presentó en el paper [\"Attention is All You Need\"](https://arxiv.org/abs/1706.03762).\n",
171
- "- Existen variantes:\n",
172
  " - Los modelos de traducción de secuencia a secuencia (e.g. el [Transformer](https://arxiv.org/abs/1706.03762) o el [T5](https://arxiv.org/abs/1910.10683)). Tienen codificador y decodificador. Sirven para tareas de transformación (e.g. traducción).\n",
173
  " - Los modelos basados en el codificador (e.g. [BERT](https://arxiv.org/abs/1810.04805)). Sirven para buscar representaciones vectoriales (embeddings) del texto.\n",
174
  " - Los modelos basados en el decodificador (e.g. [GPT](https://arxiv.org/abs/2005.14165)). Sirven para generación de texto.\n",
@@ -307,7 +307,7 @@
307
  },
308
  {
309
  "cell_type": "markdown",
310
- "id": "6e6b4464",
311
  "metadata": {
312
  "slideshow": {
313
  "slide_type": "subslide"
@@ -320,11 +320,26 @@
320
  "- Actualmente es más un arte que una ciencia.\n",
321
  " - **No existe el \"prompt engineering\" porque los modelos no son determinísticos.**\n",
322
  "- Depende muchísimo del modelo, la inicialización aleatoria (i.e. la suerte), la tarea que se busca resolver, entre otros factores.\n",
323
- "- Siguiendo los ejemplos de [esta publicación](https://medium.com/@fractal.ai/create-conversational-agents-using-bloom-part-1-63a66e6321c0), y en vistas de armar un chatbot, buscaré definir 3 cosas:\n",
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
324
  " - La \"identidad\", i.e. ¿Qué es?\n",
325
  " - La \"intención\", i.e. ¿Qué hace?\n",
326
  " - El \"comportamiento\", i.e. ¿Cómo lo hace?\n",
327
- "- Además, se le pueden dar ejemplos concretos de cómo se espera que interactúe. Estos sirven a los LLMs para hacer lo que se conoce como \"Few Shot Learning\" (aunque no están \"aprendiendo\", los ejemplos sólo ayudan a mejorar el contexto."
328
  ]
329
  },
330
  {
@@ -333,7 +348,7 @@
333
  "id": "c1227c49",
334
  "metadata": {
335
  "slideshow": {
336
- "slide_type": "subslide"
337
  }
338
  },
339
  "outputs": [],
168
  "## ¿Qué es un \"Transformer\"?\n",
169
  "\n",
170
  "- Es una arquitectura de red neuronal que se presentó en el paper [\"Attention is All You Need\"](https://arxiv.org/abs/1706.03762).\n",
171
+ "- Existen variantes, de acuerdo a que parte de la arquitectura usan:\n",
172
  " - Los modelos de traducción de secuencia a secuencia (e.g. el [Transformer](https://arxiv.org/abs/1706.03762) o el [T5](https://arxiv.org/abs/1910.10683)). Tienen codificador y decodificador. Sirven para tareas de transformación (e.g. traducción).\n",
173
  " - Los modelos basados en el codificador (e.g. [BERT](https://arxiv.org/abs/1810.04805)). Sirven para buscar representaciones vectoriales (embeddings) del texto.\n",
174
  " - Los modelos basados en el decodificador (e.g. [GPT](https://arxiv.org/abs/2005.14165)). Sirven para generación de texto.\n",
307
  },
308
  {
309
  "cell_type": "markdown",
310
+ "id": "e89d104b",
311
  "metadata": {
312
  "slideshow": {
313
  "slide_type": "subslide"
320
  "- Actualmente es más un arte que una ciencia.\n",
321
  " - **No existe el \"prompt engineering\" porque los modelos no son determinísticos.**\n",
322
  "- Depende muchísimo del modelo, la inicialización aleatoria (i.e. la suerte), la tarea que se busca resolver, entre otros factores.\n",
323
+ "- Algo bastante común es que se le den ejemplos concretos de cómo se espera que genere texto.\n",
324
+ " - A esta práctica se le conoce como [\"Few Shot Learning\"](https://arxiv.org/abs/2005.14165), si bien el modelo no \"aprende\" sino que busca contextos similares a los vistos en los ejemplos."
325
+ ]
326
+ },
327
+ {
328
+ "cell_type": "markdown",
329
+ "id": "6e6b4464",
330
+ "metadata": {
331
+ "slideshow": {
332
+ "slide_type": "subslide"
333
+ }
334
+ },
335
+ "source": [
336
+ "### Ejemplo de PROMPT\n",
337
+ "\n",
338
+ "- Siguiendo los ejemplos de [esta publicación](https://medium.com/@fractal.ai/create-conversational-agents-using-bloom-part-1-63a66e6321c0), y en vistas de armar un chatbot, buscaré definir 4 cosas:\n",
339
  " - La \"identidad\", i.e. ¿Qué es?\n",
340
  " - La \"intención\", i.e. ¿Qué hace?\n",
341
  " - El \"comportamiento\", i.e. ¿Cómo lo hace?\n",
342
+ " - Además le daré pie a que continué una conversación (\"Few Shot Learning\")."
343
  ]
344
  },
345
  {
348
  "id": "c1227c49",
349
  "metadata": {
350
  "slideshow": {
351
+ "slide_type": "fragment"
352
  }
353
  },
354
  "outputs": [],