crscardellino
commited on
Commit
•
77f27da
1
Parent(s):
680a7f2
Divided the prompt example to it's own subslide with code
Browse files- flisol-cordoba-2023.ipynb +20 -5
flisol-cordoba-2023.ipynb
CHANGED
@@ -168,7 +168,7 @@
|
|
168 |
"## ¿Qué es un \"Transformer\"?\n",
|
169 |
"\n",
|
170 |
"- Es una arquitectura de red neuronal que se presentó en el paper [\"Attention is All You Need\"](https://arxiv.org/abs/1706.03762).\n",
|
171 |
-
"- Existen variantes:\n",
|
172 |
" - Los modelos de traducción de secuencia a secuencia (e.g. el [Transformer](https://arxiv.org/abs/1706.03762) o el [T5](https://arxiv.org/abs/1910.10683)). Tienen codificador y decodificador. Sirven para tareas de transformación (e.g. traducción).\n",
|
173 |
" - Los modelos basados en el codificador (e.g. [BERT](https://arxiv.org/abs/1810.04805)). Sirven para buscar representaciones vectoriales (embeddings) del texto.\n",
|
174 |
" - Los modelos basados en el decodificador (e.g. [GPT](https://arxiv.org/abs/2005.14165)). Sirven para generación de texto.\n",
|
@@ -307,7 +307,7 @@
|
|
307 |
},
|
308 |
{
|
309 |
"cell_type": "markdown",
|
310 |
-
"id": "
|
311 |
"metadata": {
|
312 |
"slideshow": {
|
313 |
"slide_type": "subslide"
|
@@ -320,11 +320,26 @@
|
|
320 |
"- Actualmente es más un arte que una ciencia.\n",
|
321 |
" - **No existe el \"prompt engineering\" porque los modelos no son determinísticos.**\n",
|
322 |
"- Depende muchísimo del modelo, la inicialización aleatoria (i.e. la suerte), la tarea que se busca resolver, entre otros factores.\n",
|
323 |
-
"-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
324 |
" - La \"identidad\", i.e. ¿Qué es?\n",
|
325 |
" - La \"intención\", i.e. ¿Qué hace?\n",
|
326 |
" - El \"comportamiento\", i.e. ¿Cómo lo hace?\n",
|
327 |
-
"- Además
|
328 |
]
|
329 |
},
|
330 |
{
|
@@ -333,7 +348,7 @@
|
|
333 |
"id": "c1227c49",
|
334 |
"metadata": {
|
335 |
"slideshow": {
|
336 |
-
"slide_type": "
|
337 |
}
|
338 |
},
|
339 |
"outputs": [],
|
|
|
168 |
"## ¿Qué es un \"Transformer\"?\n",
|
169 |
"\n",
|
170 |
"- Es una arquitectura de red neuronal que se presentó en el paper [\"Attention is All You Need\"](https://arxiv.org/abs/1706.03762).\n",
|
171 |
+
"- Existen variantes, de acuerdo a que parte de la arquitectura usan:\n",
|
172 |
" - Los modelos de traducción de secuencia a secuencia (e.g. el [Transformer](https://arxiv.org/abs/1706.03762) o el [T5](https://arxiv.org/abs/1910.10683)). Tienen codificador y decodificador. Sirven para tareas de transformación (e.g. traducción).\n",
|
173 |
" - Los modelos basados en el codificador (e.g. [BERT](https://arxiv.org/abs/1810.04805)). Sirven para buscar representaciones vectoriales (embeddings) del texto.\n",
|
174 |
" - Los modelos basados en el decodificador (e.g. [GPT](https://arxiv.org/abs/2005.14165)). Sirven para generación de texto.\n",
|
|
|
307 |
},
|
308 |
{
|
309 |
"cell_type": "markdown",
|
310 |
+
"id": "e89d104b",
|
311 |
"metadata": {
|
312 |
"slideshow": {
|
313 |
"slide_type": "subslide"
|
|
|
320 |
"- Actualmente es más un arte que una ciencia.\n",
|
321 |
" - **No existe el \"prompt engineering\" porque los modelos no son determinísticos.**\n",
|
322 |
"- Depende muchísimo del modelo, la inicialización aleatoria (i.e. la suerte), la tarea que se busca resolver, entre otros factores.\n",
|
323 |
+
"- Algo bastante común es que se le den ejemplos concretos de cómo se espera que genere texto.\n",
|
324 |
+
" - A esta práctica se le conoce como [\"Few Shot Learning\"](https://arxiv.org/abs/2005.14165), si bien el modelo no \"aprende\" sino que busca contextos similares a los vistos en los ejemplos."
|
325 |
+
]
|
326 |
+
},
|
327 |
+
{
|
328 |
+
"cell_type": "markdown",
|
329 |
+
"id": "6e6b4464",
|
330 |
+
"metadata": {
|
331 |
+
"slideshow": {
|
332 |
+
"slide_type": "subslide"
|
333 |
+
}
|
334 |
+
},
|
335 |
+
"source": [
|
336 |
+
"### Ejemplo de PROMPT\n",
|
337 |
+
"\n",
|
338 |
+
"- Siguiendo los ejemplos de [esta publicación](https://medium.com/@fractal.ai/create-conversational-agents-using-bloom-part-1-63a66e6321c0), y en vistas de armar un chatbot, buscaré definir 4 cosas:\n",
|
339 |
" - La \"identidad\", i.e. ¿Qué es?\n",
|
340 |
" - La \"intención\", i.e. ¿Qué hace?\n",
|
341 |
" - El \"comportamiento\", i.e. ¿Cómo lo hace?\n",
|
342 |
+
" - Además le daré pie a que continué una conversación (\"Few Shot Learning\")."
|
343 |
]
|
344 |
},
|
345 |
{
|
|
|
348 |
"id": "c1227c49",
|
349 |
"metadata": {
|
350 |
"slideshow": {
|
351 |
+
"slide_type": "fragment"
|
352 |
}
|
353 |
},
|
354 |
"outputs": [],
|