Add first scripts

CARSE_Cleaning.ipynb

@@ -0,0 +1,1304 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 123,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import pandas as pd\n",
+    "import json\n",
+    "import math\n",
+    "import re"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Función para agrupar mensajes de Remitentes"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 105,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def agrupar_remitentes(texto_in):\n",
+    "    # Dividir el texto en líneas\n",
+    "    lineas = texto_in.strip().split('\\n')\n",
+    "\n",
+    "    # Procesar las líneas para agrupar los mensajes por remitente\n",
+    "    texto_out = \"\"\n",
+    "    ultimo_remitente = \"\"\n",
+    "    timestamp_actual = \"\"\n",
+    "\n",
+    "    for linea in lineas:\n",
+    "        # Verificar si la línea tiene un remitente (es decir, si es un nuevo mensaje)\n",
+    "        if re.match(r\"\\[\\d{2}/\\d{2}/\\d{2}, \\d{1,2}:\\d{2}:\\d{2} [a.p].m.\\] \\w+:\", linea):\n",
+    "            timestamp, remitente, mensaje = re.match(r\"(\\[\\d{2}/\\d{2}/\\d{2}, \\d{1,2}:\\d{2}:\\d{2} [a.p].m.\\]) (\\w+): (.*)\", linea).groups()\n",
+    "            # Si el remitente es diferente al último, se inicia un nuevo mensaje\n",
+    "            if remitente != ultimo_remitente:\n",
+    "                texto_out += f\"{timestamp} {remitente}: {mensaje}\\n\"\n",
+    "                ultimo_remitente = remitente\n",
+    "                timestamp_actual = timestamp\n",
+    "            else:\n",
+    "                # Añadir el mensaje actual al último mensaje del mismo remitente\n",
+    "                texto_out = texto_out.strip() + \"\\n\" + mensaje + \"\\n\"\n",
+    "        else:\n",
+    "            # Si la línea no tiene remitente, se añade al mensaje actual\n",
+    "            texto_out = texto_out.strip() + \"\\n\" + linea.strip() + \"\\n\"\n",
+    "\n",
+    "    texto_out = texto_out.strip()\n",
+    "\n",
+    "    return texto_out"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "### Prueba"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 106,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "[30/08/22, 4:11:28 p.m.] CarmenQ: Pues eso es bueno\n",
+      "Así te llenas cool\n",
+      "[30/08/22, 4:11:51 p.m.] Sebas: Pues si\n",
+      "Ya me la terminé\n",
+      "Ya voy a regresar\n",
+      "[30/08/22, 4:12:15 p.m.] CarmenQ: Que bueno\n",
+      "Ok amor\n",
+      "Mucha suerte\n",
+      "La verdad es que tengo mucho sueño\n",
+      "[30/08/22, 4:12:33 p.m.] Sebas: Gracias amorcito\n",
+      "Te amo mucho\n",
+      "[30/08/22, 4:12:40 p.m.] CarmenQ: Yo a ti\n"
+     ]
+    }
+   ],
+   "source": [
+    "texto_in = \"\"\"\n",
+    "[30/08/22, 4:11:28 p.m.] CarmenQ: Pues eso es bueno\n",
+    "[30/08/22, 4:11:33 p.m.] CarmenQ: Así te llenas cool\n",
+    "[30/08/22, 4:11:51 p.m.] Sebas: Pues si\n",
+    "[30/08/22, 4:11:55 p.m.] Sebas: Ya me la terminé\n",
+    "Ya voy a regresar\n",
+    "[30/08/22, 4:12:15 p.m.] CarmenQ: Que bueno\n",
+    "Ok amor\n",
+    "[30/08/22, 4:12:25 p.m.] CarmenQ: Mucha suerte\n",
+    "La verdad es que tengo mucho sueño\n",
+    "[30/08/22, 4:12:33 p.m.] Sebas: Gracias amorcito\n",
+    "Te amo mucho\n",
+    "[30/08/22, 4:12:40 p.m.] CarmenQ: Yo a ti\n",
+    "\"\"\"\n",
+    "\n",
+    "# Imprimir el texto transformado\n",
+    "print(agrupar_remitentes(texto_in))"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Función para dejar explícitos los Saltos de Línea"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 107,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def formatear_salto_linea(texto_entrada):\n",
+    "    # Dividimos el texto en líneas\n",
+    "    lineas = texto_entrada.split(\"\\n\")\n",
+    "\n",
+    "    texto_salida = \"\"\n",
+    "    mensaje_actual = \"\"\n",
+    "\n",
+    "    for linea in lineas:\n",
+    "        # Si la línea tiene el formato de timestamp, es un nuevo mensaje\n",
+    "        if \"[\" in linea and \"]\" in linea and \":\" in linea and linea[1:3].isdigit() and linea[4:6].isdigit():\n",
+    "            # Agregamos el mensaje anterior al texto de salida (si existe)\n",
+    "            if mensaje_actual:\n",
+    "                texto_salida += mensaje_actual + \"\\n\"\n",
+    "            mensaje_actual = linea\n",
+    "        else:\n",
+    "            # Si no es un nuevo mensaje, es una continuación del mensaje actual\n",
+    "            mensaje_actual += \"\\\\n\" + linea\n",
+    "\n",
+    "    # Agregamos el último mensaje al texto de salida\n",
+    "    texto_salida += mensaje_actual\n",
+    "\n",
+    "    return texto_salida"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "### Prueba"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 108,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "\\n\n",
+      "[09/10/23, 3:04:35 p.m.] Sebas: Que bueno amorrr, te creo\\nPues sigue aprendiendo un buennn\n",
+      "[05/10/23, 5:56:18 p.m.] CarmenQ: Ya ando en casa bb\n",
+      "[05/10/23, 6:06:25 p.m.] Sebas: Qué bueno mi amor, llegaron con bien?\\nLa verdad es que tengo un buen de sueño\\nY te extraño\n",
+      "[04/10/23, 6:29:34 p.m.] CarmenQ: Pues si quieres te paso a ver a tu casita mi amor\\nTienes clase hasta las 3 no?\n",
+      "[04/10/23, 7:20:44 p.m.] Sebas: Sí bb, justo tengo clase a esa hora\n",
+      "[04/10/23, 3:37:58 p.m.] CarmenQ: Solo deja acabo mi clase y te cuento\\nPero tienes que ponerme atención eh\n",
+      "[04/10/23, 3:44:47 p.m.] Sebas: Okey amor, cuando puedas, no hay prisa\n",
+      "[02/10/23, 10:44:20 p.m.] CarmenQ: Te paso a ver más tarde\\nO el jueves voy\\nYa que no tengo clase\n",
+      "[02/10/23, 10:45:05 p.m.] Sebas: Como como? En la noche?\n",
+      "[18/06/23, 11:00:27 p.m.] CarmenQ: Te amo mucho mi amor\n",
+      "[18/10/23, 11:11:24 p.m.] Sebas: Te amo mucho más mi C\\n\n"
+     ]
+    }
+   ],
+   "source": [
+    "texto_entrada = \"\"\"\n",
+    "[09/10/23, 3:04:35 p.m.] Sebas: Que bueno amorrr, te creo\n",
+    "Pues sigue aprendiendo un buennn\n",
+    "[05/10/23, 5:56:18 p.m.] CarmenQ: Ya ando en casa bb\n",
+    "[05/10/23, 6:06:25 p.m.] Sebas: Qué bueno mi amor, llegaron con bien?\n",
+    "La verdad es que tengo un buen de sueño\n",
+    "Y te extraño\n",
+    "[04/10/23, 6:29:34 p.m.] CarmenQ: Pues si quieres te paso a ver a tu casita mi amor\n",
+    "Tienes clase hasta las 3 no?\n",
+    "[04/10/23, 7:20:44 p.m.] Sebas: Sí bb, justo tengo clase a esa hora\n",
+    "[04/10/23, 3:37:58 p.m.] CarmenQ: Solo deja acabo mi clase y te cuento\n",
+    "Pero tienes que ponerme atención eh\n",
+    "[04/10/23, 3:44:47 p.m.] Sebas: Okey amor, cuando puedas, no hay prisa\n",
+    "[02/10/23, 10:44:20 p.m.] CarmenQ: Te paso a ver más tarde\n",
+    "O el jueves voy\n",
+    "Ya que no tengo clase\n",
+    "[02/10/23, 10:45:05 p.m.] Sebas: Como como? En la noche?\n",
+    "[18/06/23, 11:00:27 p.m.] CarmenQ: Te amo mucho mi amor\n",
+    "[18/10/23, 11:11:24 p.m.] Sebas: Te amo mucho más mi C\n",
+    "\"\"\"\n",
+    "\n",
+    "# Imprimir el texto transformado\n",
+    "print(formatear_salto_linea(texto_entrada))"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Función para eliminar Timestamps"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 109,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def eliminar_timestamps(texto_entrada):\n",
+    "    # Usamos una expresión regular para encontrar y eliminar los timestamps\n",
+    "    # La expresión regular busca un patrón de la forma [dd/mm/aa, hh:mm:ss am/pm]\n",
+    "    texto_salida = re.sub(r\"\\[\\d{2}/\\d{2}/\\d{2}, \\d{1,2}:\\d{2}:\\d{2} [ap]\\.m\\.\\] \", \"\", texto_entrada)\n",
+    "\n",
+    "    return texto_salida"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "### Prueba"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 110,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "\n",
+      "Sebas: Que bueno amorrr, te creo\n",
+      "Pues sigue aprendiendo un buennn\n",
+      "CarmenQ: Ya ando en casa bb\n",
+      "Sebas: Qué bueno mi amor, llegaron con bien?\n",
+      "La verdad es que tengo un buen de sueño\n",
+      "Y te extraño\n",
+      "CarmenQ: Pues si quieres te paso a ver a tu casita mi amor\n",
+      "Tienes clase hasta las 3 no?\n",
+      "Sebas: Sí bb, justo tengo clase a esa hora\n",
+      "CarmenQ: Solo deja acabo mi clase y te cuento\n",
+      "Pero tienes que ponerme atención eh\n",
+      "Sebas: Okey amor, cuando puedas, no hay prisa\n",
+      "CarmenQ: Te paso a ver más tarde\n",
+      "O el jueves voy\n",
+      "Ya que no tengo clase\n",
+      "Sebas: Como como? En la noche?\n",
+      "CarmenQ: Te amo mucho mi amor\n",
+      "Sebas: Te amo mucho más mi C\n",
+      "\n"
+     ]
+    }
+   ],
+   "source": [
+    "texto_entrada = \"\"\"\n",
+    "[09/10/23, 3:04:35 p.m.] Sebas: Que bueno amorrr, te creo\\nPues sigue aprendiendo un buennn\n",
+    "[05/10/23, 5:56:18 p.m.] CarmenQ: Ya ando en casa bb\n",
+    "[05/10/23, 6:06:25 p.m.] Sebas: Qué bueno mi amor, llegaron con bien?\\nLa verdad es que tengo un buen de sueño\\nY te extraño\n",
+    "[04/10/23, 6:29:34 p.m.] CarmenQ: Pues si quieres te paso a ver a tu casita mi amor\\nTienes clase hasta las 3 no?\n",
+    "[04/10/23, 7:20:44 p.m.] Sebas: Sí bb, justo tengo clase a esa hora\n",
+    "[04/10/23, 3:37:58 p.m.] CarmenQ: Solo deja acabo mi clase y te cuento\\nPero tienes que ponerme atención eh\n",
+    "[04/10/23, 3:44:47 p.m.] Sebas: Okey amor, cuando puedas, no hay prisa\n",
+    "[02/10/23, 10:44:20 p.m.] CarmenQ: Te paso a ver más tarde\\nO el jueves voy\\nYa que no tengo clase\n",
+    "[02/10/23, 10:45:05 p.m.] Sebas: Como como? En la noche?\n",
+    "[18/06/23, 11:00:27 p.m.] CarmenQ: Te amo mucho mi amor\n",
+    "[18/10/23, 11:11:24 p.m.] Sebas: Te amo mucho más mi C\n",
+    "\"\"\"\n",
+    "\n",
+    "# Imprimir el texto transformado\n",
+    "print(eliminar_timestamps(texto_entrada))"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "### Función para crear un Dataset con todos los mensajes de CarmenQ y Sebas"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 111,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def crear_dataset(texto_entrada):\n",
+    "    # Dividimos el texto en líneas\n",
+    "    lineas = texto_entrada.strip().split(\"\\n\")\n",
+    "\n",
+    "    # Crear listas para guardar los mensajes de CarmenQ y Sebas\n",
+    "    mensajes_carmen = []\n",
+    "    mensajes_sebas = []\n",
+    "\n",
+    "    # Variables temporales para guardar los mensajes actuales de CarmenQ y Sebas\n",
+    "    mensaje_carmen_actual = \"\"\n",
+    "    mensaje_sebas_actual = \"\"\n",
+    "    es_mensaje_carmen = False\n",
+    "\n",
+    "    for linea in lineas:\n",
+    "        if linea.startswith(\"CarmenQ:\"):\n",
+    "            # Si hay un mensaje previo de Sebas, lo guardamos junto con el mensaje de Carmen anterior\n",
+    "            if mensaje_sebas_actual:\n",
+    "                mensajes_carmen.append(mensaje_carmen_actual)\n",
+    "                mensajes_sebas.append(mensaje_sebas_actual)\n",
+    "                mensaje_sebas_actual = \"\"\n",
+    "\n",
+    "            mensaje_carmen_actual = linea[len(\"CarmenQ: \"):]\n",
+    "            es_mensaje_carmen = True\n",
+    "        elif linea.startswith(\"Sebas:\"):\n",
+    "            mensaje_sebas_actual = linea[len(\"Sebas: \"):]\n",
+    "            es_mensaje_carmen = False\n",
+    "        else:\n",
+    "            # Continuación del mensaje actual\n",
+    "            if es_mensaje_carmen:\n",
+    "                mensaje_carmen_actual += \"\\\\n\" + linea\n",
+    "            else:\n",
+    "                mensaje_sebas_actual += \"\\\\n\" + linea\n",
+    "\n",
+    "    # Agregar el último par de mensajes si existen\n",
+    "    if mensaje_carmen_actual and mensaje_sebas_actual:\n",
+    "        mensajes_carmen.append(mensaje_carmen_actual)\n",
+    "        mensajes_sebas.append(mensaje_sebas_actual)\n",
+    "\n",
+    "    # Crear el DataFrame\n",
+    "    df = pd.DataFrame({'CarmenQ': mensajes_carmen, 'Sebas': mensajes_sebas})\n",
+    "\n",
+    "    return df"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "### Prueba"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 112,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/html": [
+       "<div>\n",
+       "<style scoped>\n",
+       "    .dataframe tbody tr th:only-of-type {\n",
+       "        vertical-align: middle;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe tbody tr th {\n",
+       "        vertical-align: top;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe thead th {\n",
+       "        text-align: right;\n",
+       "    }\n",
+       "</style>\n",
+       "<table border=\"1\" class=\"dataframe\">\n",
+       "  <thead>\n",
+       "    <tr style=\"text-align: right;\">\n",
+       "      <th></th>\n",
+       "      <th>CarmenQ</th>\n",
+       "      <th>Sebas</th>\n",
+       "    </tr>\n",
+       "  </thead>\n",
+       "  <tbody>\n",
+       "    <tr>\n",
+       "      <th>0</th>\n",
+       "      <td>Quieres ver \\nuna peli?</td>\n",
+       "      <td>Sisisi, sí quierooo\\nVamos a ver Kung Fu Panda...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>1</th>\n",
+       "      <td>Podemos\\nver una\\nserie bb</td>\n",
+       "      <td>Uyyy sí\\namor, pero cuál? Ya hemos\\nvisto muchas</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>2</th>\n",
+       "      <td>Luego vemos la de Coraline?</td>\n",
+       "      <td>Cuando quieras mi amor, ya sabes que sí\\nPero ...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>3</th>\n",
+       "      <td>Si\\nte están\\ngustando las pelis bb?</td>\n",
+       "      <td>Si amorrrr, mucho\\nA ver cuándo me invitar a v...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>4</th>\n",
+       "      <td>Ya ponle a la peli padrino</td>\n",
+       "      <td>JAJAJA voy amor, no me presiones</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>5</th>\n",
+       "      <td>Regresando vemos la peli si?</td>\n",
+       "      <td>Si mi amorrrr, ya justo que regreses ya ando a...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>6</th>\n",
+       "      <td>En un\\nratito quieres que veamos la peli?</td>\n",
+       "      <td>Sí amor, estaría perfecto\\nPero si está chafa,...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>7</th>\n",
+       "      <td>O podemos ver la peli amor</td>\n",
+       "      <td>Pues yo si quiero ir a ver la peli, así que es...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>8</th>\n",
+       "      <td>Que quieres ver bb?\\nUna serie o peli?</td>\n",
+       "      <td>Tal vez una peli, no? Que luego me cuesta segu...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>9</th>\n",
+       "      <td>Andamos viendo una peli</td>\n",
+       "      <td>Cómo se llama la peli?</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>10</th>\n",
+       "      <td>Yo me voy a bañar rápido\\nEn lo que te aclimat...</td>\n",
+       "      <td>Vale mi amor, disfruta tu baño\\nSabes que me e...</td>\n",
+       "    </tr>\n",
+       "  </tbody>\n",
+       "</table>\n",
+       "</div>"
+      ],
+      "text/plain": [
+       "                                              CarmenQ  \\\n",
+       "0                             Quieres ver \\nuna peli?   \n",
+       "1                          Podemos\\nver una\\nserie bb   \n",
+       "2                         Luego vemos la de Coraline?   \n",
+       "3                Si\\nte están\\ngustando las pelis bb?   \n",
+       "4                          Ya ponle a la peli padrino   \n",
+       "5                        Regresando vemos la peli si?   \n",
+       "6           En un\\nratito quieres que veamos la peli?   \n",
+       "7                          O podemos ver la peli amor   \n",
+       "8              Que quieres ver bb?\\nUna serie o peli?   \n",
+       "9                             Andamos viendo una peli   \n",
+       "10  Yo me voy a bañar rápido\\nEn lo que te aclimat...   \n",
+       "\n",
+       "                                                Sebas  \n",
+       "0   Sisisi, sí quierooo\\nVamos a ver Kung Fu Panda...  \n",
+       "1    Uyyy sí\\namor, pero cuál? Ya hemos\\nvisto muchas  \n",
+       "2   Cuando quieras mi amor, ya sabes que sí\\nPero ...  \n",
+       "3   Si amorrrr, mucho\\nA ver cuándo me invitar a v...  \n",
+       "4                    JAJAJA voy amor, no me presiones  \n",
+       "5   Si mi amorrrr, ya justo que regreses ya ando a...  \n",
+       "6   Sí amor, estaría perfecto\\nPero si está chafa,...  \n",
+       "7   Pues yo si quiero ir a ver la peli, así que es...  \n",
+       "8   Tal vez una peli, no? Que luego me cuesta segu...  \n",
+       "9                              Cómo se llama la peli?  \n",
+       "10  Vale mi amor, disfruta tu baño\\nSabes que me e...  "
+      ]
+     },
+     "execution_count": 112,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "text = \"\"\"\n",
+    "CarmenQ: Quieres ver \\nuna peli?\n",
+    "Sebas: Sisisi, sí quierooo\\nVamos a ver Kung Fu Panda? Jejeje\n",
+    "CarmenQ: Podemos\\nver una\\nserie bb\n",
+    "Sebas: Uyyy sí\\namor, pero cuál? Ya hemos\\nvisto muchas\n",
+    "CarmenQ: Luego vemos la de Coraline?\n",
+    "Sebas: Cuando quieras mi amor, ya sabes que sí\\nPero a ver si vamos a comprar unas palomitas también, nooo?\n",
+    "CarmenQ: Si\\nte están\\ngustando las pelis bb?\n",
+    "Sebas: Si amorrrr, mucho\\nA ver cuándo me invitar a ver las otras\n",
+    "CarmenQ: Ya ponle a la peli padrino\n",
+    "Sebas: JAJAJA voy amor, no me presiones\n",
+    "CarmenQ: Regresando vemos la peli si?\n",
+    "Sebas: Si mi amorrrr, ya justo que regreses ya ando aquí con Netflix prendido\n",
+    "CarmenQ: En un\\nratito quieres que veamos la peli?\n",
+    "Sebas: Sí amor, estaría perfecto\\nPero si está chafa, me debes un helado\n",
+    "CarmenQ: O podemos ver la peli amor\n",
+    "Sebas: Pues yo si quiero ir a ver la peli, así que estoy puesto\n",
+    "CarmenQ: Que quieres ver bb?\\nUna serie o peli?\n",
+    "Sebas: Tal vez una peli, no? Que luego me cuesta seguirle a las series\n",
+    "CarmenQ: Andamos viendo una peli\n",
+    "Sebas: Cómo se llama la peli?\n",
+    "CarmenQ: Yo me voy a bañar rápido\\nEn lo que te aclimatas y todo\\nY vemos la peli si tienes ganas\n",
+    "Sebas: Vale mi amor, disfruta tu baño\\nSabes que me encantaría ver una peli a distancia\n",
+    "\"\"\"\n",
+    "\n",
+    "df = crear_dataset(text)\n",
+    "df"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Llamado a todas las funciones para crear el archivo de Texto Final y el Dataset con las conversaciones"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 113,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# Ruta del archivo de texto\n",
+    "ruta_archivo = 'Prompts_finales.txt' \n",
+    "ruta_archivo_salida_texto = 'Prompts_finales_transformados.txt'\n",
+    "\n",
+    "# Leer el contenido del archivo\n",
+    "with open(ruta_archivo, 'r', encoding='utf-8') as archivo:\n",
+    "    texto = archivo.read()\n",
+    "\n",
+    "# Hacer todas las transformaciones\n",
+    "texto_agrupado = agrupar_remitentes(texto)\n",
+    "texto_linea = formatear_salto_linea(texto_agrupado)\n",
+    "texto_sin_timestamp = eliminar_timestamps(texto_linea)\n",
+    "\n",
+    "# Escribir el texto modificado en el archivo de salida\n",
+    "with open(ruta_archivo_salida_texto, 'w', encoding='utf-8') as archivo_salida:\n",
+    "    archivo_salida.write(texto_sin_timestamp)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 114,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/html": [
+       "<div>\n",
+       "<style scoped>\n",
+       "    .dataframe tbody tr th:only-of-type {\n",
+       "        vertical-align: middle;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe tbody tr th {\n",
+       "        vertical-align: top;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe thead th {\n",
+       "        text-align: right;\n",
+       "    }\n",
+       "</style>\n",
+       "<table border=\"1\" class=\"dataframe\">\n",
+       "  <thead>\n",
+       "    <tr style=\"text-align: right;\">\n",
+       "      <th></th>\n",
+       "      <th>CarmenQ</th>\n",
+       "      <th>Sebas</th>\n",
+       "    </tr>\n",
+       "  </thead>\n",
+       "  <tbody>\n",
+       "    <tr>\n",
+       "      <th>0</th>\n",
+       "      <td>Buenos días mi amorchis, cómo dormiste hoy?</td>\n",
+       "      <td>Buenos días mi amorrrr\\nBien bien, pero hacía ...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>1</th>\n",
+       "      <td>Holis mi amor, espero que tengas un muy bonito...</td>\n",
+       "      <td>Hola hola bebitaaaa, te amo mucho másss\\nTambi...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>2</th>\n",
+       "      <td>Buenos días mi bb, disfruta mucho tu día guapo</td>\n",
+       "      <td>Buenos días amorrr, graciassssss\\nTambién disf...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>3</th>\n",
+       "      <td>Buenos días mi amor, espero que hayas podido d...</td>\n",
+       "      <td>Hola mi amorcito, cómo amaneciste hoyyy???\\nTa...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>4</th>\n",
+       "      <td>Hellouuuuu, te amo mucho guapiiii, ten lindo dia</td>\n",
+       "      <td>Holi mi vida, cómo estás hoy??\\nTe amo mucho m...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>...</th>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>665</th>\n",
+       "      <td>Dime algo bonito</td>\n",
+       "      <td>Hmmmm vemos. Deposítame 5 mil pesotes y va JAJ...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>666</th>\n",
+       "      <td>Dime algo bonito</td>\n",
+       "      <td>Yo digo que tal vez el universo ha dicho que e...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>667</th>\n",
+       "      <td>Oye dime algo bonito</td>\n",
+       "      <td>Deja veo si ya me depositaste en mi cuenta y v...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>668</th>\n",
+       "      <td>Oye dime algo bonito</td>\n",
+       "      <td>Algo bonito? Tuuuuu, mi C, estás hermosa\\nTeng...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>669</th>\n",
+       "      <td>Oye dime algo bonito</td>\n",
+       "      <td>Solo si veo un depósito en mi cuenta en menos ...</td>\n",
+       "    </tr>\n",
+       "  </tbody>\n",
+       "</table>\n",
+       "<p>670 rows × 2 columns</p>\n",
+       "</div>"
+      ],
+      "text/plain": [
+       "                                               CarmenQ  \\\n",
+       "0          Buenos días mi amorchis, cómo dormiste hoy?   \n",
+       "1    Holis mi amor, espero que tengas un muy bonito...   \n",
+       "2       Buenos días mi bb, disfruta mucho tu día guapo   \n",
+       "3    Buenos días mi amor, espero que hayas podido d...   \n",
+       "4    Hellouuuuu, te amo mucho guapiiii, ten lindo dia    \n",
+       "..                                                 ...   \n",
+       "665                                   Dime algo bonito   \n",
+       "666                                   Dime algo bonito   \n",
+       "667                               Oye dime algo bonito   \n",
+       "668                               Oye dime algo bonito   \n",
+       "669                               Oye dime algo bonito   \n",
+       "\n",
+       "                                                 Sebas  \n",
+       "0    Buenos días mi amorrrr\\nBien bien, pero hacía ...  \n",
+       "1    Hola hola bebitaaaa, te amo mucho másss\\nTambi...  \n",
+       "2    Buenos días amorrr, graciassssss\\nTambién disf...  \n",
+       "3    Hola mi amorcito, cómo amaneciste hoyyy???\\nTa...  \n",
+       "4    Holi mi vida, cómo estás hoy??\\nTe amo mucho m...  \n",
+       "..                                                 ...  \n",
+       "665  Hmmmm vemos. Deposítame 5 mil pesotes y va JAJ...  \n",
+       "666  Yo digo que tal vez el universo ha dicho que e...  \n",
+       "667  Deja veo si ya me depositaste en mi cuenta y v...  \n",
+       "668  Algo bonito? Tuuuuu, mi C, estás hermosa\\nTeng...  \n",
+       "669  Solo si veo un depósito en mi cuenta en menos ...  \n",
+       "\n",
+       "[670 rows x 2 columns]"
+      ]
+     },
+     "execution_count": 114,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "chat_df = crear_dataset(texto_sin_timestamp)\n",
+    "chat_df"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Agregamos la columna 'system' y transformamos el Dataset"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 115,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def agregar_columna_system(df):\n",
+    "    # Definimos el contenido de la columna 'system'\n",
+    "    contenido_system = \"\"\"CARSE es un chatbot que imita el estilo en que Sebas conversa. Fue creado con amor solo para Carmen. Su objetivo es ofrecer una experiencia de chat divertida y familiar que exprese la personalidad, el humor y el amor de Sebas hacia Carmen.\"\"\"\n",
+    "\n",
+    "    # Agregamos la columna al DataFrame\n",
+    "    df.insert(0, 'system', contenido_system)\n",
+    "\n",
+    "    return df"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 116,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/html": [
+       "<div>\n",
+       "<style scoped>\n",
+       "    .dataframe tbody tr th:only-of-type {\n",
+       "        vertical-align: middle;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe tbody tr th {\n",
+       "        vertical-align: top;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe thead th {\n",
+       "        text-align: right;\n",
+       "    }\n",
+       "</style>\n",
+       "<table border=\"1\" class=\"dataframe\">\n",
+       "  <thead>\n",
+       "    <tr style=\"text-align: right;\">\n",
+       "      <th></th>\n",
+       "      <th>system</th>\n",
+       "      <th>CarmenQ</th>\n",
+       "      <th>Sebas</th>\n",
+       "    </tr>\n",
+       "  </thead>\n",
+       "  <tbody>\n",
+       "    <tr>\n",
+       "      <th>0</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Buenos días mi amorchis, cómo dormiste hoy?</td>\n",
+       "      <td>Buenos días mi amorrrr\\nBien bien, pero hacía ...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>1</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Holis mi amor, espero que tengas un muy bonito...</td>\n",
+       "      <td>Hola hola bebitaaaa, te amo mucho másss\\nTambi...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>2</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Buenos días mi bb, disfruta mucho tu día guapo</td>\n",
+       "      <td>Buenos días amorrr, graciassssss\\nTambién disf...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>3</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Buenos días mi amor, espero que hayas podido d...</td>\n",
+       "      <td>Hola mi amorcito, cómo amaneciste hoyyy???\\nTa...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>4</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Hellouuuuu, te amo mucho guapiiii, ten lindo dia</td>\n",
+       "      <td>Holi mi vida, cómo estás hoy??\\nTe amo mucho m...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>...</th>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>665</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Dime algo bonito</td>\n",
+       "      <td>Hmmmm vemos. Deposítame 5 mil pesotes y va JAJ...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>666</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Dime algo bonito</td>\n",
+       "      <td>Yo digo que tal vez el universo ha dicho que e...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>667</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Oye dime algo bonito</td>\n",
+       "      <td>Deja veo si ya me depositaste en mi cuenta y v...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>668</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Oye dime algo bonito</td>\n",
+       "      <td>Algo bonito? Tuuuuu, mi C, estás hermosa\\nTeng...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>669</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Oye dime algo bonito</td>\n",
+       "      <td>Solo si veo un depósito en mi cuenta en menos ...</td>\n",
+       "    </tr>\n",
+       "  </tbody>\n",
+       "</table>\n",
+       "<p>670 rows × 3 columns</p>\n",
+       "</div>"
+      ],
+      "text/plain": [
+       "                                                system  \\\n",
+       "0    CARSE es un chatbot que imita el estilo en que...   \n",
+       "1    CARSE es un chatbot que imita el estilo en que...   \n",
+       "2    CARSE es un chatbot que imita el estilo en que...   \n",
+       "3    CARSE es un chatbot que imita el estilo en que...   \n",
+       "4    CARSE es un chatbot que imita el estilo en que...   \n",
+       "..                                                 ...   \n",
+       "665  CARSE es un chatbot que imita el estilo en que...   \n",
+       "666  CARSE es un chatbot que imita el estilo en que...   \n",
+       "667  CARSE es un chatbot que imita el estilo en que...   \n",
+       "668  CARSE es un chatbot que imita el estilo en que...   \n",
+       "669  CARSE es un chatbot que imita el estilo en que...   \n",
+       "\n",
+       "                                               CarmenQ  \\\n",
+       "0          Buenos días mi amorchis, cómo dormiste hoy?   \n",
+       "1    Holis mi amor, espero que tengas un muy bonito...   \n",
+       "2       Buenos días mi bb, disfruta mucho tu día guapo   \n",
+       "3    Buenos días mi amor, espero que hayas podido d...   \n",
+       "4    Hellouuuuu, te amo mucho guapiiii, ten lindo dia    \n",
+       "..                                                 ...   \n",
+       "665                                   Dime algo bonito   \n",
+       "666                                   Dime algo bonito   \n",
+       "667                               Oye dime algo bonito   \n",
+       "668                               Oye dime algo bonito   \n",
+       "669                               Oye dime algo bonito   \n",
+       "\n",
+       "                                                 Sebas  \n",
+       "0    Buenos días mi amorrrr\\nBien bien, pero hacía ...  \n",
+       "1    Hola hola bebitaaaa, te amo mucho másss\\nTambi...  \n",
+       "2    Buenos días amorrr, graciassssss\\nTambién disf...  \n",
+       "3    Hola mi amorcito, cómo amaneciste hoyyy???\\nTa...  \n",
+       "4    Holi mi vida, cómo estás hoy??\\nTe amo mucho m...  \n",
+       "..                                                 ...  \n",
+       "665  Hmmmm vemos. Deposítame 5 mil pesotes y va JAJ...  \n",
+       "666  Yo digo que tal vez el universo ha dicho que e...  \n",
+       "667  Deja veo si ya me depositaste en mi cuenta y v...  \n",
+       "668  Algo bonito? Tuuuuu, mi C, estás hermosa\\nTeng...  \n",
+       "669  Solo si veo un depósito en mi cuenta en menos ...  \n",
+       "\n",
+       "[670 rows x 3 columns]"
+      ]
+     },
+     "execution_count": 116,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "# Llamamos a la función para agregar la columna 'system'\n",
+    "chat_df = agregar_columna_system(chat_df)\n",
+    "chat_df"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 117,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def renombrar_columnas(df):\n",
+    "    # Cambiamos el nombre de las columnas\n",
+    "    df.rename(columns={'CarmenQ': 'user', 'Sebas': 'assistant'}, inplace=True)\n",
+    "\n",
+    "    return df"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 118,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/html": [
+       "<div>\n",
+       "<style scoped>\n",
+       "    .dataframe tbody tr th:only-of-type {\n",
+       "        vertical-align: middle;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe tbody tr th {\n",
+       "        vertical-align: top;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe thead th {\n",
+       "        text-align: right;\n",
+       "    }\n",
+       "</style>\n",
+       "<table border=\"1\" class=\"dataframe\">\n",
+       "  <thead>\n",
+       "    <tr style=\"text-align: right;\">\n",
+       "      <th></th>\n",
+       "      <th>system</th>\n",
+       "      <th>user</th>\n",
+       "      <th>assistant</th>\n",
+       "    </tr>\n",
+       "  </thead>\n",
+       "  <tbody>\n",
+       "    <tr>\n",
+       "      <th>0</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Buenos días mi amorchis, cómo dormiste hoy?</td>\n",
+       "      <td>Buenos días mi amorrrr\\nBien bien, pero hacía ...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>1</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Holis mi amor, espero que tengas un muy bonito...</td>\n",
+       "      <td>Hola hola bebitaaaa, te amo mucho másss\\nTambi...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>2</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Buenos días mi bb, disfruta mucho tu día guapo</td>\n",
+       "      <td>Buenos días amorrr, graciassssss\\nTambién disf...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>3</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Buenos días mi amor, espero que hayas podido d...</td>\n",
+       "      <td>Hola mi amorcito, cómo amaneciste hoyyy???\\nTa...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>4</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Hellouuuuu, te amo mucho guapiiii, ten lindo dia</td>\n",
+       "      <td>Holi mi vida, cómo estás hoy??\\nTe amo mucho m...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>...</th>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>665</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Dime algo bonito</td>\n",
+       "      <td>Hmmmm vemos. Deposítame 5 mil pesotes y va JAJ...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>666</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Dime algo bonito</td>\n",
+       "      <td>Yo digo que tal vez el universo ha dicho que e...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>667</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Oye dime algo bonito</td>\n",
+       "      <td>Deja veo si ya me depositaste en mi cuenta y v...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>668</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Oye dime algo bonito</td>\n",
+       "      <td>Algo bonito? Tuuuuu, mi C, estás hermosa\\nTeng...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>669</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Oye dime algo bonito</td>\n",
+       "      <td>Solo si veo un depósito en mi cuenta en menos ...</td>\n",
+       "    </tr>\n",
+       "  </tbody>\n",
+       "</table>\n",
+       "<p>670 rows × 3 columns</p>\n",
+       "</div>"
+      ],
+      "text/plain": [
+       "                                                system  \\\n",
+       "0    CARSE es un chatbot que imita el estilo en que...   \n",
+       "1    CARSE es un chatbot que imita el estilo en que...   \n",
+       "2    CARSE es un chatbot que imita el estilo en que...   \n",
+       "3    CARSE es un chatbot que imita el estilo en que...   \n",
+       "4    CARSE es un chatbot que imita el estilo en que...   \n",
+       "..                                                 ...   \n",
+       "665  CARSE es un chatbot que imita el estilo en que...   \n",
+       "666  CARSE es un chatbot que imita el estilo en que...   \n",
+       "667  CARSE es un chatbot que imita el estilo en que...   \n",
+       "668  CARSE es un chatbot que imita el estilo en que...   \n",
+       "669  CARSE es un chatbot que imita el estilo en que...   \n",
+       "\n",
+       "                                                  user  \\\n",
+       "0          Buenos días mi amorchis, cómo dormiste hoy?   \n",
+       "1    Holis mi amor, espero que tengas un muy bonito...   \n",
+       "2       Buenos días mi bb, disfruta mucho tu día guapo   \n",
+       "3    Buenos días mi amor, espero que hayas podido d...   \n",
+       "4    Hellouuuuu, te amo mucho guapiiii, ten lindo dia    \n",
+       "..                                                 ...   \n",
+       "665                                   Dime algo bonito   \n",
+       "666                                   Dime algo bonito   \n",
+       "667                               Oye dime algo bonito   \n",
+       "668                               Oye dime algo bonito   \n",
+       "669                               Oye dime algo bonito   \n",
+       "\n",
+       "                                             assistant  \n",
+       "0    Buenos días mi amorrrr\\nBien bien, pero hacía ...  \n",
+       "1    Hola hola bebitaaaa, te amo mucho másss\\nTambi...  \n",
+       "2    Buenos días amorrr, graciassssss\\nTambién disf...  \n",
+       "3    Hola mi amorcito, cómo amaneciste hoyyy???\\nTa...  \n",
+       "4    Holi mi vida, cómo estás hoy??\\nTe amo mucho m...  \n",
+       "..                                                 ...  \n",
+       "665  Hmmmm vemos. Deposítame 5 mil pesotes y va JAJ...  \n",
+       "666  Yo digo que tal vez el universo ha dicho que e...  \n",
+       "667  Deja veo si ya me depositaste en mi cuenta y v...  \n",
+       "668  Algo bonito? Tuuuuu, mi C, estás hermosa\\nTeng...  \n",
+       "669  Solo si veo un depósito en mi cuenta en menos ...  \n",
+       "\n",
+       "[670 rows x 3 columns]"
+      ]
+     },
+     "execution_count": 118,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "# Llamamos a la función para renombrar las columnas en el dataset\n",
+    "chat_df = renombrar_columnas(chat_df)\n",
+    "chat_df"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 119,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/html": [
+       "<div>\n",
+       "<style scoped>\n",
+       "    .dataframe tbody tr th:only-of-type {\n",
+       "        vertical-align: middle;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe tbody tr th {\n",
+       "        vertical-align: top;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe thead th {\n",
+       "        text-align: right;\n",
+       "    }\n",
+       "</style>\n",
+       "<table border=\"1\" class=\"dataframe\">\n",
+       "  <thead>\n",
+       "    <tr style=\"text-align: right;\">\n",
+       "      <th></th>\n",
+       "      <th>system</th>\n",
+       "      <th>user</th>\n",
+       "      <th>assistant</th>\n",
+       "    </tr>\n",
+       "  </thead>\n",
+       "  <tbody>\n",
+       "    <tr>\n",
+       "      <th>0</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Tengo mucho sueño aún</td>\n",
+       "      <td>Ay amorcito, a ver si te echas a dormir en el ...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>1</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Ay amor que frío hace</td>\n",
+       "      <td>Pues que bueno, mínimo no estamos sudando</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>2</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Ya adivina\\nLo que se te ocurra</td>\n",
+       "      <td>Esque no se me ocurrió nada mas</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>3</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Biennnn, pero tengo sueño aún</td>\n",
+       "      <td>Si tienes descanso, duerme</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>4</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Yo te amo massssss</td>\n",
+       "      <td>Eso es mega feik eh</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>...</th>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>665</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Pues ya toca casarnos</td>\n",
+       "      <td>Por fiiiin, ya te habías tardado en decir eso</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>666</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Biennnnn\\n¿Y tu?</td>\n",
+       "      <td>Bien igual</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>667</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>JAJAJJAJAJA no</td>\n",
+       "      <td>Ya dimeeeee</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>668</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Casarme contigo algún día</td>\n",
+       "      <td>Awwww amoorr, sí quiero casarme contigo algún ...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>669</th>\n",
+       "      <td>CARSE es un chatbot que imita el estilo en que...</td>\n",
+       "      <td>Me estaba acabando el café</td>\n",
+       "      <td>Disfruta tu cafecito</td>\n",
+       "    </tr>\n",
+       "  </tbody>\n",
+       "</table>\n",
+       "<p>670 rows × 3 columns</p>\n",
+       "</div>"
+      ],
+      "text/plain": [
+       "                                                system  \\\n",
+       "0    CARSE es un chatbot que imita el estilo en que...   \n",
+       "1    CARSE es un chatbot que imita el estilo en que...   \n",
+       "2    CARSE es un chatbot que imita el estilo en que...   \n",
+       "3    CARSE es un chatbot que imita el estilo en que...   \n",
+       "4    CARSE es un chatbot que imita el estilo en que...   \n",
+       "..                                                 ...   \n",
+       "665  CARSE es un chatbot que imita el estilo en que...   \n",
+       "666  CARSE es un chatbot que imita el estilo en que...   \n",
+       "667  CARSE es un chatbot que imita el estilo en que...   \n",
+       "668  CARSE es un chatbot que imita el estilo en que...   \n",
+       "669  CARSE es un chatbot que imita el estilo en que...   \n",
+       "\n",
+       "                                user  \\\n",
+       "0              Tengo mucho sueño aún   \n",
+       "1              Ay amor que frío hace   \n",
+       "2    Ya adivina\\nLo que se te ocurra   \n",
+       "3      Biennnn, pero tengo sueño aún   \n",
+       "4                 Yo te amo massssss   \n",
+       "..                               ...   \n",
+       "665            Pues ya toca casarnos   \n",
+       "666                 Biennnnn\\n¿Y tu?   \n",
+       "667                   JAJAJJAJAJA no   \n",
+       "668        Casarme contigo algún día   \n",
+       "669       Me estaba acabando el café   \n",
+       "\n",
+       "                                             assistant  \n",
+       "0    Ay amorcito, a ver si te echas a dormir en el ...  \n",
+       "1            Pues que bueno, mínimo no estamos sudando  \n",
+       "2                      Esque no se me ocurrió nada mas  \n",
+       "3                           Si tienes descanso, duerme  \n",
+       "4                                  Eso es mega feik eh  \n",
+       "..                                                 ...  \n",
+       "665      Por fiiiin, ya te habías tardado en decir eso  \n",
+       "666                                         Bien igual  \n",
+       "667                                        Ya dimeeeee  \n",
+       "668  Awwww amoorr, sí quiero casarme contigo algún ...  \n",
+       "669                               Disfruta tu cafecito  \n",
+       "\n",
+       "[670 rows x 3 columns]"
+      ]
+     },
+     "execution_count": 119,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "# Revolvemos el orden de los datos\n",
+    "chat_df = chat_df.sample(frac=1, random_state=20210703).reset_index(drop=True)\n",
+    "chat_df"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "### Función para crear el archivo JSONL que requiere OpenAI para entrenar"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 120,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def crear_json(df,nombre_json):\n",
+    "\n",
+    "    jsonl_data = []\n",
+    "\n",
+    "    for index, row in df.iterrows():\n",
+    "        message_list = [\n",
+    "            {\"role\": \"system\", \"content\": row['system']},\n",
+    "            {\"role\": \"user\", \"content\": row['user']},\n",
+    "            {\"role\": \"assistant\", \"content\": row['assistant']}\n",
+    "        ]\n",
+    "        jsonl_data.append({\"messages\": message_list})\n",
+    "    \n",
+    "    # Guardar en un archivo JSONL con codificación UTF-8\n",
+    "    with open(nombre_json, 'w', encoding='utf-8') as file:\n",
+    "        for item in jsonl_data:\n",
+    "            file.write(json.dumps(item, ensure_ascii=False) + '\\n')"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 121,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "nombre_json = 'Training_data/prompts_finales.jsonl'\n",
+    "\n",
+    "crear_json(chat_df,nombre_json)\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "### Separación del File de entrenamiento en partes iguales"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 122,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "El archivo tiene 670 líneas.\n"
+     ]
+    }
+   ],
+   "source": [
+    "# Ruta del archivo JSONL\n",
+    "archivo_jsonl = 'Training_data/prompts_finales.jsonl'\n",
+    "\n",
+    "# Contar las líneas\n",
+    "try:\n",
+    "    with open(archivo_jsonl, 'r', encoding='utf-8') as file:\n",
+    "        lineas = sum(1 for _ in file)\n",
+    "    print(f\"El archivo tiene {lineas} líneas.\")\n",
+    "except FileNotFoundError:\n",
+    "    print(\"Archivo no encontrado. Por favor verifica la ruta.\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 124,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def dividir_jsonl(ruta_original, num_partes):\n",
+    "    # Leer el archivo original\n",
+    "    with open(ruta_original, 'r', encoding='utf-8') as file:\n",
+    "        lineas = file.readlines()\n",
+    "\n",
+    "    # Calcular el tamaño de cada parte\n",
+    "    total_lineas = len(lineas)\n",
+    "    tamaño_parte = math.ceil(total_lineas / num_partes)\n",
+    "\n",
+    "    # Dividir y guardar las partes\n",
+    "    for i in range(num_partes):\n",
+    "        parte = lineas[i*tamaño_parte:(i+1)*tamaño_parte]\n",
+    "        ruta_nueva = ruta_original.replace('.jsonl', f'_{i+1}.jsonl')\n",
+    "        with open(ruta_nueva, 'w', encoding='utf-8') as new_file:\n",
+    "            new_file.writelines(parte)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 125,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "dividir_jsonl('Training_data/prompts_finales.jsonl', 5)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "base",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.9.7"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

CARSE_Prep.ipynb

@@ -0,0 +1 @@
+{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"provenance":[],"authorship_tag":"ABX9TyMzN+lsyb4smMC9hf/gYgCs"},"kernelspec":{"name":"python3","display_name":"Python 3"},"language_info":{"name":"python"}},"cells":[{"cell_type":"code","source":["#! pip install tiktoken"],"metadata":{"id":"pEb6CJl3ZFKP","executionInfo":{"status":"ok","timestamp":1702156660830,"user_tz":360,"elapsed":173,"user":{"displayName":"Sebastián M.","userId":"05974347998580401662"}}},"execution_count":17,"outputs":[]},{"cell_type":"code","execution_count":18,"metadata":{"id":"zj6dSJC3Y01I","executionInfo":{"status":"ok","timestamp":1702156660831,"user_tz":360,"elapsed":2,"user":{"displayName":"Sebastián M.","userId":"05974347998580401662"}}},"outputs":[],"source":["import json\n","import tiktoken # for token counting\n","import numpy as np\n","from collections import defaultdict"]},{"cell_type":"markdown","source":["<br>\n","<br>\n","<br>\n","\n","## Data Loading"],"metadata":{"id":"SmN-A6KJZQPo"}},{"cell_type":"code","source":["data_path = \"CARSE_data/prompts_finales.jsonl\"\n","\n","# Load the dataset\n","with open(data_path, 'r', encoding='utf-8') as f:\n","    dataset = [json.loads(line) for line in f]\n","\n","# Initial dataset stats\n","print(\"\\nNum examples:\", len(dataset))\n","print(\"First example:\")\n","for message in dataset[0][\"messages\"]:\n","    print(message)"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"-geBXCMTZObN","executionInfo":{"status":"ok","timestamp":1702156661009,"user_tz":360,"elapsed":6,"user":{"displayName":"Sebastián M.","userId":"05974347998580401662"}},"outputId":"924e87bd-4c01-4eff-ac93-10f07e27fe41"},"execution_count":19,"outputs":[{"output_type":"stream","name":"stdout","text":["\n","Num examples: 670\n","First example:\n","{'role': 'system', 'content': 'CARSE es un chatbot que imita el estilo en que Sebas conversa. Fue creado con amor solo para Carmen. Su objetivo es ofrecer una experiencia de chat divertida y familiar que exprese la personalidad, el humor y el amor de Sebas hacia Carmen.'}\n","{'role': 'user', 'content': 'Tengo mucho sueño aún'}\n","{'role': 'assistant', 'content': 'Ay amorcito, a ver si te echas a dormir en el coche un rato'}\n"]}]},{"cell_type":"markdown","source":["<br>\n","<br>\n","<br>\n","\n","## Format Validation"],"metadata":{"id":"UfxL9TQMaCCG"}},{"cell_type":"code","source":["# Format error checks\n","format_errors = defaultdict(int)\n","\n","for ex in dataset:\n","    if not isinstance(ex, dict):\n","        format_errors[\"data_type\"] += 1\n","        continue\n","\n","    messages = ex.get(\"messages\", None)\n","    if not messages:\n","        format_errors[\"missing_messages_list\"] += 1\n","        continue\n","\n","    for message in messages:\n","        if \"role\" not in message or \"content\" not in message:\n","            format_errors[\"message_missing_key\"] += 1\n","\n","        if any(k not in (\"role\", \"content\", \"name\", \"function_call\") for k in message):\n","            format_errors[\"message_unrecognized_key\"] += 1\n","\n","        if message.get(\"role\", None) not in (\"system\", \"user\", \"assistant\", \"function\"):\n","            format_errors[\"unrecognized_role\"] += 1\n","\n","        content = message.get(\"content\", None)\n","        function_call = message.get(\"function_call\", None)\n","\n","        if (not content and not function_call) or not isinstance(content, str):\n","            format_errors[\"missing_content\"] += 1\n","\n","    if not any(message.get(\"role\", None) == \"assistant\" for message in messages):\n","        format_errors[\"example_missing_assistant_message\"] += 1\n","\n","if format_errors:\n","    print(\"\\nFound errors:\")\n","    for k, v in format_errors.items():\n","        print(f\"{k}: {v}\")\n","else:\n","    print(\"\\nNo errors found\")"],"metadata":{"id":"bOXkqnLgZakM","colab":{"base_uri":"https://localhost:8080/"},"executionInfo":{"status":"ok","timestamp":1702156661009,"user_tz":360,"elapsed":4,"user":{"displayName":"Sebastián M.","userId":"05974347998580401662"}},"outputId":"8c716779-0f83-4fbf-c302-56d834735327"},"execution_count":20,"outputs":[{"output_type":"stream","name":"stdout","text":["\n","No errors found\n"]}]},{"cell_type":"markdown","source":["<br>\n","<br>\n","<br>\n","\n","## Token Counting Utilities"],"metadata":{"id":"UXrIdBKtaHkx"}},{"cell_type":"code","source":["encoding = tiktoken.get_encoding(\"cl100k_base\")\n","\n","# not exact!\n","# simplified from https://github.com/openai/openai-cookbook/blob/main/examples/How_to_count_tokens_with_tiktoken.ipynb\n","def num_tokens_from_messages(messages, tokens_per_message=3, tokens_per_name=1):\n","    num_tokens = 0\n","    for message in messages:\n","        num_tokens += tokens_per_message\n","        for key, value in message.items():\n","            num_tokens += len(encoding.encode(value))\n","            if key == \"name\":\n","                num_tokens += tokens_per_name\n","    num_tokens += 3\n","    return num_tokens\n","\n","def num_assistant_tokens_from_messages(messages):\n","    num_tokens = 0\n","    for message in messages:\n","        if message[\"role\"] == \"assistant\":\n","            num_tokens += len(encoding.encode(message[\"content\"]))\n","    return num_tokens\n","\n","def print_distribution(values, name):\n","    print(f\"\\n#### Distribution of {name}:\")\n","    print(f\"min / max: {min(values)}, {max(values)}\")\n","    print(f\"mean / median: {np.mean(values)}, {np.median(values)}\")\n","    print(f\"p5 / p95: {np.quantile(values, 0.1)}, {np.quantile(values, 0.9)}\")"],"metadata":{"id":"A6ev3s_TaGeJ","executionInfo":{"status":"ok","timestamp":1702156661009,"user_tz":360,"elapsed":3,"user":{"displayName":"Sebastián M.","userId":"05974347998580401662"}}},"execution_count":21,"outputs":[]},{"cell_type":"markdown","source":["<br>\n","<br>\n","<br>\n","\n","## Data Warnings and Token Counts"],"metadata":{"id":"2duSc8L7aYki"}},{"cell_type":"code","source":["# Warnings and tokens counts\n","n_missing_system = 0\n","n_missing_user = 0\n","n_messages = []\n","convo_lens = []\n","assistant_message_lens = []\n","\n","for ex in dataset:\n","    messages = ex[\"messages\"]\n","    if not any(message[\"role\"] == \"system\" for message in messages):\n","        n_missing_system += 1\n","    if not any(message[\"role\"] == \"user\" for message in messages):\n","        n_missing_user += 1\n","    n_messages.append(len(messages))\n","    convo_lens.append(num_tokens_from_messages(messages))\n","    assistant_message_lens.append(num_assistant_tokens_from_messages(messages))\n","\n","print(\"\\nNum examples missing system message:\", n_missing_system)\n","print(\"Num examples missing user message:\", n_missing_user)\n","print_distribution(n_messages, \"num_messages_per_example\")\n","print_distribution(convo_lens, \"num_total_tokens_per_example\")\n","print_distribution(assistant_message_lens, \"num_assistant_tokens_per_example\")\n","n_too_long = sum(l > 4096 for l in convo_lens)\n","print(f\"\\n{n_too_long} examples may be over the 4096 token limit, they will be truncated during fine-tuning\")"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"CfDEmpgiaLuS","executionInfo":{"status":"ok","timestamp":1702156661009,"user_tz":360,"elapsed":3,"user":{"displayName":"Sebastián M.","userId":"05974347998580401662"}},"outputId":"f1e8ed95-f77b-4340-80ce-b08ee6025a2e"},"execution_count":22,"outputs":[{"output_type":"stream","name":"stdout","text":["\n","Num examples missing system message: 0\n","Num examples missing user message: 0\n","\n","#### Distribution of num_messages_per_example:\n","min / max: 3, 3\n","mean / median: 3.0, 3.0\n","p5 / p95: 3.0, 3.0\n","\n","#### Distribution of num_total_tokens_per_example:\n","min / max: 77, 263\n","mean / median: 102.54776119402985, 97.0\n","p5 / p95: 84.0, 120.10000000000002\n","\n","#### Distribution of num_assistant_tokens_per_example:\n","min / max: 2, 184\n","mean / median: 19.9955223880597, 15.0\n","p5 / p95: 6.0, 34.0\n","\n","0 examples may be over the 4096 token limit, they will be truncated during fine-tuning\n"]}]},{"cell_type":"markdown","source":["<br>\n","<br>\n","<br>\n","\n","## Cost Estimation"],"metadata":{"id":"x8GusuUOapUB"}},{"cell_type":"code","source":["# Pricing and default n_epochs estimate\n","MAX_TOKENS_PER_EXAMPLE = 4096\n","\n","TARGET_EPOCHS = 3\n","MIN_TARGET_EXAMPLES = 100\n","MAX_TARGET_EXAMPLES = 25000\n","MIN_DEFAULT_EPOCHS = 1\n","MAX_DEFAULT_EPOCHS = 25\n","\n","n_epochs = TARGET_EPOCHS\n","n_train_examples = len(dataset)\n","if n_train_examples * TARGET_EPOCHS < MIN_TARGET_EXAMPLES:\n","    n_epochs = min(MAX_DEFAULT_EPOCHS, MIN_TARGET_EXAMPLES // n_train_examples)\n","elif n_train_examples * TARGET_EPOCHS > MAX_TARGET_EXAMPLES:\n","    n_epochs = max(MIN_DEFAULT_EPOCHS, MAX_TARGET_EXAMPLES // n_train_examples)\n","\n","n_billing_tokens_in_dataset = sum(min(MAX_TOKENS_PER_EXAMPLE, length) for length in convo_lens)\n","print(f\"\\nDataset has ~{n_billing_tokens_in_dataset} tokens that will be charged for during training\")\n","print(f\"By default, you'll train for {n_epochs} epochs on this dataset\")\n","print(f\"By default, you'll be charged for ~{n_epochs * n_billing_tokens_in_dataset} tokens\")"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"EnAWqf3SadOj","executionInfo":{"status":"ok","timestamp":1702156661200,"user_tz":360,"elapsed":194,"user":{"displayName":"Sebastián M.","userId":"05974347998580401662"}},"outputId":"3d0527e9-a3cf-4b6e-9ce4-89a99611d219"},"execution_count":23,"outputs":[{"output_type":"stream","name":"stdout","text":["\n","Dataset has ~68707 tokens that will be charged for during training\n","By default, you'll train for 3 epochs on this dataset\n","By default, you'll be charged for ~206121 tokens\n"]}]},{"cell_type":"code","source":["# Suponiendo que me cargan $0.008/1k tokens\n","value = 0.008\n","\n","final_money = (n_epochs * n_billing_tokens_in_dataset)*value/1000\n","final_money"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"-a820sVicdat","executionInfo":{"status":"ok","timestamp":1702156777183,"user_tz":360,"elapsed":2,"user":{"displayName":"Sebastián M.","userId":"05974347998580401662"}},"outputId":"c96c5167-c91e-4e1c-e8a4-0bd16a6aeb70"},"execution_count":26,"outputs":[{"output_type":"execute_result","data":{"text/plain":["1.648968"]},"metadata":{},"execution_count":26}]},{"cell_type":"code","source":[],"metadata":{"id":"0anBNWtKczWR"},"execution_count":null,"outputs":[]}]}