# Deepseek

DeepSeek (chino: 深度求索; pinyin: Shēndù Qiúsuǒ; en español: "Búsqueda Profunda") es un laboratorio de inteligencia artificial chino que desarrolla modelos de lenguaje de código abierto de gran tamaño. DeepSeek está financiado en gran parte por el fondo de cobertura chino High-Flyer, ambos fundados y dirigidos por Liang Wenfeng con sede en Hangzhou, Zhejiang.

## Antecedentes

En febrero de 2016, High-Flyer fue cofundada por el entusiasta de la inteligencia artificial (IA) Liang Wenfeng, que había estado operando desde la crisis financiera de 2007-2008 mientras asistía a la Universidad de Zhejiang. En 2019, estableció High-Flyer como un fondo de cobertura centrado en el desarrollo y uso de algoritmos de negociación de IA. En 2021, High-Flyer utilizó exclusivamente IA en el comercio.
Según estimaciones de 36Kr, Liang había acumulado un almacén de más de 10.000 chips Nvidia A100 antes de que el gobierno de Estados Unidos impusiera restricciones a los chips de IA en China. Dylan Patel, de la consultora de investigación de IA SemiAnalysis, estima que DeepSeek tenía al menos 50.000 chips.
En abril de 2023, High-Flyer puso en marcha un laboratorio de inteligencia artificial general dedicado a investigar el desarrollo de herramientas de IA independientes del negocio financiero de High-Flyer. En mayo de 2023, con High-Flyer como uno de los inversores, el laboratorio se convirtió en su propia empresa, DeepSeek. Las empresas de capital riesgo se mostraron reacias a proporcionar financiación, ya que era poco probable que pudieran generar una salida (retorno sobre la inversión) en un corto período de tiempo.
Después de lanzar DeepSeek-V2 en mayo de 2024, que ofrecía un gran rendimiento a un precio bajo, DeepSeek se hizo conocido como el catalizador de la guerra de precios de los modelos de IA de China. Rápidamente se lo denominó el "Pinduoduo de la IA", y otros gigantes tecnológicos importantes como ByteDance, Tencent, Baidu y Alibaba comenzaron a reducir el precio de sus modelos de IA para competir con la empresa. A pesar del bajo precio cobrado por DeepSeek, fue rentable en comparación con sus rivales que estaban perdiendo dinero.
Hasta el momento, DeepSeek se centra únicamente en la investigación y no tiene planes detallados de comercialización.
Las preferencias de contratación de DeepSeek se centran en las habilidades técnicas más que en la experiencia laboral al reclutar nuevos empleados, por lo que la mayoría de sus nuevos empleados son estudiantes universitarios recientemente graduados o desarrolladores cuyas carreras en IA están menos establecidas.

## Historial de versiones
### DeepSeek LLM

El 2 de noviembre de 2023, DeepSeek presentó su primer modelo, DeepSeek Coder, que está disponible de forma gratuita tanto para investigadores como para usuarios comerciales. El código del modelo se hizo de código abierto bajo la licencia MIT, con un acuerdo de licencia adicional sobre el "uso posterior abierto y responsable" del modelo en sí.
El 29 de noviembre de 2023, DeepSeek lanzó DeepSeek LLM, que se escaló hasta 67 000 millones de parámetros. Se desarrolló para competir con otros LLM disponibles en ese momento con un rendimiento cercano al de GPT-4. Sin embargo, enfrentó desafíos en términos de eficiencia computacional y escalabilidad. También se lanzó una versión de chatbot del modelo llamada DeepSeek Chat.

### V2

En mayo de 2024 se lanzó DeepSeek-V2. El Financial Times informó que era más barato que sus pares con un precio de 2 RMB por cada millón de tokens de salida. La clasificación de Tiger Lab de la Universidad de Waterloo clasificó a DeepSeek-V2 en el séptimo lugar de su clasificación LLM.

### V3

En diciembre de 2024 se lanzó DeepSeek-V3. Llegó con 671 mil millones de parámetros y se entrenó en alrededor de 55 días a un costo de 5,58 millones de $, utilizando significativamente menos recursos en comparación con sus pares. Se entrenó en un conjunto de datos de 14,8 billones de tokens. Las pruebas de referencia mostraron que superó a LLaMA 3.1 y Qwen 2.5 mientras que igualó a GPT-4o y Claude 3.5 Sonnet. La optimización de DeepSeek de recursos limitados destacó los límites potenciales de las sanciones estadounidenses al desarrollo de IA de China. Un artículo de opinión de The Hill describió el lanzamiento como la IA estadounidense llegando a su "momento Sputnik".
El modelo es una mezcla de expertos con Multi-head Latent Attention Transformer, que contiene 256 expertos enrutados y 1 experto compartido. Cada token activa 37 mil millones de parámetros y más.
El 27 de enero de 2025, el asistente de inteligencia artificial de la startup china DeepSeek superó a ChatGPT como la aplicación gratuita mejor calificada en la App Store de EE. UU. Ha provocado debates sobre la efectividad de las restricciones de exportación de EE.UU. sobre chips de inteligencia artificial avanzados a China. El modelo DeepSeek-V3, que utiliza los chips H800 de Nvidia, está ganando reconocimiento por su desempeño competitivo, desafiando el dominio global de los modelos de inteligencia artificial de EE.UU.
Coste total de entrenamiento del modelo DeepSeek-V3 :
| Escenario | Coste (en mil horas de GPU) | Coste (en un millón de dólares estadounidenses) |
| Pre-entrenamiento | 2.664 | 5,328 |
| Extensión de contexto | 119 | 0,24 |
| Ajuste fino | 5 | 0,01 |
| Total | 2.788 | 5,576 |

### R1

En noviembre de 2024 se lanzó DeepSeek R1-Lite-Preview, que fue entrenado para inferencia lógica, razonamiento matemático y resolución de problemas en tiempo real. DeepSeek afirmó que superó el rendimiento de OpenAI o1 en puntos de referencia como American Invitational Mathematics Examination (AIME) y MATH. Sin embargo, The Wall Street Journal afirmó que cuando utilizó 15 problemas de la edición 2024 de AIME, el modelo o1 alcanzó una solución más rápido que DeepSeek R1-Lite-Preview.
El 20 de enero de 2025 se lanzaron DeepSeek-R1 y DeepSeek-R1-Zero. Se basaron en V3-Base. Al igual que V3, cada uno es una mezcla de expertos con 671B de parámetros totales y 37B de parámetros activados. También lanzaron algunos modelos "DeepSeek-R1-Distill", que no se basan en R1. En cambio, son similares a otros modelos de peso abierto como LLaMA y Qwen, ajustados con datos sintéticos generados por R1.
R1-Zero se entrenó exclusivamente mediante aprendizaje por refuerzo (RL), sin ningún aprendizaje supervisado (SFT). Se entrenó utilizando optimización de política relativa de grupo (GRPO), que estima la línea de base a partir de las puntuaciones del grupo en lugar de utilizar un modelo crítico. El sistema de recompensa utilizado se basa en reglas y consta principalmente de dos tipos de recompensas: recompensas de precisión y recompensas de formato.
Las salidas de R1-Zero no son muy legibles y cambian entre inglés y chino en las salidas, por lo que entrenaron a R1 para abordar estos problemas y mejorar aún más el razonamiento.