DeepSeek（1. 2016~2023年ごろ：DeepSeek創設、DeepSeek Coder/LLM）

## DeepSeek創設まで
中国の浙江大学に所属中、金融市場関連のデータを蓄積し、機械学習などの技術を用いた定量取引の研究などを行っていたLiang Wenfeng氏が、他の工学部の同級生2名と2016年にHigh-Flyerという有限合弁会社を共同設立した[^1]。High-Flyerは、株式取引用AIモデルを開発し、2019年には香港証券先物委員会で資産運用業のライセンスを取得するなど事業を拡大した[^2]。
また同2019年、トレーディング業務からの収益を使ってAI主導の子会社High-Flyer AI社（杭州High-Flyer AI基礎研究有限公司[^6]）を設立し、ディープラーニング・トレーニング・インフラに2,800万米ドルを投資[^5]、モデルトレーニング用のデータセンタークラスターとなるFire-Flyer Iを2020年に、Fire-Flyer IIを2021年に開発した[^7][^10]（High-Flyer AI発足当初は、Transformerアーキテクチャに焦点を当てていたと思われるが、その後急速にLLMにも重点を置いたらしい[^9]）。
2021年には、Liang Wenfeng氏は（米バイデン政権が米国産AIチップの中国への輸出を制限し始める前に）AI関連のサイドプロジェクトのために数千台のNVIDIA GPUを購入してゲームチェンジャーの開発を目指し[^3]、2022年までに1万枚のGPU A100に、Intelligence Overcalculation Clusterと呼ばれるクラスターを実装している[^4]。
そしてHigh-Flyer Quantは、AIを駆使した運用戦略で中国最大級のクオンツヘッジファンドへと成長し、2021年には運用資金が1000億元に達したとされていたが[^12]、High-Flyer独自のAIモデルが取引のタイミングを誤るようになり、リターンが低下したため2021年12月、損失について公式に謝罪せざるを得ない状況となった[^13]。さらに、中国におけるクオンツファンドへの規制圧力も加わり、迅速な取引判断のためだけにAIを活用することの限界が浮き彫りになったため、AI主導のアプローチの可能性と欠点の両方を認識したLiang Wenfeng氏は、方針転換を決意、2023年3月、High-Flyer AIをスピンアウトし、DeepSeekに社名を変更した[^8][^13]。

> ![](https://dam.mediacorp.sg/image/upload/s--gaSGdftr--/c_fill,g_auto,h_468,w_830/f_auto,q_auto/v1/mediacorp/cna/image/2025/01/28/liang_wenfeng_cctvplus.png?itok=UtRW4tIm)
[Liang Wenfeng (right), the founder of Chinese AI startup DeepSeek, speaks at a symposium chaired by Chinese Premier Li Qiang on Jan 20, 2025. (Photo: CCTV Plus)](https://www.channelnewsasia.com/east-asia/china-deepseek-ai-liang-wenfeng-4900986)

[^1]:[High-Flyer *Wikipedia*](https://en.wikipedia.org/wiki/High-Flyer)
[^2]:[DeepSeekの衝撃！ 低価格で高性能AIを実現できた理由](https://weekly-economist.mainichi.jp/articles/20250209/se1/00m/020/001000d)
[^3]:[Meet the hedge fund manager who founded DeepSeek, the Chinese AI startup that began as a hobby and is now laying waste to U.S. stocks](https://fortune.com/2025/01/27/deepseek-founder-liang-wenfeng-hedge-fund-manager-high-flyer-quant-trading/)
[^4]:[WeChat post @所有人｜万卡算力，免费申请，酣畅科研的夏天 at 2022年7月15日](https://mp.weixin.qq.com/s?__biz=Mzk0MjE3MzQ5Mg%3D%3D&mid=2247484702&idx=1&sn=5157e2c6564c41171ad7973f861e3a12&chksm=c2c67945f5b1f053a997f8213dee6284e9c1ecedaf13fd4f6165a6aaea77eee92ed3320da163&token=1745415996&lang=zh_CN#rd)
[^5]:[DeepSeek：誇張の分類](https://www.ibm.com/jp-ja/think/topics/deepseek)
[^6]:[High Flyer | History](https://www.high-flyer.cn/en/history/)
[^7]:[High Flyer](https://www.high-flyer.cn/en/)
[^8]:[DeepSeek Rattles Tech Stocks: Chinese Startup’s Rise Against OpenAI Challenges U.S. AI Lead](https://www.forbes.com/sites/siladityaray/2025/01/27/us-futures-slide-as-buzz-over-chinese-ai-startup-deepseek-triggers-concerns/)
[^9]:[Artificial Intelligence – DeepSeek, The Honeymoon Spoiler](https://www.radiofreemobile.com/artificial-intelligence-deepseek-the-honeymoon-spoiler/)
[^10]:[DeepSeek: Everything you need to know about the AI chatbot app](https://techcrunch.com/2025/04/04/deepseek-everything-you-need-to-know-about-the-ai-chatbot-app/)
[^11]:[X post by *Rui Ma* at 5:02 AM · Feb 3, 2025](https://x.com/ruima/status/1886143110679515305)
[^12]:[DeepSeek 創業者　梁文峰 ： 異色のAI先駆者が語る挑戦](https://blog.scuti.jp/deepseek-founder-liang-wenfeng-innovative-ai-strategy/)
[^13]:[DeepSeek’s Parent Company High-Flyer Once Sued for Poaching Trader With ‘Core Commercial Secrets’ in $5M AI Case](https://www.ccn.com/news/technology/deepseeks-high-flyer-sued-poaching-trader-core-commercial-secrets/)

## DeepSeek Coder, DeepSeek LLM
2023年11月、DeepSeekはコーディングタスクに特化したDeepSeek Coderをリリースした。主にGitHubをクローリングにより86のプログラミング言語を含む2Tトークンで学習されており、コンテキストウィンドウは16k、様々なベンチマークにおいて、オープンソースコードモデルの中で最先端の性能を達成している[^20][^21]。

> ![](https://pbs.twimg.com/media/F98KFCqaEAA2N4Z?format=jpg&name=large)
[DeepSeek Coder performance](https://x.com/deepseek_ai/status/1720106729617371524)

同11月、DeepSeek LLMというモデルサイズ7Bおよび67Bの言語モデルも発表され、いくつかのベンチマークでLLaMA2 70Bを上回ること、中国語の習熟度ではGPT-3.5を上回ることが示された[^22]。

>![](https://github.com/deepseek-ai/DeepSeek-LLM/raw/main/images/llm_radar.png)

DeepSeek Coder、DeepSeek LLMともにMITライセンスでオープンソースとして公開され、RMSNorm関数を用いたPre-Norm、活性化関数にSwiGLUを利用したLLaMAのアーキテクチャを採用している。アテンション機構にはGrouped-Query Attention (GQA)が用いられ、一般的な中間層の数を増やすというアプローチではなく、深さを増やすという試みによりパフォーマンス向上を目指している。また、学習フレームワークには、High-FlyerのHAI-LLMが用いられている[^21][^23]。

:::note info
HAI-LLMは、GPUクラスターで効率的な並列トレーニングを可能にするツールである[^24]。
:::

[^20]:[X post by *DeepSeek* at 5:02 AM · Feb 3, 2025](https://x.com/deepseek_ai/status/1720106723518918839)
[^21]:[DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence](https://arxiv.org/abs/2401.14196)
[^22]:[Github *deepseek-ai/DeepSeek-LLM*](https://github.com/deepseek-ai/DeepSeek-LLM)
[^23]:[DeepSeek LLM: Scaling Open-Source Language Models with Longtermism](https://arxiv.org/abs/2401.02954)
[^24]:[HAI-LLM：高效且轻量的大模型训练工具](https://www.high-flyer.cn/en/blog/hai-llm/)

続きはこちら

https://qiita.com/akagi_hayato/items/a1918061d7a7a0059f9e