డీప్ సీక్

డీప్‌సీక్‌ (DeepSeek) చైనీస్‌ కృత్రిమ మేధస్సు కంపెనీ. ఇది పెద్ద భాషా నమూనాలను (LLMs) అభివృద్ధి చేస్తుంది. జెజియాంగ్‌ ప్రావిన్స్‌లోని హాంగ్‌జౌలో ప్రధాన కార్యాలయం కలిగిన డీప్ సీక్ కంపెనీ, చైనీస్‌ హెడ్జ్‌ ఫండ్‌ అయిన హై-ఫ్లయర్‌ (High-Flyer) ద్వారా నిధులు పొందుతోంది.

2023 జూలైలో హై-ఫ్లయర్‌ సహ వ్యవస్థాపకుడు లియాంగ్‌ వెన్‌ఫెంగ్‌ డీప్ సీక్‌ని స్థాపించారు. ఆయన రెండు కంపెనీలకు సీఈఓగా వ్యవహరిస్తున్నారు. 2025 జనవరిలో, డీప్ సీక్-R1 మోడల్‌తో పాటు డీప్ సీక్ చాట్‌బాట్‌ను ప్రారంభించింది. MIT లైసెన్స్‌ కింద విడుదలైన డీప్ సీక్-R1, OpenAI యొక్క GPT-4o మరియు o1 వంటి ఆధునిక పెద్ద భాషా నమూనాలతో సమానమైన ప్రతిస్పందనలను అందిస్తుంది. దీని శిక్షణ ఖర్చు ఇతర LLMలతో పోలిస్తే గణనీయంగా తక్కువగా ఉంది. కంపెనీ ప్రకారం, దీని V3 మోడల్‌ను US$6 మిలియన్‌ వ్యయంతో శిక్షణ ఇచ్చారు, ఇది 2023లో OpenAI యొక్క GPT-4 కు ఖర్చైన $100 మిలియన్‌తో పోలిస్తే చాలా తక్కువ. అలాగే, మెటా యొక్క సమాన మోడల్‌ అయిన Llama 3.1 కంటే సుమారు పది రెట్లు తక్కువ కంప్యూటింగ్‌ శక్తిని ఉపయోగించింది.

2025 జనవరి 20న, డీప్ సీక్ డీప్ సీక్-R1 మోడల్‌ ఆధారిత చాట్‌బాట్‌ను iOS మరియు Android కోసం ఉచితంగా విడుదల చేసింది; జనవరి 27 నాటికి, డీప్ సీక్ అమెరికాలోని iOS యాప్‌ స్టోర్‌లో ChatGPT ను అధిగమించి అత్యధికంగా డౌన్‌లోడ్‌ చేయబడిన ఉచిత యాప్‌గా నిలిచింది. దీంతో కృత్రిమ మేథకు సంబంధించిన చిప్ ఉత్పత్తులతో బాగా పెరిగిన ఎన్విడియా (Nvidia) షేర్‌ ధర 18% పడిపోయింది.

శిక్షణా పద్దతులు 
హై-ఫ్లయర్/డీప్‌సీక్ కనీసం రెండు కంప్యూటింగ్ క్లస్టర్‌లను నిర్వహిస్తుంది, ఫైర్-ఫ్లయర్, ఫైర్-ఫ్లైయర్ 2. ఫైర్-ఫ్లైయర్ 2 సహ-రూపకల్పన చేయబడిన సాఫ్ట్‌వేర్, హార్డ్‌వేర్ ఆర్కిటెక్చర్‌ను కలిగి ఉంటుంది. హార్డ్‌వేర్ వైపు, Nvidia GPUలు 200 Gbps ఇంటర్‌కనెక్ట్‌లను ఉపయోగిస్తాయి. క్లస్టర్ రెండు "జోన్‌లు"గా విభజించబడింది మరియు ప్లాట్‌ఫారమ్ క్రాస్-జోన్ పనులకు మద్దతు ఇస్తుంది. నెట్‌వర్క్ టోపోలాజీ రెండు ఫ్యాట్ ట్రీలు, అధిక బైసెక్షన్ బ్యాండ్‌విడ్త్ కోసం ఎంపిక చేయబడింది. సాఫ్ట్‌వేర్ వైపు:

3FS (ఫైర్-ఫ్లయర్ ఫైల్ సిస్టమ్): అసమకాలిక యాదృచ్ఛిక రీడ్‌ల కోసం ప్రత్యేకంగా రూపొందించబడిన పంపిణీ చేయబడిన సమాంతర ఫైల్ సిస్టమ్. ఇది డైరెక్ట్ I/O మరియు RDMA రీడ్ లను ఉపయోగిస్తుంది. ప్రామాణిక బఫర్డ్ I/O కి భిన్నంగా, డైరెక్ట్ I/O డేటాను కాష్ చేయదు. ఈ సందర్భంలో కాషింగ్ పనికిరానిది, ఎందుకంటే చదివిన ప్రతి డేటా యాదృచ్ఛికంగా ఉంటుంది మరియు తిరిగి ఉపయోగించబడదు.
hfreduce: అసమకాలిక కమ్యూనికేషన్ కోసం లైబ్రరీ, మొదట Nvidia కలెక్టివ్ కమ్యూనికేషన్ లైబ్రరీ (NCCL) స్థానంలో రూపొందించబడింది. ఇది ప్రధానంగా allreduce కోసం ఉపయోగించబడుతుంది, ముఖ్యంగా backpropagation సమయంలో ప్రవణతలు. GPUలో కెర్నల్స్ను నిరోధించకుండా ఉండటానికి ఇది CPUలో అసమకాలికంగా అమలు చేయబడుతుంది. ఇది NCCL వంటి రెండు-ట్రీ ప్రసారాన్ని ఉపయోగిస్తుంది.
hfai.nn: PyTorchలో torch.nn మాదిరిగానే న్యూరల్ నెట్‌వర్క్ శిక్షణ కోసం సాధారణంగా ఉపయోగించే ఆపరేటర్ల సాఫ్ట్‌వేర్ లైబ్రరీ.
హైస్కేల్ డిస్ట్రిబ్యూటెడ్ డేటా పారలలిజం (DDP): డేటా పారలలిజం (DP), పైప్‌లైన్ పారలలిజం (PP), టెన్సర్ పారలలిజం (TP), నిపుణుల పారలలిజం (EP), ఫుల్లీ షార్డ్డ్ డేటా పారలలిజం (FSDP) మరియు జీరో రిడండెన్సీ ఆప్టిమైజర్ (ZeRO) వంటి వివిధ రకాల పారలలిజాన్ని అమలు చేసే పారలల్ శిక్షణ లైబ్రరీ. ఇది బ్యాకెండ్‌లో NCCLని ఉపయోగించే PyTorch DDPని పోలి ఉంటుంది.
HAI ప్లాట్‌ఫారమ్: టాస్క్ షెడ్యూలింగ్, ఫాల్ట్ హ్యాండ్లింగ్ మరియు డిజాస్టర్ రికవరీ వంటి వివిధ అప్లికేషన్లు.
2022 నాటికి, ఫైర్-ఫ్లైయర్ 2 625 నోడ్‌లలో 5000 PCIe A100 GPUలను కలిగి ఉంది, ప్రతి ఒక్కటి 8 GPUలను కలిగి ఉంది. మోడల్ సమాంతరత అవసరమయ్యే పెద్ద మోడళ్లకు శిక్షణ ఇవ్వడానికి వారు తరువాత NVLinks మరియు NCCLలను చేర్చారు.

అభివృద్ధి, విడుదల చరిత్ర
+DeepSeek మోడల్స్ యొక్క ప్రధాన వెర్షన్లు. SFT అంటే సూపర్వైజ్డ్ ఫైన్‌ట్యూనింగ్.ప్రధాన వెర్షన్లువిడుదల తేదీప్రధాన వేరియంట్‌లువ్యాఖ్యలుDeepSeek కోడర్ 2023 నవంబరు 2బేస్ (ప్రీట్రైన్డ్) ; ఇన్‌స్ట్రక్షన్ (ఇన్‌స్ట్రక్షన్-ఫైన్‌ట్యూన్డ్‌తో)ఆర్కిటెక్చర్ తప్పనిసరిగా లామా మాదిరిగానే ఉంటుంది.DeepSeek-LLM 2023 నవంబరు 29బేస్;

చాట్ (SFTతో)DeepSeek-MoE 2024 జనవరి 9బేస్;

చాట్నిపుణుల మిశ్రమం (MoE) యొక్క వేరియంట్‌ను అభివృద్ధి చేసింది.DeepSeek-Math2024 ఏప్రిల్బేస్DS-Coder-Base-v1.5 తో ప్రారంభించబడిందిఇన్స్ట్రక్ట్ (SFT తో)RL (ప్రాసెస్ రివార్డ్ మోడల్ ఉపయోగించి)ప్రాక్సిమల్ పాలసీ ఆప్టిమైజేషన్ (PPO) యొక్క వేరియంట్ అయిన గ్రూప్ రిలేటివ్ పాలసీ ఆప్టిమైజేషన్ (GRPO) ను అభివృద్ధి చేశారు.డీప్‌సీక్ V22024 మేడీప్‌సీక్-V2, డీప్‌సీక్-V2-చాట్

డీప్‌సీక్-V2-లైట్, డీప్‌సీక్-V2-లైట్-చాట్

డీప్‌సీక్-కోడర్-V2

డీప్‌సీక్-V2.5మల్టీ-హెడ్ లాటెంట్ అటెన్షన్ (MLA) ను అభివృద్ధి చేశారు. నిపుణుల మిశ్రమాన్ని కూడా ఉపయోగించారు (MoE).DeepSeek V32024 డిసెంబరుDeepSeek-V3-Base

DeepSeek-V3 (చాట్ మోడల్)ఆర్కిటెక్చర్ తప్పనిసరిగా V2 లాగానే ఉంటుంది.DeepSeek R1 2024 నవంబరు 20DeepSeek-R1-Lite-PreviewAPI మరియు చాట్ ఇంటర్‌ఫేస్ ద్వారా మాత్రమే యాక్సెస్ చేయబడుతుంది. 2025 జనవరి 20DeepSeek-R1

DeepSeek-R1-ZeroDeepSeek-V3-Base నుండి ప్రారంభించబడింది మరియు V3 ఆర్కిటెక్చర్‌ను పంచుకుంటుంది.డిస్టిల్డ్ మోడల్‌లులామా, క్వెన్ మొదలైన ఇతర మోడల్‌ల నుండి ప్రారంభించబడింది. R1 మరియు R1-Zero ద్వారా సంశ్లేషణ చేయబడిన డేటా నుండి స్వేదనం చేయబడింది.

 మూలాలు 

 బయటి లింకులు 
 DeepSeek on GitHub డీప్ సీక్ అధికారిక వెబ్ పేజీ
 DeepSeek on Hugging Face
 Official API documentation
 Anthology of DeepSeek papers
 Research blog of High-Flyer

వర్గం:కృత్రిమ మేధస్సు
వర్గం:కంప్యూటరు శాస్త్రం