וו דאו

ווּ דַאוֹ (בסינית: 悟道, פיניין: Wù dào, מילולית: "דרך התודעה", השם המלא בסינית: "悟道预训练模型" - "Wùdào yù xùnliàn móxíng")<ref name="qq"></ref> הוא פיתוח סיני של בינה מלאכותית רב-מודאלית שנבנה על ידי האקדמיה לבינה מלאכותית של בייג'ינג (BAAI).

הגרסה הראשונה, וו דאו 1.0, הוכרזה ב-11 בינואר 2021<ref name="ree"></ref><ref name="chn"></ref><ref name="fortune"></ref>. גרסה משופרת, וו דאו 2.0, הוכרזה ב-31 במאי.<ref name="qq"/><ref name="eng"></ref> וו דאו הושווה ל GPT-3<ref name="lanti"></ref>, והוא בנוי על ארכיטקטורה דומה. בעוד של GPT-3 יש 175 מיליארד פרמטרים, או משתנים ותשומות בתוך מודל למידת המכונה, לוו דאו יש 1.75 טריליון פרמטרים<ref name="tnw"></ref><ref name="toms"></ref><ref name="scmp"></ref><ref name="elcom"></ref> (סדר גודל יותר). וו דאו הוכשר על 4.9 טרה-בייט של תמונות וטקסטים (שכללו 1.2 טרה-בייט של טקסט סיני ו-1.2 טרה-בייט של טקסט אנגלי)<ref name="scmp"/><ref name="pol"></ref>. יו"ר BAAI אמר כי וו דאו הוא ניסיון "ליצור את מודל הבינה המלאכותית הגדול והחזק ביותר האפשרי"<ref name="tnw"/>. אף על פי שהשוואות ישירות בין מודלים המבוססות על ספירת פרמטרים (כלומר בין וו דאו ל-GPT-3) אינן מתואמות ישירות לאיכות<ref name="toms"/>. וו דאו 2.0, כונתה "המערכת הגדולה ביותר עד כה של שפה בבינה מלאכותית"<ref name="fortune"/>.

יוצריו של וו דאו הוכיחו את יכולתו לבצע עיבוד שפה טבעית וזיהוי תמונות, בנוסף ליצירת טקסט ותמונות<ref name="eng"/>: <blockquote>המודל יכול לא רק לכתוב חיבורים, שירים וצמדים בסינית מסורתית, הוא יכול גם ליצור טקסט חלופי המבוסס על תמונה סטטית וגם ליצור תמונות כמעט פוטוריאליסטיות המבוססות על תיאורי שפה טבעית. וו דאו גם הראה את היכולת שלו להפעיל דמויות וירטואליות (עם קצת עזרה מ- Microsoft- spinoff XiaoIce) ולחזות את המבנים התלת-ממדיים של חלבונים כמו AlphaFold<ref name="eng"/>. </blockquote>

== היסטוריה ==
הפיתוח של Wu Dao החל באוקטובר 2020, מספר חודשים לאחר השחרור של GPT-3<ref name="qq"/> במאי 2020. האיטרציה הראשונה של המודל, Wu Dao 1.0, "יזמה פרויקטי מחקר בקנה מידה גדול" באמצעות ארבעה מודלים קשורים<ref name="sync"></ref>
<ref name="mixed"></ref>:
* וו דאו ון-יואן (Wen Yuan) מודל שפה מאומן מראש של 2.6 מיליארד פרמטרים, תוכנן עבור משימות כמו מענה בדומיין פתוח, ניתוח סנטימנטים ותיקון דקדוק<ref name="sync"/>
* וו דאו ון-לאן (Wen Lan) מודל גרפי מולטי-מודאלי של מיליארד פרמטרים, הוכשר על 50 מיליון זוגות תמונות, לביצוע כיתובי תמונה<ref name="sync"/>
* וו דאו ון-חוי (Wen Hui) מודל שפה מחולל של 11.3 מיליארד פרמטרים, תוכנן עבור "בעיות חיוניות בבינה מלאכותית כללית מנקודת מבט קוגניטיבית"; Synced אומר שהוא יכול "ליצור שירה, ליצור סרטונים, לצייר תמונות, לאחזר טקסט, לבצע נימוקים מורכבים וכיוצא באלה"<ref name="sync"/>
* וו דאו ון-סו (Wen Su) המבוסס על מודל השפה BERT של גוגל ואומן על מסד נתונים של 100 גיגה-בייט UNIPARC (כמו גם אלפי רצפי גנים), תוכנן עבור חיזוי מבנה ביו-מולקולרי ומשימות קיפול חלבון<ref name="sync"/>

== WuDaoCorpora ==
WuDaoCorpora, נכון לגרסה 2.0, היה מערך נתונים גדול שנבנה לאימון וו דאו 2.0. הוא מכיל 3 טרה-בייט של טקסט שנאסף מנתוני אינטרנט, 90 טרה-בייט של נתונים גרפיים (המשלבים 630 מיליון זוגות טקסט/תמונה), ו-181 ג'יגה-בייט של דיאלוג סיני (המשלב 1.4 מיליארד סבבי דיאלוג). Wu Dao 2.0 הוכשר באמצעות FastMoE, גרסה של תערובת הארכיטקטורה של מומחים שפותחה על ידיGoogle .ביוני 2021 נאמר ב-TheNextWeb כי "הפרטים לגבי האופן המדויק שבו וו דאו הוכשר, מה היה במערך הנתונים השונים שלו, ואיזה יישומים מעשיים ניתן להשתמש בהם נותרו עלומים". מנהל המדיניות של OpenAI כינה את וו דאו דוגמה ל"דיפוזיה של מודל", ניאולוגיזם המתאר מצב שבו ישויות מרובות מפתחות מודלים דומים לאלו של OpenAI.

== הערות שוליים ==

קטגוריה:בינה מלאכותית
קטגוריה:למידת מכונה
קטגוריה:שפה