וו דאו

ווּ דַאוֹ (בסינית: 悟道, פיניין: Wù dào, מילולית: "דרך התודעה", השם המלא בסינית: "悟道预训练模型" - "Wùdào yù xùnliàn móxíng") הוא פיתוח סיני של בינה מלאכותית רב-מודאלית שנבנה על ידי האקדמיה לבינה מלאכותית של בייג'ינג (BAAI).

הגרסה הראשונה, וו דאו 1.0, הוכרזה ב-11 בינואר 2021. גרסה משופרת, וו דאו 2.0, הוכרזה ב-31 במאי. וו דאו הושווה ל GPT-3, והוא בנוי על ארכיטקטורה דומה. בעוד של GPT-3 יש 175 מיליארד פרמטרים, או משתנים ותשומות בתוך מודל למידת המכונה, לוו דאו יש 1.75 טריליון פרמטרים (סדר גודל יותר). וו דאו הוכשר על 4.9 טרה-בייט של תמונות וטקסטים (שכללו 1.2 טרה-בייט של טקסט סיני ו-1.2 טרה-בייט של טקסט אנגלי). יו"ר BAAI אמר כי וו דאו הוא ניסיון "ליצור את מודל הבינה המלאכותית הגדול והחזק ביותר האפשרי". אף על פי שהשוואות ישירות בין מודלים המבוססות על ספירת פרמטרים (כלומר בין וו דאו ל-GPT-3) אינן מתואמות ישירות לאיכות. וו דאו 2.0, כונתה "המערכת הגדולה ביותר עד כה של שפה בבינה מלאכותית".

יוצריו של וו דאו הוכיחו את יכולתו לבצע עיבוד שפה טבעית וזיהוי תמונות, בנוסף ליצירת טקסט ותמונות: המודל יכול לא רק לכתוב חיבורים, שירים וצמדים בסינית מסורתית, הוא יכול גם ליצור טקסט חלופי המבוסס על תמונה סטטית וגם ליצור תמונות כמעט פוטוריאליסטיות המבוססות על תיאורי שפה טבעית. וו דאו גם הראה את היכולת שלו להפעיל דמויות וירטואליות (עם קצת עזרה מ- Microsoft- spinoff XiaoIce) ולחזות את המבנים התלת-ממדיים של חלבונים כמו AlphaFold. 

 היסטוריה 
הפיתוח של Wu Dao החל באוקטובר 2020, מספר חודשים לאחר השחרור של GPT-3 במאי 2020. האיטרציה הראשונה של המודל, Wu Dao 1.0, "יזמה פרויקטי מחקר בקנה מידה גדול" באמצעות ארבעה מודלים קשורים
:
 וו דאו ון-יואן (Wen Yuan) מודל שפה מאומן מראש של 2.6 מיליארד פרמטרים, תוכנן עבור משימות כמו מענה בדומיין פתוח, ניתוח סנטימנטים ותיקון דקדוק
 וו דאו ון-לאן (Wen Lan) מודל גרפי מולטי-מודאלי של מיליארד פרמטרים, הוכשר על 50 מיליון זוגות תמונות, לביצוע כיתובי תמונה
 וו דאו ון-חוי (Wen Hui) מודל שפה מחולל של 11.3 מיליארד פרמטרים, תוכנן עבור "בעיות חיוניות בבינה מלאכותית כללית מנקודת מבט קוגניטיבית"; Synced אומר שהוא יכול "ליצור שירה, ליצור סרטונים, לצייר תמונות, לאחזר טקסט, לבצע נימוקים מורכבים וכיוצא באלה"
 וו דאו ון-סו (Wen Su) המבוסס על מודל השפה BERT של גוגל ואומן על מסד נתונים של 100 גיגה-בייט UNIPARC (כמו גם אלפי רצפי גנים), תוכנן עבור חיזוי מבנה ביו-מולקולרי ומשימות קיפול חלבון

 WuDaoCorpora 
WuDaoCorpora, נכון לגרסה 2.0, היה מערך נתונים גדול שנבנה לאימון וו דאו 2.0. הוא מכיל 3 טרה-בייט של טקסט שנאסף מנתוני אינטרנט, 90 טרה-בייט של נתונים גרפיים (המשלבים 630 מיליון זוגות טקסט/תמונה), ו-181 ג'יגה-בייט של דיאלוג סיני (המשלב 1.4 מיליארד סבבי דיאלוג). Wu Dao 2.0 הוכשר באמצעות FastMoE, גרסה של תערובת הארכיטקטורה של מומחים שפותחה על ידיGoogle .ביוני 2021 נאמר ב-TheNextWeb כי "הפרטים לגבי האופן המדויק שבו וו דאו הוכשר, מה היה במערך הנתונים השונים שלו, ואיזה יישומים מעשיים ניתן להשתמש בהם נותרו עלומים". מנהל המדיניות של OpenAI כינה את וו דאו דוגמה ל"דיפוזיה של מודל", ניאולוגיזם המתאר מצב שבו ישויות מרובות מפתחות מודלים דומים לאלו של OpenAI.

 הערות שוליים 

קטגוריה:בינה מלאכותית
קטגוריה:למידת מכונה
קטגוריה:שפה