DALL-E

DALL-E (מסוגנן כ-DALL·E; הלחם בסיסים של דאלי ושל וול-E)<ref name="tc" /><ref name="vb" /> היא תוכנת בינה מלאכותית שיוצרת תמונות מתיאורים טקסטואליים.

התוכנה משתמשת בכ-12 מיליארד פרמטרים<ref name="vb"></ref> בגרסה של מודל ה-GPT-3 כדי לפרש קלט טקסטואלי משפה טבעית (כמו "ארנק עור ירוק בצורת מחומש" או "תצוגה איזומטרית של קפיבארה מצויה עצובה") וליצור תמונות בהתאם.<ref name="tc"></ref> היא יכולה ליצור דימויים של חפצים ריאליסטיים ("חלון ויטראז' עם תמונה של תות כחול") וגם של חפצים שאינם קיימים במציאות ("קובייה במרקם של דורבן").<ref name="vb2oped"></ref><ref name="zme"></ref><ref name="axios"></ref>

משנות ה-2000 ואילך רשתות עצביות מלאכותיות רבות הצליחו ליצור תמונות מציאותיות. ייחודה של DALL-E בכך שהיא מסוגלת לייצר אותן על בסיס הנחיות בשפה טבעית, שאותן היא מיישמת לרוב ורק לעיתים נדירות נכשלת, וגם זאת לא באופן משמעותי.<ref name="tc" />

OpenAI לא פרסמה קוד מקור לאף אחד מהדגמים, אף על פי ש"בקר" של DALL-E זמין באתר האינטרנט של OpenAI, שבו ניתן לראות פלט ממבחר מוגבל של הנחיות לדוגמה. חלופות קוד פתוח, שהוכשרו על כמויות קטנות יותר של נתונים, כמו DALL-E Mini, שוחררו על ידי אחרים.<ref></ref>

לפי "MIT Technology Review", אחת המטרות של OpenAI הייתה "לתת למודלי שפות תפיסה טובה יותר של המושגים היומיומיים שבני אדם משתמשים בהם כדי להבין דברים".<ref name="mittr"></ref>

== היסטוריה ==
תמונות שהופקו על ידי DALL-E על פי הנחיית הטקסט: "איור מקצועי באיכות גבוהה של [[ג'ירף דרקון כימרה. ג'ירפה מחקה דרקון. ג'ירפה עשויה מדרקון."]]

ב-5 בינואר 2021 נחשף DALL-E על ידי OpenAI, חברה אמריקאית למחקר בינה מלאכותית.

באפריל 2022, OpenAI הכריזה על DALL-E 2, בטענה שהיא יכולה להפיק תמונות פוטו-ריאליסטיות מתיאורים טקסטואליים, יחד עם עורך המאפשר שינויים פשוטים בפלט. נכון לזמן ההכרזה, נאמר שהתוכנה עדיין נמצאת בשלב המחקר, כשהגישה מוגבלת למשתמשי בטא שנבחרו מראש. המודל עדיין יכול לעשות טעויות חמורות, כולל טעויות שאף אדם לא יעשה.<ref></ref> DALL-E 2 תואר כדגם ש"יכול ליצור תמונות ואמנות מקוריות וריאליסטיות מתיאור טקסט. היא יכולה לשלב מושגים, תכונות וסגנונות."<ref></ref>

בספטמבר 2023, OpenAI השיקה את DALL·E 3 עם יכולות הבנה והפקת תוצרים גבוהים יותר ובאוקטובר הוא הוטמע בצורה אינטגרלית בתוך ChatGPT<ref></ref>. הצ׳אטבוט יכול כעת ליצור תמונות ייחודיות משיחה פשוטה - והתכונה החדשה הזו זמינה בשלב זה למשתמשי Plus ו-Enterprise. מיקרוסופט הטמיעה את המודל בכלי Image Creator של Bing ובכלים נוספים כגון Copilot.

באפריל 2024 נוספה אפשרות לעריכה באמצעות טקסט וסימון אזור בתמונה שנוצרה על ידי DALL•E בתוך ממשק ChatGPT. <ref></ref>

== CLIP ==
DALL-E פותח והוכרז לציבור בשיתוף עם CLIP (הדרכה מקדימה של שפה-תמונה נגדית). CLIP הוא מודל נפרד שתפקידו "להבין ולדרג" את התפוקה של DALL-E. התמונות ש-DALL-E מייצר נשמרות ומדורגות על ידי CLIP, שמציגה את התמונות האיכותיות ביותר עבור כל הנחיה נתונה.<ref name="mittr" />

== ארכיטקטורת תוכנה ==
המודל Generative Pre-trained Transformer (GPT) פותח לראשונה על ידי OpenAI בשנת 2018,<ref name="gpt1paper"></ref> תוך שימוש בארכיטקטורת Transformer. האיטרציה הראשונה, GPT, הוגדלה כדי לייצר את GPT-2 ב-2019;<ref name="gpt2paper"></ref> בשנת 2020 הוא הוגדל שוב לייצור GPT-3, עם 175 מיליארד פרמטרים.

המודל של DALL-E הוא מימוש מולטי-מודאלי של PT-3 עם 12 מיליארד פרמטרים אשר "מחליף טקסט לפיקסלים", מאומן על צמדי טקסט-תמונה מהאינטרנט. הוא משתמש בלמידת אפס-שוט (zero-shot learning) כדי ליצור פלט מתיאור ורמז ללא הכשרה נוספת.<ref name="engadget"></ref>

DALL-E יוצר מספר תמונות בתגובה להנחיות. מודל CLIP שהוכשרו בו למעלה מ-400 מיליון זוגות של תמונות וטקסטים מבין ומדרג תמונות אלו.<ref name="synced"></ref> במקום מערך נתונים של תמונות עם כותרת (כמו ImageNet) CLIP משייך תמונות לכיתובים שלמים.<ref name="mittr" /> CLIP הוכשר לחזות איזה כיתוב (מתוך "בחירה אקראית" של 32,768 כיתובים אפשריים) היה המתאים ביותר לתמונה, מה שמאפשר לה לזהות לאחר מכן אובייקטים בתמונות מחוץ לסט האימונים שלה.<ref name="mittr" />

== ביצועים ==
פנדה עושה ציור בקפה" לבין "ציור בקפה של פנדה" ב-DALL-E 2]]
[[הדמיה אדריכלית שייצר DALL-E תוך התבססות על סגנונה של האדריכלית זהא חדיד.|400 פיקסלים]]

DALL-E מסוגלת ליצור דימויים במגוון סגנונות, מתמונות פוטוריאליסטיות ועד לציורים ואמוג'י. היא מסוגלת לבצע מניפולציות ולסדר מחדש אובייקטים בתמונות.<ref name="vb" /> אחת היכולות שצוינו על ידי יוצריה הייתה המיקום הנכון של אלמנטים עיצוביים ללא הוראה מפורשת: לדוגמה, כאשר מתבקש לצייר צנון-דייקון מקנח את אפו, לוגם לאטה או רוכב על חד אופן, DALL·E מצייר לעיתים קרובות את המטפחת, הידיים והרגליים במקומות סבירים.<ref name="boing"></ref>

בעוד ש-DALL-E הציג מגוון רחב של מיומנויות ויכולות, עם הוצאתה של ההדגמה הציבורית שלו, רוב הסיקור התמקד בתת-קבוצה קטנה של תמונות פלט "סוריאליסטיות" או "מוזרות".<ref name="cnbc"></ref> באופן ספציפי, הפלט של DALL-E עבור "איור של צנון דייקון תינוק בחצאית טוטו מטייל עם כלב" הוזכר ב-Nature<ref name="nbc"></ref>, NBC<ref name="nature"></ref> ופרסומים אחרים.<ref name="wired"></ref><ref name="cnn"></ref> הפלט שלו ל"כורסה בצורת אבוקדו" צוין באופן דומה.<ref name="mittr" /><ref name="bbc"></ref> לעומת זאת, נצפה פיתוח לא מכוון של DALL-E של מיומנויות חשיבה חזותית המספיקות לפתור את המטריצות של רייבן (Raven's Progressive Matrices), מבחנים חזותיים המבוצעים לעיתים קרובות לבני אדם כדי למדוד אינטליגנציה.<ref name="dale"></ref>

למרות זאת, DALL-E תואר כ"חזק להפליא לשינויים כאלה" ואמין בהפקת תמונות עבור מגוון רחב של תיאורים שרירותיים. סם שד,מ-CNBC, כינה את התמונות שלו "מוזרות" וציטט את ניל לורנס, פרופסור ללמידת מכונה באוניברסיטת קיימברידג', שתיאר זאת כ"הדגמה מעוררת השראה של היכולת של מודלים אלה לאחסן מידע על העולם שלנו ולעשות הכללות בדרכים שעבור בני אדם הן טבעיות מאוד". שד גם ציטט את מארק רידל, פרופסור חבר בבית הספר למחשוב אינטראקטיבי של ג'ורג'יה טק, שאמר שתוצאות ההדגמה של DALL-E הראו שהיא מסוגל "למזג מושגים באופן קוהרנטי", מרכיב מפתח ביצירתיות אנושית, וכי התוכנה מדגימה באופן יוצא דופן הפקת איורים שהם הרבה יותר קוהרנטיים ממערכות Text2Image אחרות מהשנים האחרונות. רידל גם צוטט על ידי ה-BBC שהוא "התרשם ממה שהמערכת יכולה לעשות".

צוינה לטובה גם היכולת של DALL-E "להשלים את החסר" ולהסיק מפרטים . ExtremeTech ציין כי הנחיה לצייר פינגווין שלובש סוודר חג המולד יצרה לא רק תמונות של פינגווינים לובשים סוודרים, אלא גם כובעי סנטה הקשורים לנושא,<ref name="extreme"></ref> ו-Engadget ציין כי צללים ממוקמים כראוי הופיעו בפלט עבור ההנחיה "ציור של שועל יושב בשדה בחורף". יתר על כן, DALL-E מציג הבנה רחבה של מגמות חזותיות ועיצוביות; ExtremeTech אמר כי "אתה יכול לבקש מ-DALL-E תמונה של טלפון או שואב אבק מתקופת זמן מוגדרת, והוא מבין איך החפצים האלה השתנו".<ref name="extreme" /> Engadget גם ציין את יכולתה יוצאת הדופן "להבין כיצד טלפונים וחפצים אחרים משתנים עם הזמן".<ref name="engadget" /> DALL-E תואר, יחד עם "AI צר" אחר כמו AlphaGo, AlphaFold ו-GPT-3 כיוצר עניין בשאלה האם וכיצד ניתן להשיג בינה כללית מלאכותית.<ref name="replicators"></ref>

== גלריה ==
<gallery mode=packed heights=180px>
קובץ:A_cat_sitting_at_a_desk_actively_contributing_to_Wikipédia,_by_ChatGPT_4.0_%26_Dall-E_3.0_(2024).png
קובץ:Astronaut_walking_on_the_surface_of_Pluto.jpg
קובץ:DALL-E_copying_work_1.jpg
קובץ:Utopia.png
קובץ:Artistic image of the Saint Sophia Cathedral in Kyiv, by ChatGPT 4.0 & Dall-E 3.0 (2024).png
קובץ:BwL.jpg
קובץ:A_Shiba_Inu_dog_wearing_a_beret_and_black_turtleneck_DALLE2.jpg|DALL-E 2 הצליח לייצר תמונה מציאותית על פי ההנחיה "כלב שיבה אינו עם כומתה וצווארון גולף".
</gallery>
==קישורים חיצוניים==

* 

;ביקורות
* 
* .
* 
* 
* 

== הערות שוליים ==

קטגוריה:OpenAI
קטגוריה:בינה מלאכותית יוצרת
קטגוריה:בלשנות חישובית
קטגוריה:תופעות אינטרנט