אומנות בינה מלאכותית
יישומים מובילים > רשתות שהתפרסמו לציבור

במהלך אוגוסט, חברת אפל פרסמה רשת נוירונים, GAUDI, המאפשרת להפוך טקסט לסרטונים "בתוך מבנים" (Indoor). מימוש זה מחייב יכולת "לרנדר" את התמונה בזמן אמיתי - כדי להבטיח שצללים, תאורה והשתקפויות יתעדכנו כנדרש. כך למשל, אפשר "לבקש", ירידה בגרם מדרגות ויקטוריאני, עם נברשת גדולה משמאל ומראה תלויה על הקיר. המערכת תדע ליצור סרטון, כולל יצירה בזמן אמיתי של ההשתקפויות והצללים בצורה "נכונה".
במהלך אוגוסט 2022, התפרסם מודל של חברת UNITY - המשלב בין "אוואטרים" תלת־ממדיים למודל שפה גדול, GPT-3, כך שהאוואטרים משוחחים ביניהם בשפה טבעית - ומגיבים "בצורה נכונה" לשיחה שלהם - והשיחה עשירה בדימויים, הקשרים, תיאורים וכדומה - כמו שיחה של אנשים אמיתיים.
ב-20 באוגוסט 2022 אפליקציית Stable Diffusion נפתחה לציבור.
החל מ-1 בספטמבר 2022, תוכנת DALL E2 מאפשרת לבצע "שיחלוף חזותי", "זום אאוט קונטקסטואלי" ו"איחוי תמונות" - בתוך התוכנה (בלי שצריך ליצא את התמונה ולטפל בה בתוכנה חיצונית).
בתחילת בספטמבר 2022, החלו להופיע ריבוי של מימושי Stable Diffusion חינמיים, כולל מגוון גדול של יישומים "מיוחדים" ובכלל זה היכולת לצייר "סקצ'" ולתת לתוכנה להפוך את ה"סקצ'" לתמונה ברזולוציה גבוהה, פיתוח סרטונים - כאשר המשתמש מגדיר את הטקסט בחלון ההנחיה לפריים הראשון של הסרטון ולפריים האחרון של הסרטון והתוכנה מייצרת "קליפ" שעובר בין שתי התמונות שהתוכנה חוללה.
ב-8 בספטמבר 2022 - Stable Diffusion, במימוש דרך DreamStudio, הכניסו תכונה המאפשרת להעלות תמונה קיימת ולשלב אותה כהשראה לרשתות הנוירונים. תכונה זו מאפשרת לעשות "וריאציות" על תמונות קיימות שנוצרו בתוכנה עצמה כמו גם להעלות צילומים ולהשתמש בהם "להשראה", או, אפילו, סקצ'ים שישמשו בסיס ליצירת התמונה על בסיס הטקסט בחלון ההנחיה, מה שמאפשר, בין השאר, "להכתיב" גדלים יחסיים בתמונה הסופית,
ב-21 בספטמבר 2022 Stable Diffusion, במימוש דרך DreamStudio, הכניסו תכונות חדשות לעורך היצירות שלהם ובכלל זה יכולת "שיחלוף חזותי" ויכולת "זום אאוט קונטקסטואלי".
ב-5 באוקטובר 2022, חברת "גוגל" פרסמה רשת שגם היא מייצרת "קליפים של וודיאו" לפי טקסט בחלון הנחיה - Imagen Video, גם היא, למעט מאמר ודוגמאות, טרם שוחררה לציבור.
ב-16 באוקטובר 2022, לפי קבוצת הפייסבוק "עליית המכונות" של מתי מריאנסקי, חברת הזנק ישראלית פרסמה יישום שמאפשר "להכניס" מספר קטן של תמונות (10–20) של אדם מסוים, רכב או פריט אחר והיישום "הופך" את התמונות לישות מוכרת כך שניתן אחר כך, להכניס כל טקסט רצוי לחלון ההנחיה והתוכנה תיצור תמונה שהיישות משולבת בה. התוכנה מאפשרת, בין השאר, להכניס תמונות של עצמך, של בן משפחה או של כל אדם רצוי אחר ובהמשך לכך, היא מאפשרת לכן ליצור אלבומים, ספרים, ספרי קומיקס וכיוצא בזה שהגיבורים בהם - הן אותן דמויות ששולבו פנימה. ככל הידוע, המימוש נשען על אפליקציית Dreambooth "מעל" Stable Diffusion.
ב-30 באוקטובר 2022, חברת Baidu פרסמה מודל טקסט לתמונה משל עצמה. בתחומים מסוימים, ביצועי המודל עולים על המודלים הקיימים. הטקסט בחלון ההנחיה מתורגם לסינית טרם שהוא מוזן למודל מה שמלמד כי המודל אומן בשפה הסינית.
בנובמבר 2022, פורסם יישום המאפשר להכניס "רעיון כללי" לחלון ההנחיה - והיישום בונה חלון הנחיה עשיר בשמות תואר, תיאורים, ייחוס לאמנים מהעבר, ייחוס לתקופות היסטוריות, לרזולוציה, לסגנונות וכדומה - והמשתמש יכול להעתיק את ההצעה או חלקה ולהשתמש בה כקלט לרשתות הטקסט לתמונה.
בנובמבר 2022, חברת Nvidia פרסמה מודל טקסט לתמונה שמאפשר העברת סגנון בנפרד מהטקסט, הצגה של טקסטים עם איות נכון בתוך התמונה שהמודל יצר והמרה נוחה של איור ידני לתמונה - מה שמאפשר שליטה משופרת בקומפוזיציה, בפרספקטיבה וביחסי הגדלים בין האובייקטים השונים של התמונה המתקבלת. eDiff-I.
בסוף נובמבר 2022 יצא מודל חדש של GPT-3 - de-vinici 003. המודל יכול לטפל בטקסטים הרבה יותר ארוכים בהשוואה לקודמו ויש לו מרכיב של "הסברים" יותר חזק בהשוואה למודלים קודמים.
ב-26 בנובמבר 2022 הוציאה "סטייבל דיפיוז'ן" גרסה 2.0 שלהערכת רוב המשתמשים - היא גרועה בהרבה מקודמתה. חלק מהפרשנים מייחסים את הפרסום המוזר הזה כניסיון להתמודד אם תביעות עתידיות בהקשרי קניין רוחני או לחצים של משקיעים שנכנסו לחברה וחוששים מתביעות עתידיות או טענות מצד חברות ההפקה הענקיות, הוותיקות.
אתר אינטרנט ש"מתחזק" רשימה מקיפה של היישומים בנושא בינה מלאכותית יוצרת הוא האתר Futurepedia. נכון לדצמבר 2022, האתר מפרט למעלה מ-400 יישומים - כולל פירוט לגבי פופולריות היישום, האם הוא עולה כסף או חינמי ומידע מועיל נוסף.
ב-19.12.2022 פורסם מודל שפה שמאפשר שיחה רצופה, אבל, הוא יודע לשלב בתשובות גם את תוצאות החיפוש של מנוע החיפוש של "גוגל" בזמן אמיתי ולעבוד לפי פיקוד קולי. "בוט" זה יודע גם לקבל הנחיות לצייור תמונות ישירות מטקסטים. ככל הידוע, ה"בוט" נשען על GPT3.5.
ב 5.1.2023 התפרסם יישום מעל huggingface - רשת דיפיוז'ן, Versatile Diffusion, רשת שמאפשרת מגוון יישומים המבוססים על רשתות דיפוזיה ובכלל זה טקסט לתמונה, תמונה לטקסט, וריאציות על טקסט, "פרימת שזירה" בין הסגנון לסמנטיקה של תמונות, שילוב חלון הנחיה טקסטואלי ותמונה ומשחק ישיר על המרחב הסמוי באמצעות תרגום תמונה לטקסט, מניפולציה על הטקסט, יצירת תמונה מהטקסט החדש. המעבדה מאחורי היישום מבטיחה לשלב גם יישומים של המרת טקסט ישירות לקובצי תלת מימד ועוד.
בשלהי 2022, ChatGPT, יישום של חברת OpenAI זכה לפופורליות עצומה "בבת אחת". מדובר ביישום של "בוט שיחה" מעל GPT3. ה"בוט" מאפשר כתיבת מגוון גדול של "סוגי טקסט" בדומה ל GPT3, אבל, הוא מאפשר גם כתיבת קוד תוכנה לפי בקשות בלשון חופשית - ישירות לתוך תוכנות אמנות כמו בלנדר. היישום זכה ליותר ממיליון משתמשים תוך חמישה ימים מיום חשיפתו לציבור והוא זוכה להתענינות ציבורית והד רב באמצעי התקשורת ההמוניים.
במהלך ינואר 2023 התפרסם יישום מעל huggingface - יישום המאפשר יצירת תמונות מטקסט - אבל, כולל את האפשרות ליצירת טקסטים בתמונה כך שהמילים מאויתות נכון. אף על פי שבעבר הועלתה טענה כאילו ל"גוגל" יש כבר יכולת עזו, זו פעם ראשונה שהיכולת מונגשת לציבור.
ב 31.1.2023 חברת Playgroundai עדכנה את היישום שלה כך שהוא מאפשר עריכה באמצעות טקסט - כולל עריכה לפי הנחיות טקסטואליות ועם מסכות - הצירוף הזה מאפשר לצייר "כמעט כל דבר" - בלי לדעת לצייר בכלל, אלא לפי הנחיות טקסטואליות בלשון חופשית, כברירת מחדל, האתר משתמש במודל סטייבל דיפיוז'ן.
ב 7.2.2023 RunwayML פרסמה, בתוך אתר האינטרנט של היישום, יכולת אימון של סטייבל דיפיוז'ן - כולל אימון על פרוטרטים של בני אדם, חתולים וכלבים. לאחר האימון, היישום מאפשר לשלב את הדמויות - ישויות שנוצרו בכל יצירה של המודל. בנוסף, החברה שילבה AI Tools הכוללים מגוון גדול של יישומים בהקשר לווידאו ובכלל זה "שיחלוף חזותי" שמאפשר למחוק דמויות מתוך סרט בצורה "אוטומטית", להחליף רקע של דמויות בסרט בצורה אוטומטית ומגוון תכונות נוסף. החברה הכריזה על יישום GEN-1 שלטענתה יכלול יכולת להפוך ווידאו קיים - לווידאו בסגנון של תמונה נבחרת, להעביר ווידאו לווידאו בסגנון של אמן או ז'אנר מסוימים ועוד.
בסוף פברואר 2022 התפרסמה קבוצה של מודלים "מעל" סטייבל דיפיוז'ן שנקראת ControlNet. מודלים אלה מאפשרים יצירה של תמונות על בסיס פענוח "מרחב ביניים", לדוגמה - אפשר להכניס תמונה והמודל מצליח לחלץ ממנה את ה"פוזה" של האנשים בפריים ולייצר תמונות חדשות לגמרי, לפי טקסט, אבל - תמונות חדשות לגמרי שבהן האנשים בדיוק באותה פוזה של הדמויות בתמונת המקור. הפונקציה הזו מאפשרת כוריאוגרפיה מלאה של סרטי אנימציה. דוגמה נוספת - ניתן להכניס תמונה דו־ממדית "רגילה", המודל מצליח לפענח ממנה את המודל התלת־ממדי של הדמויות האנושיות ולהשתמש בזה לצורך יצירת תמונות חדשות, לפי טקסט, תמונות שבהן רק המודל התלת־ממדי מאומץ מתמונת המקור ואילו התמונה כולה נוצרה לפי הטקסט.
סביב 15.3.2023 התפרסמה גרסה 5 של מידג'ורני (למשתמשים משלמים בלבד). הגרסה תומכת ברזולוציה גבוהה, תמונות עם ריבוי של אנשים באותה תמונה - כולל מענה חזותי לאינטראקציות בין האנשים השונים, שיפור ניכר ביכולת לחולל כפות ידיים, בציור דמויות של אנשים מפורסמים, בדיוק האנטומי של שיניים ותכונות נוספות.
סביב אותו תאריך, 15.3.2023 התפרסמה גרסה חדשה של מודל השפה הגדול של חברת Open AI, בתצורת "בוט שיחה" - Chat GPT4. ה"בוט" מסתדר הרבה יותר טוב בעברית (בהשוואה לגרסאות קודמות), הסיכויים לקבלת מענה שגוי הצטמצמו בהרבה, ה"בוט" מסתדר הרבה יותר טוב עם חישובים מתמטיים, הוא מכיר יותר שפות תכנות והוא פחות "פגיע" לדירדור לדיבורי שנאה, פורנו, נאצות וכיוצא באלו. ה"בוט" משמש, כבר בהשקה, יישומים כמו "דולינגו" והוא פתוח למשתמשי CHAT GPT משלמים כבר מההשקה. במבחני אינטליגנציה רבים, ה"בוט" מצליח ברמה העולה על נבחן אנושי ממוצע - כולל במבחני כניסה לאוניברסיטאות מובילות בעולם. לפי מקורות רבים - ה"בוט" יידע לקבל תמונה כ"אינפוט" ולהתייחס למה שמופיע בתמונה באמצעות שילוב של הבנת שפה ואינטליגנציה "כמו אנושית". תכונה זו תאפשר ל"בוט" להתייחס בזמן אמיתי לעולם שסביבו - כאשר מצלמות הטלפונים הסלולריים משמשות לו כעיניים. תכונה זו טרם שוחררה לציבור הרחב (נכון ל 17.3.2023). לפי מקורות שונים, ל"בוט" תהייה גם יכולת "להאזין" למיקרופונים, לייצר "אודיו", לייצר מוזיקה ולייצר ווידאו לפי טקסטים. תכונות אלו טרם נצפו.
סביב 20.3.2023 חברת Open AI פרסמה כי היא תאפשר חיבור בין Chat GPT4 לבין יישומי אינטרנט שונים באמצעות API. מודל זה מזכיר מצב שבו ה Chat GPT4 הוא סוג של "מערכת הפעלה" שניתן לשוחח איתה ישירות, בדיבור חופשי והיא מבצעת משימות עבור המשתמש - למשל, קניית מזון, הזמנת מקומות במסעדה או הזמנת כרטיסי טיסה.
סביב 25.3.2023 אפליקציית Playground-AI הכניסה פונקציונליות של Canvas. המשמעות היא שניתן לעשות "שיחלוף חזותי", "זום אאוט קונטקסטואלי" וכיוצא באלו - בצורה נוחה ובהתייחס לחלון התייחסות מוגדר היטב.
ב 5.3.2023 - Stable Diffusion שחררו לציבור (דרך Dream Studio) גרסת ביניים שנקראת SD-XL. גרסה זו כוללת מגוון שיפורים שהבולט ביניהם זו היכולת "לצייר" טקסט בתוך התמונה שהיישום מחולל.
ב 5.3.2023 - מידג'ורני שילבו פקודה חדשה שנקראת Describe. הפעלת הפקודה מאפשרת להעלות תמונה למחשב, לקבל ארבע חלופות לתיאור התמונה - כך שחלופות אלה יכולות לשמש כטקסט לחלון הנחיה חדש - שאינו מתחשב בתמונה המקורית עצמה.
סביב 1.3.2023 חברת RunwayML פרסמה לציבור את GEN-1 שמאפשר להעלות קובצי ווידאו למחשב - ולשנות את הסגנון שלהם, להוסיף להם אפקטים וכדומה.
החל מאמצע פברואר 2023 - החלו "לצוץ" מגוון גדול של יישומים אוטונומיים-עצמאיים המאפשרים לשרשר מודלים של בינה מלאכותית, ללא מעורבות אדם, יישומים כאלה מכונים גם סוכן תבוני. רוב היישומים נשענים על קלט ו"מערכת הפעלה" המבוססים על מודלי שפה גדולים ובעיקר ChatGPT4. אחד היישומים הבולטים הוא ג'ארוויס של מיקרוסופט שמאפשר "תפירה" של כל המודלים הנמצאים באתר Hugingface, כולל מודלים מולטי-מודאליים (ונכון לתחילת מרץ 2023 - יש 168,000 מודלים כאלה).
החל ממרץ 2023, חברת מיקרוסופט שילבה במנוע החיפוש שלה, "בינג החדש" חלון הנחיה שמאפשר לנהל שיחה עם GPT-4. הדפדפן של מיקרוסופט, אדג', מאפשר שלושה מודי עבודה. כאשר משתמשים במוד היצירתי - ניתן לשלב שיחה עם GPT ובמקביל, לחולל תמונות בהתבסס על DALL E 2. השילוב הזה הוא אחד היישומים הראשונים בעולם המשלבים יכולת מולטי-מודלית - שיחה ויצירת תמונות, בתפוצה רחבה של מאות מיליוני משתמשים ברחבי העולם ובמגוון שפות.
ב 29.04.2023 התפרסם מודל חדש ליצירת תמונות מחלון הנחיה טקסטואלי, ששמו DeepFloyd, המודל מתאפיין ביכולת לשלב טקסט בתוך התמונה.
באמצע מאי 2023, חברת אדובי שילבה אלגוריתמי "בינה מלאכותית יוצרת" לתוך תוכנת "פוטושופ". חבילת העדכון נקראת Firefly והיא בין השאר, נבדלת מהחברות האחרות בכך שבסיס הנתונים עליו אומנו המודלים של החברה - לא מכיל מידע שיש עליו זכויות יוצרים. השילוב לתוך הפונקציונליות הרגילה של פוטושופ - יצר "חבילת תוכנה" שנחשבת חזקה במיוחד למגוון גדול של בעלי מקצוע ובכללם מעצבים, צלמים וכיוצא בזה.
ב 20.08.2023 שולבה תכונת ה"שחלוף חזותי" (Inpainting) באפליקציית מידג'ורני.
החל מה 20.9.2023, גרסה חדשה של רשת תרגום טקסט לתמונה, DALL-E-3, החלה להיות מופצת על ידי Open-AI דרך ערוצים שונים (מנוע החיפש של מיקרוסופט, בינג, אדג', אתר החברה באינטרנט והאפליקציות השונות לסלולרי).
במקביל, OpenAI "משחררת מחדש" חיבור של אפליקציית ChatGPT לאינטרנט ויכולת לנהל שיחה עם האפליקציה בדיבור וקבלת מענה קולי ("אודיו"), תכונה שמאפשרת לשוחח עם האפליקציה ChatGPT, בזמן נהיגה למשל.