דור ראשון של רשתות אלו עושות שימוש בארכיטקטורת של רשת היודעת ליצור תמונות למשל. מכלול זה של הרשת מהווה את ה"גנרטור" כאשר בזמן ה"ריצה" של הרשת (Inference), ממירים את התמונה בקלט - לתמונה בסגנון שבו מעוניינים - למשל, ציור בסגנון של ואן גוך. במקביל, מפעילים רשת "שופט" שבוחנת אם תוצר הגנרטור אכן מתאים למה שנתבקש, בהשוואה לחומרים עליהם השופט התאמן, מול תמונות אמיתיות. כאשר מגיעים לרמה שבה השופט לא יכול להבדיל בין התוצרת של הגנרטור לבין המציאות - משפרים את השופט, במצב בו השופט מזהה בקלות רבה מידי כי מדובר ב"זיוף" - משפרים את הגנרטור. ארכיטקטורה זו מאפשרת ליצור תמונות "מזויפות", כאלו שהרשת יצרה, לכאורה, בכל רמת איכות נדרשת. רשתות אלו נקראות (באנגלית): Generative Adversarial Networks, GAN. רשתות אלו פותחו לראשונה על ידי (Ian Goodfellow) שעבד אז ב"גוגל". רשתות אלו מתאימות ליצירת תמונות של עולמות תוכן שבהם קיימים כבר מאגרי מידע גדולים (כמו למשל, פנים של אנשים - כאשר הרשת מייצרת אנשים שנראים אמיתיים, אבל כאלו שאינם קיימים).
רשתות גנרטור-שופט, שיודעות ללמוד "סגנונות".
הגנרטור של רשתות אלו כולל ארכיטקטורה של "מקודד" (Encoder), מועט ממדים ו"מפענח" (Decoder). ארכיטקטורה זו מאפשרת ל"מפענח" ללמוד סגנונות רצויים במהלך האימון. בשלב ה"ריצה" - מכניסים קלט רצוי - למשל, תמונה שהמשתמש צילם - ואז המפענח ימיר אותה לתמונה בסגנון שעליו המערכת התאמנה.
באיור משמאל, רואים ארכיטקטורה של Auto-Encoder, כלומר, ארכיטקטורה שמאפשרת לאמן את המפענח, על ידי הכנסת תמונות למקודד, כיווצן ל ופתיחתן מחדש, כאשר פונקציית היעד היא שתמונת הפלט תהיה דומה ככל האפשר לתמונת הקלט. אימון כזה, גורם למפענח ללמוד את ה"סגנון" של תמונות הקלט וכך, אפשר לאמן אותו לחקות סגנון של אמן מסוים, תקופה, או כל מאפיין אחר. ב, לעומת זאת, מתקבל "קוד" שמבטא את תוכן התמונות. בארכיטקטורה זו - אם "מנתקים" את המקודד ומכניסים נתונים ישירות ל - ניתן לקבל תמונות רצויות בסגנון שעליו אומן המפענח.
שימוש ב.
דור מתקדם יותר של רשתות - מאפשר להכניס לגנרטור לאוו דווקא תמונות - אלא להתערב ישירות ב. ארכיטקטורה זו מאפשרת, למשל, להכניס טקסט ולקבל תמונה עשירה בפרטים. ברשתות מתקדמות אלו, ניתן גם לבקש לא רק שהתוצאה תהיה דומה לדאטה סט אמיתי כלשהו - אלא למספר פונקציות התכנסות במקביל - כמו למשל, שהתמונה תהיה "נעימה לעין/ אסתטית" לצופה אנושי, שהתמונה תהיה כזו שמשרה שמחה וכיוצא באלו.
יישומים מובילים, נכון ל 2022.
רשתות טקסט לתמונה.
נכון ליולי 2022, מתפרסמות רשתות מאוד חזקות, כמעט, כל כמה ימים. הרשתות המובילות הן של חברת openAI שמנהלה איליה סוצקבר למד בישראל, הרשתות Imagen וPARTI של חברת גוגל, רשתות אלו, ככל הידוע, נוצרו על ידי קבוצת החוקרים ב. בקבוצה זו, פועלים בין השאר, וג'פרי הינטון. היא רשת חזקה להמרת טקסט לתמונות וכך גם רשתות נוספות.
רשימה חלקית של הרשתות (נכון ליולי 2022):
במקביל, במהלך החודשים האחרונים (קייץ 2022), מתפרסמת קבוצה גדולה של "מודלי שפה גדולים". השילוב של שתי משפחות אלה מאפשר לבנות רשתות שניתן "לדבר אליהן" בשפה טבעית, הן מבינות למה הכוונה (בדרך כלל, הקלט הוא טקסט שמקלידים אל היישום) ומציירות ציור. לרשתות אלו יש כמה וכמה תכונות מפתיעות:
רשתות תמונה לטקסט.
רשתות שהתמחותן בכתיבת טקסט המתאר את מה ש"רואים" בתמונה. רשתות אלו חשובות לטובת שימושים ספציפיים, כמו למשל, זיהוי תמרורים עבור מכונית אוטונומית. מעבר לכך, הצמדה אוטומטית של טקסט המתאר את מה שרואים בתמונה, יכולה להקל מאוד על מנועי חיפוש.
שימוש במודלי שפה גדולים לטובת אמנות.
במהלך 2022, פרסמו כמה וכמה "מודלי שפה גדולים". מדובר במודלים שכמות הפרמטרים החופשיים שלהם היא מאות מיליארדים ואף טריליונים. רשתות אלו מאומנות במשך זמן רב, על פריטי מידע רבים וכמות הפרמטרים החופשיים שלהן דומה לזו של מוח האדם. ככל שעובר הזמן, מסתבר של"מודלי השפה הגדולים" יש יכולות שלא נחזו - וחלק מיכולות אלו משמשות לאמנות ובכלל זה:
Writing is a battle between my will
And the cruel indifference of the world
but, it is just words
דוגמאות לרשתות שהן "מודלי שפה גדולים", המובילים ביולי 2022:
רשתות ליצירת מוזיקה.
גם המוזיקה, בדומה לשפה, נשענת על "סדרתיות", כלומר, המוזיקה מתאפיינת, בין השאר, בסדר של הצלילים לאורך הזמן. החל מסביבות 2020, הופיעו רשתות שמסוגלות להלחין מוזיקה. באוגוסט 2022, "לראשונה בהיסטוריה", חברת הפקה גדולה "חתמה על חוזה עם ראפר וירטואלי". האירוע גרם להתנגדויות רבות ולאחר ש"הראפר הווירטואלי" ניבל את הפה ולאור ההתנגדויות - השימוש ב"ראפר הווירטואלי" הופסק.
אפליקציות רלוונטיות, נכון לאוגוסט 2022:
ככל הידוע, נכון לאוגוסט 2022, יישומים אלה לא זוכים לתפוצה גדולה מאוד והם נחשבים כ"לא משכנעים" עדיין.
רשתות המרת טקסט לדיבור.
רשתות אלו מאפשרות להכניס טקסט ל"חלון הנחיה", לבחור דמות מפורסמת מסרט או משחק ולקבל "הקראה" של הטקסט בקול של הדמות הנבחרת. נכון ל 2022, איכות התוצאה שנויה במחלוקת, בעיקר בגלל הקושי לחקות אינטונציות. דוגמאות לאפליקציות מובילות, נכון ל 2022:
תוכנות לעריכת ווידאו.
החל מ 2022, הרשתות שתוארו לעייל משמשות לעריכת ווידאו בצורה שמכפילה את מהירות העריכה בסדר גודל פי עשר. באוגוסט 2022, היישום RunwayML שילב יכולת ל"ניקוי אוטומטי" של הרקע בסרטי ווידאו, בזמן אמיתי - כך שניתן לבקש להחליף את הרקע באמצעות הנחיה טקסטואלית - בלי להזדקק לטכניקות של "מסך ירוק".
שימוש מועיל נוסף, זו היכולת (פיצ'ר), לסמן כל דבר רצוי על גבי הווידאו והתוכנה "יודעת" באופן אוטומטי למחוק את מה שסומן ולמלא במקומו את המסך בפיקסלים, כך שאי אפשר לדעת שהמחיקה התבצעה. פיצ'ר זה מאפשר להסיר אנשים שהופיעו בווידאו "בטעות" וכדומה. יכולת זו מכונה בז'ארגון המתהווה של אנשי עריכת הווידאו באמצעות בינה מאלכותית יוצרת - .
באמצע אוגוסט שוחררה רשת - תוכנה חינמית לשימוש הציבור, רשת המאפשרת לייצר קליפים קצרים של אנימציה על בסיס חלון הנחיה טקסטואלי.
בינה מלאכותית לפיסול.
נכון לאוגוסט, 2022, לא מוכרים יישומי בינה מלאכותית שיודעים לפסל באופן ישיר. פרויקט בריטי ארוך שנים, פרויקט
, עסק ברעיון של יצירת רובוט בצורת אשה-אמנית (היומנואידית). לפי פרסומים שונים, AI-DA, אותו פרויקט מדובר, הדגים פיסול בתהליך שמזכיר פסל אנושי, כלומר, לטענת אנשי הפרויקט, ה"היומנואיד" הגה פסל ויצר אותו בפועל,,
רשתות שהתפרסמו לציבור, החל מאוגוסט 2022 ואילך.
במהלך אוגוסט, חברת אפל פרסמה רשת נוירונים, GAUDI, המאפשרת להפוך טקסט לסרטונים "בתוך מבנים" (Indoor). מימוש זה מחייב יכולת "לרנדר" את התמונה בזמן אמיתי - כדי להבטיח שצללים, תאורה והשתקפויות יתעדכנו כנדרש. כך למשל, אפשר "לבקש", ירידה בגרם מדרגות ויקטוריאני, עם נברשת גדולה משמאל ומראה תלויה על הקיר. המערכת תדע ליצור סרטון, כולל יצירה בזמן אמיתי של ההשתקפויות והצללים בצורה "נכונה".
במהלך אוגוסט, התפרסם גם מודל של חברת UNITY - המשלב בין "אוואטרים" תלת ממדיים ל מודל שפה גדול, GPT-3, כך שהאוואטרים משוחחים ביניהם בשפה טבעית - ומגיבים "בצורה נכונה" לשיחה שלהם - והשיחה עשירה בדימויים, הקשרים, תיאורים וכדומה - כמו שיחה של אנשים אמיתיים.
ב 20.8.2022 אפליקציית Stable Diffusion נפתחה לציבור.
תהליכי יצירה ושילובים של אמנות מבוססת בינה מלאכותית יוצרת - ביחד עם תוכנות מסורתיות ליצירת אמנות, בהקשר ליצירת תמונות.
בכמעט כל היישומים, התוכנה מציגה מספר תוצאות והמשתמש יכול לבחור את התוצאה הרצויה לו ו/או לבקש לעשות "וריאציות נוספות", לקבל שוב תוצאה הכוללת מספר תוצאות וחוזר חלילה.
התהליך הבסיסי - יצירת תמונה מטקסט.
בתהליך זה, המשתמש האנושי מכניס טקסט לתוך "חלון ההנחיה" (Prompt) והיישום הופך את הטקסט לתמונה. בדרך כלל, כדאי ללוות את הטקסט שמתאר את התמונה בתאורים של הסגנון הרצוי, התאורה, אמן מוכר, דמות מוכרת, תקופה היסטורית, יישום מוכר של תוכנת עריכה קיימת וכיוצא באלו. בחלק מהתוכנות, אפשר גם לתת פקודות שונות המתארות את החשיבות היחסית של כל קטע טקסט.
העלאת תמונה ויצירת תמונה אחרת בהשראתה.
ברוב היישומים, נתן להעלות תמונה קיימת, ממקור כלשהו, אל חלון ההנחיה. היישום יידע לייצר תמונה "בהשראת" הקובץ שהועלה.
באיור המצורף - דוגמה לתמונה שמידג'ורני יצרה, על סמך ציור של עץ באובב - ללא תיאור טקסטואלי בכלל, אחרי כמה עשרות איטרציות של וריאציות חוזרות ונישנות בתון היישום.
העלאת תמונה וגם טקסט.
בתהליך זה, היישום ייצר תמונה שגם מביאה בחשבון את קובץ התמונה וגם את התיאור הטקסטואלי
עריכה של תמונה קימת.
בתהליך זה, הממשתמש מעלה תמונה, מוחק חלקים ממנה ומבקש מהיישום למלא את המחיקה, באמצעות תיאור טקסטואלי של איך הוא מבקש למלא את התמונה. טכניקה זו מאפשרת, בין השאר, לתקן פוקוס בצילום - יכולת חדשנית שעוזרת המיוחד במיקרים של צילום "מאקרו".
"זום אאוט קונטקסטואלי" מתמונה קיימת.