stanford-oval/wikipedia huggingface dataset:
אומנות בינה מלאכותית

תמונה שנוצרה על ידי התוכנה DALEE2 DALL-E 2, תוכנה המחוללת תמונות על בסיס טקסט, לפי הטקסט: "A photo of a robot hand drawing, digital art"
אומנות בינה מלאכותית מתייחסת לכל אמנות שנוצרה על בסיס שימוש בבינה מלאכותית.
כלים ותהליכים

ברמה הבסיסית ביותר, אמנים יכולים להשתמש באלגוריתמים מבוססי חוקים, בכל מיני צורות של חיקוי מברשות צבע וכדומה. ז'אנר זה הוא יותר "כלי עזר לאמן" ופחות נחשב כ"בינה מלאכותית יוצרת". אחת הגישות היותר מוקדמות לשימוש ברשתות נוירונים מלאכותיות הייתה התוכנה DeepDream של גוגל שיודעת לקחת תמונות קלט ולהפוך אותן לתמונות "פסיכדליות" שנותנות הרגשה של הזייה או חלום בהקיץ.
כלים ותהליכים > רשתות נוירונים "פשוטות" של גנרטור - שופט, GAN

דור ראשון של רשתות אלו, עושה שימוש בארכיטקטורת רשת היודעת ליצור תמונות, למשל. מכלול זה של הרשת מהווה את ה"גנרטור" כאשר בזמן ה"ריצה" של הרשת (Inference), ממירים את התמונה בקלט - לתמונה בסגנון שבו מעוניינים - למשל, ציור בסגנון של ואן גוך. במקביל, מפעילים רשת "שופט" שבוחנת אם תוצר הגנרטור אכן מתאים למה שנתבקש, בהשוואה לחומרים עליהם השופט התאמן, מול תמונות אמיתיות. כאשר מגיעים לרמה שבה השופט לא יכול להבדיל בין התוצרת של הגנרטור לבין המציאות - משפרים את השופט, במצב שבו השופט מזהה בקלות רבה מידי כי מדובר ב"זיוף" - משפרים את הגנרטור. ארכיטקטורה זו מאפשרת ליצור תמונות "מזויפות", כאלו שהרשת יצרה, לכאורה, בכל רמת איכות נדרשת. רשתות אלו נקראות (באנגלית): Generative Adversarial Networks, GAN. רשתות אלו פותחו לראשונה על ידי איאן גודפלו (Ian Goodfellow) שעבד אז בגוגל. רשתות אלו מתאימות ליצירת תמונות של עולמות תוכן שבהם קיימים כבר מאגרי מידע גדולים (למשל, פנים של אנשים - כאשר הרשת מייצרת אנשים שנראים אמיתיים, אבל כאלו שאינם קיימים).
כלים ותהליכים > רשתות גנרטור-שופט, שיודעות ללמוד "סגנונות"

הגנרטור של רשתות אלו כולל ארכיטקטורה של "מקודד" (Encoder), מרחב סמוי מועט ממדים ו"מפענח" (Decoder). ארכיטקטורה זו מאפשרת ל"מפענח" ללמוד סגנונות רצויים במהלך האימון. בשלב ה"ריצה" - מכניסים קלט רצוי - למשל, תמונה שהמשתמש צילם - ואז המפענח ימיר אותה לתמונה בסגנון שעליו המערכת התאמנה.
באיור משמאל, רואים ארכיטקטורה של Auto-Encoder, כלומר, ארכיטקטורה שמאפשרת לאמן את המפענח, על ידי הכנסת תמונות למקודד, כיווצן למרחב הסמוי ופתיחתן מחדש, כאשר פונקציית היעד היא שתמונת הפלט תהיה דומה ככל האפשר לתמונת הקלט. אימון כזה, גורם למפענח ללמוד את ה"סגנון" של תמונות הקלט וכך, אפשר לאמן אותו לחקות סגנון של אמן מסוים, תקופה, או כל מאפיין אחר. במרחב הסמוי, לעומת זאת, מתקבל "קוד" שמבטא את תוכן התמונות. בארכיטקטורה זו - אם "מנתקים" את המקודד ומכניסים נתונים ישירות למרחב הסמוי - ניתן לקבל תמונות רצויות בסגנון שעליו אומן המפענח.
כלים ותהליכים > שימוש במרחב הסמוי

דור מתקדם יותר של רשתות - מאפשר להכניס לגנרטור לאוו דווקא תמונות - אלא להתערב ישירות במרחב הסמוי. ארכיטקטורה זו מאפשרת, למשל, להכניס טקסט ולקבל תמונה עשירה בפרטים. ברשתות מתקדמות אלו, ניתן גם לבקש לא רק שהתוצאה תהיה דומה לדאטה סט אמיתי כלשהו - אלא למספר פונקציות התכנסות במקביל - למשל, שהתמונה תהיה "נעימה לעין/ אסתטית" לצופה אנושי, שהתמונה תהיה כזו שמשרה שמחה וכיוצא באלו.
כלים ותהליכים > רשתות "טרנספורמרים"

ארכיטקטורה שמאפשרת "הסתכלות מקבילית" ושימוש בריבוי מנגנוני "תשומת לב" על סוגיות שיש להן מימד של סדרתיות - כמו שפה, וידאו או מוזיקה.רשתות אלה זוכות להצלחה רבה במגוון יישומים ואולי, בעיקר, בכל הקשור להבנת שפה טבעית - NLP.
כלים ותהליכים > רשתות פעפוע

Diffusion Networks, רשתות אלה מייצרות "רעש" רנדומלי ועל ידי בדיקה עד כמה צמצום הרעש "מתקרב" לפתרון הרצוי - הן יכולות לחולל (ליצר), פתרונות שלא נראו קודם, מאותו "סוג". רשתות אלו נמצאו מתאימות במיוחד ליישומי בינה מלאכותית יוצרת.
כלים ותהליכים > רשתות טיטאנים

בסוף 2024, קבוצת המחקר בגוגל פרסמה מאמר על ארכיטקטורה חדשה של מודלים - טיטאנים. מודלים אלה מאפשרים סוג של "עדכון מישקולים" של המודל, גם כאשר הוא בשלב ה"היסק", השלב שלכאורה, המודל והמישקולים "ננעלו" לאחר שהמודל סיים אימון. ככל הידוע, ארכיטקטורה זו עושה שימוש בטכניקות של Test Time Training כמו גם Test Time Compute. טכניקות אלה נשענות על ההתפתחות הגדולה שחלה במודלים שיש להם יכולת הנמקה. הארכיטקטורה "חוקרת" את חלון ההנחיה (הפרומפט) ומשתמשת בהקשר של חלון ההנחיה כדי לשלב "ווקטורים מתמחים" לתוך המודל - כך שבסה"כ, המודל יודע להתאים את עצמו להקשר - בשלב ההיסק (Inference). בין השאר, נטען שמודלים אלה עוקפים את כל המודלים האחרים מבחינת ביצועים של המודל במבחני ביצועים שונים. לפי המאמר, המודל גם מאפשר "חלון הנחיה" הכולל כשני מיליון טוקנים - יותר מכל מודל קודם.
יישומים מובילים > רשתות טקסט לתמונה

ביולי 2022, פורסמו רשתות מאוד חזקות, כמעט, כל כמה ימים. הרשתות המובילות הןDALL-E של חברת openAI שמנהלה איליה סוצקבר למד בישראל, הרשתות Imagen וPARTI של חברת גוגל, רשתות אלו, ככל הידוע, נוצרו על ידי קבוצת החוקרים בגוגל איקס/ גוגל בריין. בקבוצה זו, פועלים בין השאר, ג'ף דין וג'פרי הינטון. מידג'ורני היא רשת חזקה להמרת טקסט לתמונות וכך גם רשתות נוספות.
רשימה חלקית של הרשתות :
DALL-E-2, של חברת OpenAI, מעט הרצות חינמיות ואחר כך, תמורת תשלום. נכון ל 2024, המודל זמין דרך מיקרוסופט ו/או OpenAI.
Midjourney, מעט הרצות חינמיות ואחר כך, תמורת תשלום.
Imagen של חברת גוגל, נכון לאוגוסט 2022 - עדיין סגור לציבור. ב 2024, המודל זמין לציבור דרך "גוגל לאבס" ו/או "גוגל ג'מיני".
PARTI של חברת גוגל, נכון לאוגוסט 2022 - עדיין סגור לציבור.
Stable Diffusion, נפתח לציבור ב 20.8.2022
vq-diffusion, של חברת מיקרוסופט, חינמי.
Simulacrabot, נכון לאוגוסט 2022 - עדיין סגור לציבור.
Shonekov AI, חינמי.
Meta Make a Scene, נכון לאוגוסט 2022 - עדיין סגור לציבור.
Deep AI Text to Image, חינמי.
MindsEye Beta, חינמי.
CrAIyon, חינמי.
Min-Dalle, מעט הרצות חינמיות ואחר כך, תמורת תשלום.
Dall E Flow, חינמי
Wombo
Laion AI Erlich
latent Diffusion
Glid 3 xl
Night Cafe
Disco Diffusion
Cogview
Pixray
Hot Pot AI, מעט הרצות חינמיות ואחר כך, תמורת תשלום.
Gaugen2, של חברת NVIDIA, חינמי. מאפשר לצייר סקיצה גסה והתוכנה ממירה את הסקיצה לתמונת נוף פוטוריאליסטית.
ERNIE-ViLG 2.0, מודל של חברת Baidu מאוקטובר 2022. המודל זמין לציבור בחינם (מעל Huggingface).
אחת הרשתות החזקות בעולם היא Kling הסינית, שיודעת לחולל גם ווידאו וגם תמונות.
במקביל, במהלך קיץ 2022, התפרסמה קבוצה גדולה של "מודלי שפה גדולים". השילוב של שתי משפחות אלה מאפשר לבנות רשתות שניתן "לדבר אליהן" בשפה טבעית, הן מבינות למה הכוונה (בדרך כלל, הקלט הוא טקסט שמקלידים אל היישום) ומציירות ציור. לרשתות אלו יש כמה וכמה תכונות מפתיעות:
מכיוון שהרשתות אומנו על מיליארדי דוגמאות והן "מכירות" את כל מה שאי פעם התפרסם, בהתאם, אפשר לבקש מהן לצייר תמונות בסגנון של צייר מסוים, מתקופה מסוימת, מז'אנר אמנותי מסוים וכדומה. תכונה זו מאפשרת למשתמש ללמוד תחומי עניין חדשים לגמרי עבורו.
בניגוד למצלמות, הרשתות אינן מוגבלות ל"דברים אפשריים" וכך אפשר לבקש מהן לצייר "סופת שלג תת-מימית" או כל דבר אחר - והן יציירו משהו שבדרך כלל, נראה משכנע באופן מפתיע.
אפשר לבקש מהן לצייר חוויה אישית מהעבר והן "ישחזרו" אותה.
אפשר לבקש מהן להשלים תמונה קיימת למשל, צילום אישי, ולהרחיב אותה באופן כזה שהתוכנה תשלים פרטים בעצמה, כולל "המצאה" של ההקשר הוויזואלי. לדוגמה, אפשר להעלות תמונת פורטרט ולבקש מהתוכנה לצייר גוף שלם של אדם שנמצא בתוך מסיבת ריקודים והתוכנה תשלים לבדה את כל הפרטים, בצורה שלא מאפשרת להבחין אם מדובר בצילום דוקומנטרי או לא.
ניתן להשתמש ברשתות אלו ליצירת "לוגו".
הרשתות מאפשרות מגוון גדול של "סגנונות" וככאלו, הן יכולות להחליף חלק מהעבודה של מעצבים גרפיים קלסיים/ אנושיים.
ביולי 2023, התפרסם מימוש של חברת "סטייבל דיפיוז'ן" - המאפשר להפוך סקטש ידני ותיאור טקסטואלי - לתמונה. מימוש זה מתאים במיוחד לילדים. (https://clipdrop.co/stable-doodle).
יישומים מובילים > רשתות טקסט לווידאו, תמונה לווידאו ווידאו לווידאו

רשתות "פשוטות" ועם מימשקים מאוד טכניים החלו להופיע מתחילת 2022. בתאריך 29.9.2022 - חברת "מטא", פרסמה מאמר שמתאר קיום של כלי המאפשר יצירת "קליפים" ישירות ממשפטי טקסט. היישום, ככל הידוע, נשען על יכולת לחזות פריימים קדימה וכך, למלא את הסרטון, במימד הזמן, בפריימים שיוצרים קליפ חלק ונעים לעין. החיבור של טכניקות כאלה, ביחד עם מודלי שפה גדולים - צפוי לאפשר יצירת סרטי וידאו ארוכים יותר. תיאור היישום, מאת MattVidPro AI, סרטון  באתר יוטיוב
ב-5 באוקטובר 2022, חברת "גוגל" פרסמה רשת שגם היא מייצרת "קליפים של וודיאו" לפי טקסט בחלון הנחיה - Imagen Video, גם היא, למעט מאמר ודוגמאות, טרם שוחררה לציבור.
ב-20 באוקטובר 2022, קבוצת המפתחים Deforum פרסמה אפליקציה המאפשרת ליצור ווידאו מתוך טקסט וליצור "קליפים" של עד 1000 פריימים (כחמישים שניות סרט). האפליקציה מאפשרת להגדיר "חלון הנחיה טקסטואלי" לכל פריים רצוי, או לקבוצת פריימים רצויה ולקבוע את מיקום המצלמה ותמועתה היחסית לסצנה - כולל "זום אין", תנועה בציר X ותנועה בציר Y. השימוש באפליקציה פתוח לציבור הרחב ואולם הוא תמורת תשלום.
במהלך 2023 הופיעו מגוון יישומים שמאפשרים לחולל ווידאו על בסיס טקסט בחלון הנחיה ("פרומפט") ו/או תמונה בחלון ההנחיה. שני יישומים בולטים הם RunwayML ו-Pikalabs. החברה הישראלית "אסטריה" מאפשרת לחולל ווידאו מטקסט, תמונה או ווידאו קיים עם UI נוח ועל בסיס שימוש במודלים קיימים כמו Deforum.
האפליקציה invideo מאפשרת להכניס חלון הנחיה טקסטואלי והיא בעצמה, באופן אוטומטי, מפתחת מהטקסט רעיון שלם, כותבת תסריט, מפרקת אותו לסצנות, מוצאת קטעי וידאו שאינם מוגנים בזכויות יוצרים, עורכת אותם יחדיו, מייצרת קריינות אנושית, מוצאת קטעי מוזיקה חופשיים ועורכת את הכל לסרט קוהורנטי שאותו ניתן לייצא במגוון פורמטים
בפברואר 2024, חברת Open AI פרסמה אודות קיום מודל שנקרה SORA. מודל פעפוע הכולל שיטת טוקניזציה חדשנית - על ידי שימוש בפאצ'ים במרחב הסמוי. מודל SORA מסוגל לעשות סרטים באורך 60 שניות לפי חלון הנחיה טקסטואלי באיכות יוצאת דופן - תוך שהוא מצליח לשמור "עקביות" של דמויות, תנועה משכנעת בממד הזמן, צללים, החזרי אור והאופן שבו הם מתבטאים כלפי חומרים שונים וטקסטורות שונות ועמידה ב"חוקי הפיזיקה". המודל מאפשר ליצור ווידאו לפי טקסט, ווידאו על בסיס תמונה, ווידאו על בסיס ווידאו אחר, למזג בין קליפים, לחולל תמונות ברזולוציה של 2048 פיקסלים על 2048 פיקסלים ויש לו תכונות פורצות דרך נוספות.
נכון לינואר 2025, הרשתות המובילות ליצירת ווידאו הן:
SORA של OpenAI
Kling.
Vidu.
hailuo ai
Krea
Veo2 (פתוח רק לקבוצה קטנה של משתמשים בארצות הברית, נכון לינואר 2025)
lumalabs
pika art
genmo (Mochi 1 Playground)
runwayml
qwenlm ( של חברת עליבאבא, עדיין לא פתוח בישראל)
יישומים מובילים > מידול תלת־ממדי לטובת אנימציות ויישומי מציאות וירטואלית

יכולות מידול תלת מימד על בסיס מחשבים החלו כבר באמצע שנות התשעים, כאשר מעבדי המחשב הגיעו לרמת ביצועים שמאפשרת את זה. המידול התלת־ממדי, ביחד עם יכולת "רינדור", הצללות, השתקפויות וכדומה - הביאה לפריחה של יישומים אמנותיים חדשים ובכללם משחקי מחשב תלת־ממדיים. אחת התוכנות המקובלות בהקשר זה היא תוכנת בלנדר שפותחה במקור לצרכים מסחריים. החברה שהובילה את פיתוח התוכנה קרסה עסקית ואולם, מכיוון שהיה לה בסיס משתמשים רחב ומכיוון שהיא תומכת תהליכים רבים ובכללם יצירת מודלים תלת־ממדיים, יכולת הגדרת "חומרים", "טקסטורות", רינדור, אנימציה, עריכת וידאו, יצירת משחקי מחשב ועוד - מייסד החברה הצליח לשלם עבור הזכויות ולהפוך את התוכנה לתוכנת "קוד פתוח" שנשענת על קהיליית מפתחים ואמנים-משתמשים רחבה. נכון ל 2022 התוכנה מאוד נפוצה, הקהילייה נתמכת על ידי תאגידי ענק שהם בעלי עניין כמו אדובי ופייסבוק.
במהלך 2022, תוכנות ה"טקסט לתמונה" ותוכנות המידול התלת־ממדי החלו להתמזג במגוון דרכים. ראשית, תמונות שנוצרו בתוכנות "טקסט לתמונה" יכולות לשמש כ"טקסטורות" עבור תוכנות המידול התלת־ממדיות. שנית, תמונות שנוצרו בתוכנות "טקסט לתמונה" יכולות לשמש כ"קידוד" ליצירת מודלים תלת־ממדיים על ידי הפיכת התמונה ל"מפת עומק" ופתרון ה"נורמלים" של המשטחים השונים - הדבקת התמונה, מפת קווי העומק ומפות הנורמלים לתוך תוכנות המידול וביצוע "אקסטרוד" חצי אוטומטי, המבוסס על התמונות שהבינה המלאכותית יצרה. תהליך זה יוצר מודל תלת־ממדי מתוך התמונה שהבינה המלאכותית יצרה באופן כמעט ישיר. במהלך ספטמבר 2022 החלו להופיע גם שילובים של התוכנות כך שניתן לפנות מתוך תוכנות המידול התלת־ממדי - ישירות אל תוכנות ה"טקסט לתמונה" בלי שצריך לצאת מהיישום. אוסף היכולות האלו מביאות לכך שאמנים יכולים ליצור מודלים תלת־ממדיים וסביבות תלת־ממדיות - בלי להזדקק לקבוצות גדולות של אנשי תוכנה - מה שנותן תנופה אדירה ליכולות ליצור אנימציות תלת־ממדיות וסביבות למשחקי מחשב כמו גם, סביבות לתמיכה ביישומי מציאות וירטואלית.
במהלך ספטמבר 2022, חברת NVIDIA פרסמה שני יישומים ליצירת מודלים תלת־ממדיים. הראשון - הופך דמויות דו־ממדיות למודלים תלת־ממדיים. היישום השני מאפשר ליצור "תאום דיגיטלי" של סביבות שלמות בתלת־ממד. יישום זה יכול לאפשר עיצוב פנים קלאסי, יישומי מציאות וירטואלית - אבל, הוא יכול גם לתמוך סביבות אימון ל"למידת חיזוקים" של רובוטים בעולם הפיזי ולכך עשויות להיות משמעויות ניכרות.
בסוף מאי 2023, חברת Blockade Labs פרסמה יישום שמאפשר ליצור סביבה תלת־ממדית ו"לטייל בתוכה" - כאשר הסביבה נוצרת לפי חלון הנחיה טקסטואלי, מספר קטן של קוים משורבטים ביד חופשית ובחירת סגנון".
יישומים מובילים > רשתות תמונה לטקסט

רשתות שהתמחותן בכתיבת טקסט המתאר את מה ש"רואים" בתמונה. רשתות אלו חשובות לטובת שימושים ספציפיים, למשל, זיהוי תמרורים עבור מכונית אוטונומית. מעבר לכך, הצמדה אוטומטית של טקסט המתאר את מה שרואים בתמונה, יכולה להקל מאוד על מנועי חיפוש. לרשתות אלו יש מגוון גדול של שימושים ובכללם: מתן כותרות לתמונה, יכולת "לתשאל" תמונות. אחד המודלים היותר חזקים בתחום הוא מודל "פלמינגו" של חברת "דיפמיינד". מאמר אינטרנטי שמתאר את המודלים השונים והשימושים האפשריים שלהם, נכון למרץ 2022.
החל מיולי 2023, ניתן להעלות קובצי תמונה לכמה וכמה מודלי שפה גדולים ולקבל באמצעותם תיאור של התמונה, או אפילו לנהל שיחה המתייחסת לתמונה. התכונה הזו מאופשרת במודל השפה הגדול של אנתרופיק - קלאוד 2, במודל השפה GPT4 - הן ישירות והן באמצעות "פלאגאינים" ייעודיים\ במודל השפה "בארד" של גוגל והיא כנראה, יהפוך לנפוצה יותר ויותר.
יישומים מובילים > שימוש במודלי שפה גדולים לטובת אמנות

במהלך 2022, פרסמו מספר "מודלי שפה גדולים". מדובר במודלים שכמות הפרמטרים החופשיים שלהם היא מאות מיליארדים ואף טריליונים. רשתות אלו מאומנות במשך זמן רב, על פריטי מידע רבים וכמות הפרמטרים החופשיים שלהן דומה לזו של מוח האדם. ככל שעובר הזמן, מסתבר של"מודלי השפה הגדולים" יש יכולות שלא נחזו - וחלק מיכולות אלו משמשות לאמנות ובכלל זה:
מודלי השפה מהווים את הרשת הראשונה - שהופכת את השפה החופשית של המשתמש לשפה שהרשת שהופכת טקסט לתמונה תוכל להתמודד איתה. מודל השפה הגדול הופך את שפת המשתמש לישויות מידע מוגדרות היטב, "הבנה" מה הנושא, מהן מילות תיאור, כיצד הישויות השונות מתייחסות האחת לשנייה וכדומה.
"מודלי השפה הגדולים" יכולים לשמש, באופן ישיר, לכתיבת סיפורת, ממגוון הז'אנרים הקיימים ובסגנונות של סופרים ידועים.
מודלי השפה יכולים לכתוב שירה במגוון סגנונות (כולל "האיקו", למשל, או בלדות וכדומה). לדוגמה, במענה לבקשה: "תכתוב לי האיקו על כתיבה" המודל (GPT-3) כתב, באפריל 2022:
Writing is a battle between my will
And the cruel indifference of the world
but, it is just words
דוגמאות לרשתות שהן "מודלי שפה גדולים", המובילים ביולי 2022:
GPT-3 - של OpenAI
LaMDA - של גוגל
PaLM - של גוגל
Gopher - של DeepMind (חברה בריטית בבעלות גוגל)
Chincilla של DeepMind (חברה בריטית בבעלות גוגל)
MT-NLG של חברת מיקרוסופט
BLOOM - של קונסרציום חוקרים בקוד פתוח
שימוש במודלי שפה גדולים לכתיבת מחזות. באוגוסט 2022, במסגרת פסטיבל "תיאטרון פרינג'", בעיר אדמונטון, בקנדה, הועלו מחזות שבסגרתם "שחקנים אמיתיים", בשר ודם, שיחקו במחזות שנכתבו על ידי מודל צ'ינצ'ילה של חברת DeepMind. לראשונה בהיסטוריה בני אדם הלכו להצגות שרובוטים כתבו,
בסביבות יולי 2023 פורסמו מספר מודלי שפה גדולים שאומנו על עברית ובכללם: קלוד 2 של חברת אנטרופיק ובארד של חברת גוגל. קלוד 2 "יודע" גם לנקד, לתרגם ארמית והוא, ככל הנראה, אומן על חומרים מקוריים, עכשוויים, בעברית וזאת מכיוון שיש לו הכרות עם התרבות הישראלית המודרנית. גם בארד וגם GPT4 - CODE INTERPERTER (של חברת אופן איי איי), מאפשרים להעלות קבצים, כולל תמונות, אל מודל השפה - ולשוחח איתו על התכנים של התמונות.
במהלך 2023 התפרסם מספר גדול של מודלי שפה גדולים בקוד פתוח. מודלים אלה מאפשרים לאמן מודלים ל"עולמות תוכן" של משתמש מקומי או תאגיד עסקי גדול, כולל ב"סביבה סגורה". רשימה של מודלים כאלה מתוחזקת למשל, באתר Huggingface.
יישומים מובילים > רשתות ליצירת מוזיקה

גם המוזיקה, בדומה לשפה, נשענת על "סדרתיות", כלומר, המוזיקה מתאפיינת, בין השאר, בסדר של הצלילים לאורך הזמן. החל משנת 2020, הופיעו רשתות שמסוגלות להלחין מוזיקה. באוגוסט 2022, "לראשונה בהיסטוריה", חברת הפקה גדולה "חתמה על חוזה עם ראפר וירטואלי". האירוע גרם להתנגדויות רבות ולאחר ש"הראפר הווירטואלי" ניבל את הפה ולאור ההתנגדויות - השימוש ב"ראפר הווירטואלי" הופסק.
אפליקציות:
AIVA Song Generator
Amper AI Music Generator
MuseNet MIDI Generator
AudioCipher MIDI Plugin & Melody Generator
Boomy AI Music Community
Synthesizer V SOLARIA - יישום המאפשר ליצור שיר שלם בהתבסס על קול של זמרת וירטואלית.
יישומים אלה לא זוכים לתפוצה גדולה מאוד והם נחשבים כ"לא משכנעים" עדיין.
במהלך מרץ 2024 החלה גרסה 3 של האפליקציה Suno לאפשר לחולל שיר שלם - כולל מילים, מגוון גדול של סגנונות מוזיקליים, כלי נגינה מלווים וכדומה. גרסה זו משכנעת מאוד ונחשבת להיות הראשונה שיכולה "לנצח" יצירות אנושיות.
יישומים מובילים > רשתות המרת טקסט לדיבור

רשתות אלו מאפשרות להכניס טקסט ל"חלון הנחיה", לבחור דמות מפורסמת מסרט או משחק ולקבל "הקראה" של הטקסט בקול של הדמות הנבחרת. איכות התוצאה שנויה במחלוקת, בעיקר בגלל הקושי לחקות אינטונציות.
יישומים מובילים > תוכנות ליצירה ועריכה של סרטים ווידאו

החל משנת 2022, הרשתות שתוארו לעיל משמשות לעריכת ווידאו בצורה שמכפילה את מהירות העריכה בסדר גודל פי עשרה.
באוגוסט 2022, היישום RunwayML שילב יכולת ל"ניקוי אוטומטי" של הרקע בסרטי ווידאו, בזמן אמיתי - כך שניתן לבקש להחליף את הרקע באמצעות הנחיה טקסטואלית - בלי להזדקק לטכניקות של "מסך ירוק".
שימוש מועיל נוסף, זו היכולת לסמן כל דבר רצוי על גבי הווידאו והתוכנה "יודעת" באופן אוטומטי למחוק את מה שסומן ולמלא במקומו את המסך בפיקסלים, כך שאי אפשר לדעת שהמחיקה התבצעה. מאפשר להסיר אנשים שהופיעו בווידאו "בטעות" וכדומה. יכולת זו מכונה בז'ארגון המתהווה של אנשי עריכת הווידאו באמצעות בינה מאלכותית יוצרת - Inpainting (שחלוף חזותי).
באמצע אוגוסט 2022 יצאה רשת - תוכנה חינמית לשימוש הציבור, רשת המאפשרת לייצר קליפים קצרים של אנימציה על בסיס חלון הנחיה טקסטואלי.
.
בתחילת דצמבר 2022 פורסם יישום המאפשר יצירת "קליפ וידאו" - כאשר ניתן לבחור שילובים של תמונות אמיתיות, או כאלו שנוצרו על ידי בינה מלאכותית, תסריט טקסטואלי שהמשתמש כותב בעצמו - או כזה שבינה מלאכותית יוצרת, "אודיו" שנוצר על ידי בינה מלאכותית וליצור מהשילוב קליפ וידאו ש"מושך תשומת לב".
יישומים מובילים > תוכנות ליצירה ועריכה של סרטים ווידאו > יצירת וידאו מטקסט

במהלך 2024, הופיעו מספר יישומים שמאפשרים ליצור וידאו מחלון הנחיה טקסטואלי. האפליקציה הראשונה שהתפרסמה נקראת SORA מתוצרת חברת Open AI ואולם, נכון לספטמבר 2024, יישום זה טרם נפתח לציבור. חברת Runway ML פרסמה גרסה המאפשרת ליצור קליפים של 5 או 10 שניות והיא נחשבת תוכנה מובילה בתחומה. היישום Kling הסיני מאפשר לחולל וידאו ברזולוציה גבוהה כמו גם - להכתיב ליישום, כאשר יוצרים וידאו מתמונה - איך להניע כל "ישות" בתמונה, לאורך הזמן (לקבוע את מסלולי התנועה של הישויות השונות).
יישומים מובילים > תוכנות ליצירה ועריכה של סרטים ווידאו > יצירת וידאו מתמונה או על בסיס "מסגרות מפתח"/ Key frames

החל מאוגוסט 2024, הופיעו מספר יישומים שמאפשרים "להכתיב" את הפריים הראשון של הקליפ, את הפריים האחרון ותמונה נוספת כ Key frame והיישום מייצר קליפ וידאו שמחבר, לכאורה, בצורה "חלקה" את שלושת התמונות. היישום הזה מאפשר גם "לחבר" רצף של קליפים לסרט ארוך - כאשר לכל פריים ראשון שיוצרים - מכניסים את הפריים האחרון של הקליפ הקודם שיוצר ומחברים את כל הקליפים לסרט שלם, ארוך, למשל באמצעות תוכנת עריכה.
יישומים מובילים > תוכנות ליצירה ועריכה של סרטים ווידאו > ז'אנרים ייחודיים

יצירת אוואטרים.
סגנונות.
הגדרת "מסלולים" של ישויות בסרט.
יישומים מובילים > בינה מלאכותית לפיסול

לא מוכרים יישומי בינה מלאכותית שיודעים לפסל באופן ישיר. פרויקט בריטי ארוך שנים בשם Ai-Da, עוסק ברעיון של יצירת רובוט בצורת אשה-אמנית (היומנואידית). לפי פרסומים שונים, AI-DA, הדגים פיסול בתהליך שמזכיר פסל אנושי, כלומר, הרובוט הגה פסל ויצר אותו בפועל. הרובוט הופיע בפני בית הלורדים הבריטי.
יישומים מובילים > בינה מלאכותית לתמיכה בארכיטקטים

מגוון יישומים מאפשרים לתמוך בתהליכי עיצוב ואדריכלות על מרכיביהם השונים. דוגמה פשוטה לכך היא שימוש בתוכנת "מידג'ורני" לקבלת עיצוב פנים רצוי, ביצוע איטרציות חוזרות ונשנות עד לקבלת תמונה רצויה למעצב האנושי ובחירת מרכיבים מתוך התמונה - כהשראה לעיצוב "האמיתי".
נושאים שאפשר לאמץ כוללים למשל,"טבלת צבעים", "אווירה", "סידור הרהיטים וסגנונם", טקסטורות, היחס בין צמחייה-עציצים ליתר מרכיבי העיצוב וכדומה
דוגמה נוספת, לתמיכה באדרכילות, אפשר למצוא בקליפ ההדרכה שלהלן.
יישומים מובילים > בינה מלאכותית לתמיכה במשחקי מחשב

יישומים שמקלים על תהליכי יצירת סביבות המשחק - תורמים לתעשיית משחקי המחשב. יישומי טקסט-לתמונה תורמים ליצירת סביבות תלת־ממדיות, יישומי טקסט לווידאו מאפשרים ליצור את הגרסאות הראשונות שעליהן אפשר לפתח סביבות משחק.
שימוש שככל הנראה, צפוי לחולל מהפכה של ממש במשחקי המחשב - זה כל עולם ה"דמויות שאינן שחקן". מודלי השפה הגדולים והצ'אטבוטים המודרניים מאפשרים לכל "דמות שאינה שחקן" להיות שחקן עם אופי, רצונות ויכולת לשוחח עם השחקן האנושי - באופן שמשפיע על התפתחות המשחק.
במהלך שנת 2022, חברות החלו לשלב יכולות כאלה לתוך המשחקים שלהן, כך למשל, חברת Unity שילבה לתוך המנוע שלה "דמויות שאינן שחקן" המנהלות שיחות עם השחקנים האנושיים בצורה שמשפיעה על התפתחות המשחק.
יישומים מובילים > שימוש בבינה מלאכותית ליצירה ואיור של ספרי ילדים, קומיקס, כרזות, מגזינים וכיוצא באלו

ככל שמודלי השפה משתפרים, מצד אחד והמודלים להמרת טקסט לתמונה, משתפרים, מצד שני - ניתן "לכתוב" ספרים ולצרף אליהם איורים, ברמה שגורמת לציבור לרצות לקרוא אותם. איור של ספר ילדים הוא במיוחד אתגרי, מכיוון שנדרש לשמור את הדמויות המאוירות - כך שהזהות שלהם תישמר מאיור לאיור - לאורך העלילה. נכון לאוקטובר 2022, יש כבר מגוון תוכנות שמאפשרות את זה. הנושא משתלב גם בתעשייה המתפתחת של מכירת ספרים שנוצרו על ידי בינה מלאכותית - בחנויות מקוונות למסחר - כמו אמאזון ודומותיה.
תהליכי יצירה

ברוב היישומים מוצגות מספר תוצאות ש"ח יצירות כך שהמשתמש יכול לבחור את התוצאה הרצויה לו או לבקש ליצור גרסאות נוספות.
תהליכי יצירה > יצירת תמונה מטקסט

בתהליך זה, המשתמש האנושי מכניס טקסט לתוך "חלון ההנחיה" (Prompt) והיישום הופך את הטקסט לתמונה. בדרך כלל, כדאי ללוות את הטקסט שמתאר את התמונה בתיאורים של הסגנון הרצוי, התאורה, אמן מוכר, דמות מוכרת, תקופה היסטורית, יישום מוכר של תוכנת עריכה קיימת וכיוצא באלו. בחלק מהתוכנות, אפשר גם לתת פקודות שונות המתארות את החשיבות היחסית של כל קטע טקסט.
תהליכי יצירה > העלאת תמונה ויצירת תמונה אחרת בהשראתה

ברוב היישומים, נתן להעלות תמונה קיימת, ממקור כלשהו, אל חלון ההנחיה. היישום יידע לייצר תמונה "בהשראת" הקובץ שהועלה.
באיור המצורף - דוגמה לתמונה שמידג'ורני יצרה, על סמך ציור של עץ באובב - ללא תיאור טקסטואלי בכלל, אחרי כמה עשרות איטרציות של וריאציות חוזרות ונשנות בתוך היישום.
תהליכי יצירה > העלאת תמונה וגם טקסט

בתהליך זה, היישום ייצר תמונה שגם מביאה בחשבון את קובץ התמונה וגם את התיאור הטקסטואלי
תהליכי יצירה > עריכה של תמונה קימת

בתהליך זה, הממשתמש מעלה תמונה, מוחק חלקים ממנה ומבקש מהיישום למלא את המחיקה, באמצעות תיאור טקסטואלי של איך הוא מבקש למלא את התמונה. טכניקה זו מאפשרת, בין השאר, לתקן פוקוס בצילום - יכולת חדשנית שעוזרת המיוחד במיקרים של צילום "מאקרו".
תהליכי יצירה > "זום אאוט קונטקסטואלי" מתמונה קיימת

בטכניקה זו, המשתמש מעלה תמונה לתוכנת עריכה רגילה (למשל, פוטושופ), מגדיל את הקנבס ורק אז מעלה את התמונה אל היישום. בתוך היישום, המשתמש מוחק את הקנבס שמסביב לתמונה המקורית ואז מבקש, על ידי תיאור טקסטואלי להשלים את הקנבס החסר. טכניקה זו מאפשרת להפוך תמונת פורטרט לתמונה של אדם בגודל מלא בתוך סצנה של מסיבה למשל. למעשה, טכניקה זו מאפשרת "זום אאוט" רצוף, כאשר יישום הבינה המלאכותית ממלא את האזור שלא היה בתמונה המקורית לפי "הדמיון" של עצמו והיצירה של עצמו.
תהליכי יצירה > שיחלוף חזותי

טכניקה המאפשרת למחוק קטע מהתמונה ולבקש מהתוכנה להשלים את הקטע שנמחק - ע"פ טקסט בחלון ההנחיה וההקשר החזותי של התמונה עצמה, Inpainting באנגלית.
תהליכי יצירה > איחוי תמונות

חלק מהתוכנות מאפשרות להעלות שתי תמונות שהודבקו על אותו קנבס ב"מרחק" האחת מהשנייה ו"לבקש" מהתוכנה למלא את המרווחים, ע"פ טקסט בחלון ההנחיה ובצורה שתתחבר לתמונות הקיימות בצורה שלא מאפשרת לראות את החיבור.
תהליכי יצירה > תהליך איטרטיבי

המשתמש יכול ליצור תמונה בכל אחד מהתהליכים שתוארו למעלה - ואז לייצא אותה לתוכנת עריכה רגילה, להעלות את התמונה החדשה אל היישום, לעבוד עליה וחוזר חלילה.
תיאור תהליכי העבודה מופיע באיור שמשמאל
תהליכי יצירה > שימוש ב"מסגרת התייחסות" ו"מסכות"

נכון לשלהי 2022, מתפתחות תוכנות שמאפשרות שימוש בשילוב של "מסגרת התייחסות" ו"מסכות". התוכנה מאפשרת להגדיר "חלון התייחסות" - כך שהבינה המלאכותית תתייחס רק לאותו מידע שנמצא בתוך חלון ההתייחסות - כך למשל, אם התמונה שעובדים עליה כוללת שמים וקרקע ו"חלון ההתייחסות" יצומצם כך שרק האדמה מוכלת ב"חלון ההתייחסות" - כל הפעולות שיבוצעו יהיו בהקשר לתוכן הוויזואלי של חלון ההתייחסות בלבד. לדוגמה - אם המשתמש יבצע "שיחלוף חזותי" - השיחלוף יהיה כך שהאלגוריתמיקה תנסה להתאים את התמונה "החדשה" אל תכולת חלון ההתייחסות בלבד ולא לתמונה כולה.
מנגנון נוסף הן "מסכות" המאפשרות למשתמש לצייר "מסכה" או שקף על גבי התמונה המקורית. כל הפעולות שמתבצעות בהמשך להצבת המסכה מתבצעות רק על השטח שאותו המסכה מכסה.
הצירוף של "חלון התייחסות" ו"מסכות" מאפשר בעצם "לצייר" ביד חופשית סוג של "סקיצה", להגדיר "חלון הנחיה טקסטואלי" וכך - לצייר "כל תמונה רצויה" באמצעות בינה מלאכותית יוצרת - בלי שיש צורך לצאת מחוץ ליישום. תוכנה מובילה בהקשר זה היא InvokeAI.