Sora (model teks-ke-video)

Sora adalah sebuah model teks-ke-video yang dikembangkan oleh organisasi penelitian kecerdasan buatan (AI) OpenAI. Model ini menghasilkan video berdasarkan perintah deskriptif serta dapat memperluas video yang sudah ada. Sampai dengan Februari 2024, Sora masih belum tersedia luas untuk publik.

 Sejarah 
Beberapa model teks-ke-video lainnya telah dibuat sebelum Sora, diantaranya Make-A-Video dari Meta, Gen-2 dari Runway, dan Lumiere dari Google, yang sampai pada bulan Februari 2024, juga masih dalam tahap penelitian. OpenAI, sebelum mengumumkan Sora, telah merilis DALL·E 3, sebuah model teks-ke-gambar pada bulan September 2023.

Tim yang mengembangkan Sora menamakannya setelah kata dalam bahasa Jepang untuk langit sebagai penanda untuk "potensi kreatif yang tak terbatas".Metz, Cade (February 15, 2024). "OpenAI Unveils A.I. That Instantly Generates Eye-Popping Videos". The New York Times. Archived from the original on February 15, 2024. Retrieved February 15, 2024. Pada tanggal 15 Februari 2024, OpenAI pertama kali memperlihatkan Sora dengan merilis beberapa klip video definisi tinggi yang dibuatnya, diantaranya termasuk SUV yang melaju di jalan pegunungan, animasi "monster berbulu pendek" di samping lilin, dua orang berjalan melewati Tokyo di tengah salju, dan rekaman rekaan demam emas California, dan menyatakan bahwa Sora mampu menghasilkan video berdurasi hingga satu menit.Levy, Steven (February 15, 2024). "OpenAI's Sora Turns AI Prompts Into Photorealistic Videos". Wired. Archived from the original on February 15, 2024. Retrieved February 16, 2024.Shankar Das (February 15, 2024). "Sora AI Can Generate Realistic Video based on Text Prompts: OpenAI". Epi Express. Archived from the original on February 15, 2024. Retrieved February 16, 2024. Laporan teknis kemudian disebarkan, yang menyoroti metode yang digunakan untuk melatih model tersebut.Brooks, Tim; Peebles, Bill; Holmes, Connor; DePue, Will; Guo, Yufei; Jing, Li; Schnurr, David; Taylor, Joe; Luhman, Troy; Luhman, Eric; Ng, Clarence Wing Yin; Wang, Ricky; Ramesh, Aditya (February 15, 2024). "Video generation models as world simulators". OpenAI. Archived from the original on February 16, 2024. Retrieved February 16, 2024. CEO OpenAI Sam Altman juga memposting serangkaian tweet, menanggapi permintaan pengguna Twitter dengan video yang dihasilkan oleh Sora.

OpenAI telah menyatakan bahwa mereka berencana untuk membuat Sora tersedia untuk umum tetapi tidak disebutkan kapan akan tersedia.Levy, Steven (February 15, 2024). "OpenAI's Sora Turns AI Prompts Into Photorealistic Videos". Wired. Archived from the original on February 15, 2024. Retrieved February 16, 2024.Yang, Angela (February 15, 2024). "OpenAI teases 'Sora,' its new text-to-video AI model". NBC News. Archived from the original on February 15, 2024. Retrieved February 16, 2024. Perusahaan memberikan akses terbatas kepada sebuah "tim merah" kecil, termasuk para ahli di bidang misinformasi dan bias, untuk melakukan pengujian terhadap model tersebut.Lacy, Lisa (February 15, 2024). "Meet Sora, OpenAI's Text-to-Video Generator". CNET. Archived from the original on February 16, 2024. Retrieved February 16, 2024. Perusahaan juga berbagi Sora dengan sekelompok kecil profesional kreatif, termasuk pembuat video dan seniman, untuk mencari masukan mengenai kegunaannya di bidang kreatif.

 Kemampuan dan keterbatasan 
Teknologi di balik Sora merupakan pengembangan dari teknologi di balik DALL-E 3. Menurut OpenAI, Sora adalah transformator difusi – model difusi laten denoising dengan satu transformer sebagai denoiser. Sebuah video dihasilkan dalam ruang laten dengan "tambalan" 3D, kemudian diubah menjadi ruang standar oleh dekompresor video. Pembuatan teks ulang digunakan untuk menambah data pelatihan, dengan menggunakan model video-ke-teks untuk membuat deskripsi mendetail pada video.Edwards, Benj (February 16, 2024). "OpenAI collapses media reality with Sora, a photorealistic AI video generator". Ars Technica. Archived from the original on February 17, 2024. Retrieved February 17, 2024.

OpenAI melatih model tersebut menggunakan video yang tersedia secara publik serta kumpulan video berhak cipta yang dilisensikan untuk tujuan tersebut, namun tidak mengungkapkan jumlah dan sumber pasti dari video tersebut. Setelah dirilis, OpenAI mengakui beberapa kekurangan Sora, termasuk kesulitannya dalam menyimulasikan fisika kompleks, memahami kausalitas, dan membedakan antara kiri dari kanan. Salah satu contoh menunjukkan sekelompok anak serigala yang tampak secara ganda, sehingga menciptakan skenario yang sulit diikuti. OpenAI juga menyatakan bahwa, sesuai dengan praktik keselamatan perusahaan yang ada, Sora akan membatasi teks yang berisi gambar seksual, kekerasan, kebencian, atau konten selebritas, serta konten yang menampilkan kekayaan intelektual yang sudah ada.

Tim Brooks, seorang peneliti Sora, menyatakan bahwa model tersebut menemukan cara membuat grafika komputer 3D hanya dari kumpulan datanya, sementara Bill Peebles, juga seorang peneliti Sora, mengatakan bahwa model tersebut secara otomatis membuat sudut video yang berbeda tanpa diminta sebelumnya.Levy, Steven (February 15, 2024). "OpenAI's Sora Turns AI Prompts Into Photorealistic Videos". Wired. Archived from the original on February 15, 2024. Retrieved February 16, 2024. Menurut OpenAI, video yang dihasilkan oleh Sora ditandai dengan metadata C2PA untuk menunjukkan bahwa video tersebut dihasilkan oleh kecerdasan buatan.Metz, Cade (February 15, 2024). "OpenAI Unveils A.I. That Instantly Generates Eye-Popping Videos". The New York Times. Archived from the original on February 15, 2024. Retrieved February 15, 2024.

 Reaksi 
Will Douglas Heaven dari MIT Technology Review menyebut video demonstrasi tersebut "mengesankan", namun menyatakan bahwa video tersebut pasti dipilih secara khusus dan mungkin tidak mewakili keluaran khas Sora pada umumnya.Heaven, Will Douglas (February 15, 2024). "OpenAI teases an amazing new generative video model called Sora". MIT Technology Review. Archived from the original on February 15, 2024. Retrieved February 15, 2024. Akademisi Amerika Oren Etzioni menyatakan kekhawatirannya atas kemampuan teknologi tersebut dalam menciptakan disinformasi daring untuk kampanye politik.Metz, Cade (February 15, 2024). "OpenAI Unveils A.I. That Instantly Generates Eye-Popping Videos". The New York Times. Archived from the original on February 15, 2024. Retrieved February 15, 2024. Untuk Wired, Steven Levy juga menulis bahwa film tersebut berpotensi menjadi "badai informasi yang salah" dan berpendapat bahwa klip pratinjaunya "mengesankan" tetapi "tidak sempurna" dan "menunjukkan pemahaman yang muncul tentang tata bahasa sinematik" karena perubahan tangkapan kamera tanpa diminta. Levy menambahkan, "akan memakan waktu yang sangat lama, jika akan terjadi, sebelum teks-ke-video mengancam pembuatan film yang sebenarnya."Levy, Steven (February 15, 2024). "OpenAI's Sora Turns AI Prompts Into Photorealistic Videos". Wired. Archived from the original on February 15, 2024. Retrieved February 16, 2024. Lisa Lacy dari CNET menyebut bahwa contoh videonya "sangat realistis – kecuali mungkin saat wajah manusia terlihat dari dekat atau saat makhluk laut sedang berenang".Lacy, Lisa (February 15, 2024). "Meet Sora, OpenAI's Text-to-Video Generator". CNET. Archived from the original on February 16, 2024. Retrieved February 16, 2024.

 Lihat pula 

 ChatGPT

 Referensi 

 Pranala luar 


Kategori:Teknologi film dan video
Kategori:Penerapan kecerdasan buatan