Pre-release forecasting of imdb movie ratings using multi-view data

Günümüzde internet kullanıcıları artık sadece internet sitelerini ziyaret eden taraf değil aynı zamanda bu sitelerin içeriklerini oluşturan ya da oluşturulmasına katkı sağlayan taraf haline geldi. İnternet kullanımının yaygınlaşmasıyla özellikle sosyal medya gündelik hayatın önemli bir parçasını oluşturmaya başladı. Sosyal medya kullanıcıları çeşitli platformlarda güncel konular üzerine düşüncelerini, satın aldıkları ürünlerle ilgili görüşlerini, yakın zamanda gösterime girmiş filmler hakkındaki eleştirilerini, turistik gezileri esnasında elde ettikleri deneyimlerini, siyasi fikirlerini ve bunlar gibi çeşitli ve önemli kişisel düşüncelerini paylaşarak bilerek ya da farkında olmaksızın bu platformlar üzerinde muazzam büyüklükte bir veri oluşmasına sebep olmaktadırlar. Böylesine büyük ölçekli bir verinin varlığı ise çeşitli alanlardan birçok araştırmacının ilgisini çekmektedir. Araştırmacılar bu büyük verileri analiz ederek faydalı ve işlevsel sonuçlar elde etmeyi amaçlamaktadırlar. Bu analizlere dayalı tahmin sistemleri uygun şekillerde tasarlandığı takdirde geleneksel istatistiksel yöntemlere kıyasla çok daha doğru ve kesin sonuçlar verebilir. Tasarlanan bu sistemler, şehir trafiğini tahmin etme, haber popülerliğini saptama gibi gündelik hayatı kolaylaştırıcı kararlara yardımcı olmanın yanı sıra kur hareketlerinin kestirimi ya da seçim sonuçlarının tahmini gibi finans ve siyaset gibi farklı alanlarda da kullanılabilir. Gittikçe büyüyen ve küresel pazarda milyarlarca dolar gelirle çok önemli bir paya sahip olan film endüstrisi de bu tahmin sistemlerinin kullanılmasıyla faydalı çıkarımlarda bulunulabilecek önemli alanlardan biridir. Böylesine büyük bir endüstri için üretilecek filmin ne kadar kazandıracağının önceden tahmin edilebilmesi oldukça önemlidir. Toplam gelirin çoğunun üretilen filmlerin oldukça düşük bir yüzdesi tarafından oluşturulduğu ve üretilen filmlerin çoğunun zarar ettiği bu milyar dolarlık sektörde karlı bir film yapmak oldukça önemlidir. Gişe/başarı tahmini sayesinde karlılığın artırılması ihtimali sektördeki karar alıcıların ilgisini çekmektedir. Buna göre, bir filmin daha fazla izlenmesini dolayısıyla daha fazla kazandırmasını sağlayan faktörlerin filmin gösterime girmesinden önce tespit edilmesi, film yapımcılarının ve diğer karar alıcı kişilerin karlılığı artırmak adına daha uygun kararlar almalarına yardımcı olabilir. Örneğin, başarılı olacağı tahmin edilen bir filmin gösterimi için daha fazla salon kiralanması durumunda daha fazla izleyiciye ulaşılacağı için gişe gelirleri artacaktır. Aksine, başarısız olacağı tahmin edilen bir film için ise daha az sayıda salon kiralamaya karar vermek zararın azaltılmasına yardımcı olabilir. Bütün bu nedenlerden dolayı filmin başarısının tahmin edilebilmesi bu endüstri için çok önemli bir adımdır. Ancak izleyicilerin seyir zevki oldukça öznel bir alan olduğundan bu tahmin aşaması oldukça zordur. Şimdiye kadar film başarısının tahmini için geleneksel yöntemlerden yararlanılmış olsa da bu yöntemler böylesine karmaşık bir tahmini gerçekleştirmek için yetersiz kalmaktadır. Son çalışmalar veri madenciliği ve makine öğrenme yöntemlerinin geleneksel yöntemlere göre çok daha doğru sonuçlar verdiğini göstermiştir. Böylece gösterime girmeden önce filmin başarısını tahmin etmek bilgisayar bilimcileri için de ilgi çekici bir araştırma alanı haline gelmiştir. Makine öğrenmesi, eğitim verisi olarak da adlandırılan mevcut verileri kullanarak belirli bir görev üzerindeki performansın geliştirilmesine yoğunlaşan bir bilgisayar bilimi alanıdır. Bu alanda amaç, geçmişş deneyimlerden çıkarımlar yapmak için matematiksel modeller yaratmaktır. Makine öğrenmesi, bu modelleri oluşturmak için istatistik bilimi yöntemlerinden yoğun bir şekilde yararlanır. Başka bir deyişle makine öğrenmesi, eğitim verisini kullanarak bu matematiksel modellerin parametrelerini iyileştirmeye çalışır. Çoğu zaman makine öğrenmesi veri madenciliği ile birlikte anılır. Veri madenciliği ise makine öğrenme yöntemlerinin büyük veri kümeleri üzerinde uygulanmasıdır. Finans sektöründeki dolandırıcılıkların tespit edilmesinden konut fiyatlarının tahmin edilmesine, tıbbi araştırmalardan otonom araçlara kadar veri madenciliğinin oldukça geniş bir uygulama alanı vardır. Film endüstrisi özelinde film başarısının tahmin edilmesi de veri madenciliğinin kapsamına giren bu çeşitli alanlardan biridir. Şimdiye kadar bu alanda farklı çalışmalar yapılmasına rağmen film başarısının tahmin performansını artırmak için halen yeni ve farklı çalışmaların yapılmasına ihtiyaç vardır. Ayrıca, şimdiye kadar yapılmış çalışmaların birçoğu bu başarı tahmin problemini gişe hasılat tahmini olarak ele almış ve bu problemi de bir sınıflandırma problemine dönüştürerek incelemiştir. Bununla birlikte film izleyicilerinin beğenisini tahmin etmek için pek fazla çalışma yapılmamıştır. Ayrıca, mevcut birçok çalışma kapsamında yeterli ve güncel veri toplanamamıştır. Bu çalışmanın amacı film izleyicilerinin filmler için verecekleri oyların, o filmin gösteriminden önce tahmin edilebilmesidir. Diğer bir deyişle bu regresyon problemini çözmek için etkili bir model oluşturmak olduğu da söylenebilir. Film izleyicilerinin vereceği oyların tahmin edilmesi bir regresyon problemidir çünkü tahmin edilecek değer, sınıflandırma problemlerinde olduğu gibi ayrık bir değer yerine bir sayılabilir değerdir. Bu çalışma, farklı veri kaynaklarının bir araya getirilmesi ve faktörizasyon makineleri gibi özgün makine öğrenme yöntemlerinden birinin kullanılarak performans sonuçlarının iyileştirilmesiyle daha önceki çalışmaları bir adım daha ileri götürmeyi amaçlamaktadır. Bu çalışmada, gösterime girecek yeni filmlerin meta verilerini, sosyal medya verileriyle birleştirerek ve faktörizasyon makineleri yöntemini çeşitli makine öğrenme yöntemleriyle karşılaştırarak henüz gösterime girmeden filmin IMDb oylama değerini tahmin etmek amaçlanmıştır. Ayrıca, bu tahmin süreci üzerinde hangi özelliklerin daha fazla etkiye sahip olduğu ve farklı veri kaynaklarından gelen bu özelliklerin bir arada nasıl kullanılabileceği araştırılmıştır. Bu çalışmada, film gösterime girmemişken izleyiciler tarafından oluşturulacak filmin IMDb oyunun tahmin edilmesi problemini çözmek ve sonuçları önerilen faktörizasyon makineleri yaklaşımıyla karşılaştırmak için çok bilinen çeşitli tahmin algoritmaları kullanılmıştır. Doğrusal regresyon, destek vektör regresyonu, k-en yakın komşular regresyonu, çok katmanlı algılayıcı regresyonu, rasgele orman regresyonu ve gradyan artırma regresyonu, bu çalışma boyunca karşılaştırma için kullanılan tahmin algoritmalarındandır. Bu çalışmada, filmlerin oylarının gösterimlerinden önceki tahminlerinin doğruluğunu arttırmak için film meta verilerini sosyal medya verileriyle birleştiren faktörizasyon makinelerine dayalı yeni bir yaklaşım geliştirilmiştir. Faktörizasyon makineleri, matris faktörizasyon modellerinin genişletilmiş bir versiyonudur. Faktörizasyon makineleri, matris faktörizasyon modellerinin dezavantajlarından kurtulmak için destek vektör makineleri ve lineer regresyon gibi ile tipik makine öğrenmesi yaklaşımlarıyla matris faktörizasyonu yönteminin avantajlarını birleştirmiştir. Faktörizasyon makineleri hem sınıflandırma hem de regresyon problemlerini çözmek için kullanılabilir. Çalışma sırasında film meta verilerini ve sosyal medya verilerini bir arada içeren mevcut bir veri kümesine rastlanmamıştır. Ayrıca, filmlerle ilgili istenilen verilerin farklı kaynaklardan birleştirilerek toplanabileceği herhangi bir uygulamaya rastlanmamıştır. Bu nedenle, sosyal medya da dahil olmak üzere farklı kaynaklardan veri toplayabilmek ve böylelikle her seferinde ihtiyaca uygun özel bir veri tabanı oluşturulabilmesini sağlamayacak bir yazılımın geliştirilmesi, bu çalışmanın ilk adımı olmuştur. Bu yazılım sayesinde filmin gösterim tarihi, filmde konuşulan diller ve gösterime gireceği bölge gibi parametrelerin ayarlanmasıyla ihtiyaca özel ve daha fazla veri toplamak mümkün hale geliyor. Bu yazılımın geliştirilebilmesi için TMDb, IMDb, Twitter ve Vikipedi gibi birçok farklı veri kaynağı kullanıldı. Bu kaynaklar, verileri yaygın metin dosya formatları ile kolay bir şekilde sunmak yerine, farklı kısıtlara ve erişim yöntemlerine sahip uygulama programlama arayüzleri sunmaktadır. Bu nedenle, çalışma boyunca bu arayüzlere erişmek için farklı küçük yazılımlar geliştirilmiştir. Bu, gösterime girmemiş filmlerin oylarının tahmini probleminde faktörizasyon makineleri yaklaşımının, farklı özellik kümelerinin bir araya getirilmesiyle kullanılmasının tahmin performansını etkileyip etkilemeyeceği araştırılmıştır. Bu nedenle, hangi özellik grubunun daha iyi performansa yol açacağına karar vermek için özellikler, veri kaynaklarına göre meta veriler ve sosyal medya verileri ve veri türlerine göre de sürekli ve ayrık değerler olmak üzere gruplandırılmıştır. Sonuçta, bu gruplama işlemine göre makine öğrenmesi modellerini beslemek üzere kullanılacak 6 farklı özellik kümesi oluşturulmuştur. Çok değişkenli doğrusal regresyon, uygulaması ve yorumlaması kolay olduğu ve önceki çalışmaların çoğunda kullanıldığı için, faktörizasyon makineleri yaklaşımının performans sonuçlarının karşılaştırılmasında temel karşılaştırma yaklaşımı olarak seçilmiştir. Performans ölçümlerini hesaplamak için eğitim verilerini rastgele bölen 10 kat geçerlilik sınaması yaklaşımı kullanıldı. Performans ölçümleri, bu katlardan elde edilen ölçümlerin ortalaması alınarak hesaplandı. Performans ölçümü olarak her ikisi de en yaygın performans değerlendirme ölçümlerinden olan ortalama karesel hata ve belirleme katsayısı (R2 skoru) ölçümleri kullanıldı. Film meta verileri ve sosyal medya verilerinin bir arada olduğu ve hem sürekli hem de ayrık değişkenleri içeren veri kümesinin faktörizasyon makineleri yaklaşımı kullanılarak en iyi performans ölçümlerini MSE 1.19 ve R2 skoru 0.88 olmak üzere verdiği görüldü. Doğrusal regresyon yaklaşımı ile karşılaştırıldığında faktörizasyon makineleri yaklaşımının kullanılmasıyla sonuçlarda iyileşme olduğu fakat, bu yaklaşımın hala geliştirilmeye ihtiyaç duyduğu görülmüştür. Deneysel sonuçlar, faktörizasyon makineleri yaklaşımının sürekli ve ayrık meta veri özelliklerinin birlikte kullanılmasının performansı artırdığını göstermektedir. Filmlerin meta verilerinin ve sosyal medya verilerinin kombinasyonun, performans sonuçlarını çok az değiştirdiği gözlenmiştir. Faktörizasyon makineleri yaklaşımı, filmlerin meta verileri ve sosyal medya verilerinin içindeki gizli faktörleri tanımlayabileceğinden film tahmini için de ümit verici sonuçlara sahiptir. Bu çalışmada önerilen yöntemin, geleneksel yöntemlere kıyasla tahmin doğruluğunu artırdığı gözlenmiştir. Sonuç olarak bu tez çalışmasında, sosyal medya verileri de dahil olmak üzere farklı veri kaynaklarının bir araya getirilmesi ve faktörizasyon makineleri gibi farklı makine öğrenme metotlarının karşılaştırılmasıyla henüz gösterime girmemiş filmlerin izleyici oylarının tahmin edilmesi ve böylelikle daha önce yapılan çalışmaların ilerletilmesi amaçlanmıştır. Ayrıca, filmlerin izleyici oylarının tahmininde hangi özelliklerin daha fazla etkiye sahip olduğu ve farklı veri kaynaklarından gelen bu özelliklerin birlikte nasıl kullanılabileceği araştırılmıştır. Farklı kaynaklardan veri toplamak ve güncel filmleri içeren özel bir veri tabanı oluşturmak için bir program geliştirilmiştir. Bu çalışmada sunulan yöntemle geleneksel yöntemlere kıyasla performansın artırıldığı gösterilmiştir.