Büyük veri
Büyük Veri > Büyük Veri Devrimi

2009 yılında domuz gribi olarak adlandırılan salgının (H1N1 virüsü) 1918 yılındaki İspanyol gribi salgınının korkunç hatıralarından dolayı dünya kamuoyunda ciddi bir endişe yarattığı dönemlerde Google bilimsel dergi Nature'da önemli bir araştırma yayımladı. Araştırmanın temeli insanların İnternet üzerinde yaptıkları aramalara dayanan matematiksel modeller ile gribin ABD'de hangi bölgelere ve hangi yoğunlukta yayıldığını tespit etmekti. İnsanların grip belirtileri başladıktan birkaç gün sonra doktora gitmeleri konuyla ilgilenen sağlık kurumlarının ellerindeki verilerin sağlıklı olmaması gibi bir sonuç doğurmaktaydı. Google elindeki muazzam veritabanı ve veri işleme kapasitesiyle Amerikan sağlık otoritelerinden daha etkili bir şekilde hastalığın yayılmasıyla ilgili bilgilere ulaşabilmekte idi. Bunun için 450 milyon farklı matematiksel model kullanıldı ve arama terimleri CDC 2007 ve 2008 yılındaki gerçek grip vakaları ile karşılaştırıldı. Sonuç olarak 45 arama terimi ile resmi yayılma oranları arasında çok güçlü bir korelasyon olduğu tespit edildi. Büyük veri iş dünyasında önemli yeniliklerin ortaya çıkmasına neden olmuştu. Uçak biletlerini alınması büyük veri kullanımına güzel bir örnek olmaktadır. Google tarafından ortaya konulan araştırma İnternetin bu zamana kadar kamu sağlığı kapsamda kullanılmayan önemli bir yönünü ortaya koymaktaydı. İnternet arama motoru devinin elindeki veri insanlık için çok kıymetli yenilikçi mal ve hizmetlerin ortaya çıkmasına sebep olmaktaydı.
İşleme gücü ve veri depolamanın birkaç yıl öncesine kadar çok pahalı olması bu tür yeniliklerin ortaya çıkmasını zorlaştırmaktaydı. Ancak gerek teknolojinin gelişmesi gerekse zihniyet değişikliği veriyi önemli bir ekonomik değeri olan önemli bir iş girdisi şekline dönüştürmüştür. Bilgisayarlar bundan 50 yıl öncesinde insan hayatına girmiş olmasına rağmen toplanan veri miktarı ancak bu minvaldeki büyük değişikliklere sebep olacak seviyeye son birkaç yıl içinde ulaşmıştır. Genom olarak adlandırılan genetik haritamız 2003 yılında çizilmiş ancak 3 milyar çiftten oluşan halkaların sıralanabilmesi 10 yıl kadar sürmüştür. Bugün bu sayıdaki DNA'lar sadece bir günde sıralanabilmektedir. ABD'de her gün yaklaşık 7 milyar hisse senedi el değiştirmekte ve bu işlemlerin üçte ikisi devasa verileri analiz matematiksel modellere dayanan algoritmalar tarafından yapılmaktadır.
İnsanlık tarihinde bilgi üretiminin üssel olarak arttığı bazı dönemler bulunmaktadır. Matbaanın Avrupa'da kullanılmaya başlamasından itibaren birkaç on yıl içinde basılan kitap sayısı o zamana kadar tüm Avrupa da basılan kitap sayısından daha fazla bir sayıya ulaştı. Veri işleme ve depolama teknolojilerindeki gelişmelerle birlikte sadece birkaç yıl içinde üretilen veri bu zamana kadar üretilen tüm analog ve sayısal verinin birkaç katına ulaşmaktadır. Daha önceleri veriye ulaşma ve ulaşılsa bile veri işleme vasıtalarındaki kısıtlardan dolayı tercih edilen “örnekleme” modeli artık yerini tüm verinin analiz edildiği ve böylece çok daha doğru ve detaylı analizlere ulaşılabilen yeni bir döneme yerini bırakmaya başlamıştır.
Özellikle sosyal bilimler alanında insanlar arama yaptıkları terimler ya da Facebook gibi sosyal paylaşım sitelerindeki “beğen” tıklamaları insanların tercihleriyle ilgili önemli ipuçlarını ortaya koymaktadır. Bu veri özellikle şirketlerin pazarlama stratejilerinde çok önemli bir girdi olarak yerini almaya başlamıştır. Devasa verilerin artık çok aha etkin bir şekilde işlenebilmesi ticari hayatın pek çok alanını derinden etkilemiştir. Verilerden elde edilen korelasyonlar Walmart ve Amazon.com gibi pek çok ülkenin milli hasılasından daha fazla satış yapan şirketlerin ortaya çıkmasına neden olmuştur. Artık elde edilen ve işlenen veriler ile korelasyon temelli bir dünyaya gidildiği yönünde değerlendirmeler yaygınlık kazanmaktadır. Bu değerlendirmelere göre verilerin kısıtlı olduğu eski zamanlarda bilim adamları teorilere ihtiyaç duymaktaydı ama günümüzde artık veriler konuşmakta ve teorilere ihtiyaç bulunmamaktadır. Bu yüzden bilimsel metodolojinin de İnternet vasıtasıyla elde edilen veriyi işleme kapasitesine sahip bilgisayarlar sayesinde değişeceği iddia edilmektedir. Artık korelasyonun nedenselliğin yerini alacağı ve niçin sorusundan ziyade “ne” sorusunun önem kazanacağı ifade edilmektedir.
İnternet'in şüphesiz en önemli katkılarından birisi bilgiye erişim noktasındadır. Bilgi çeşitli formlarda sunuluyor olmasına rağmen klasik yöntem olan kitaplar vasıtasıyla bilgiye erişim konusunda da İnternet çok önemli gelişmelere vesile olmuştur. Kitapların İnternet üzerinden araştırılması ve adrese teslim edilmesi İnternet öncesine göre çok önemli bir katkı olarak karşımıza çıkmaktadır. Ayrıca kitapların google gibi şirketler tarafından dijital ortama aktarılması kitaplara erişim konusundaki sınırları ortadan kaldırmaktadır. Bu zamana kadar 130 milyon başlıkta farklı kitabın yayımlandığı ve bu kitapların yaklaşık 20 milyonunun (yaklaşık %15) Google tarafından dijital ortama aktarıldığı görülmektedir. İnternet vasıtasıyla bilgi toplama sadece pasif bir toplayıcı olmaktan öteye gitmektedir. Örneğin ReCaptcha denilen bir uygulamada kullanıcıların gerçek insanlar olduğunu doğrulamak için daha önce rastgele harflerin yazılmasıyla yapılan doğrulamaların hem bu amacın gerçekleştirildiği hem de bilgisayarlar tarafından okunamayan kelimelerin ücretsiz olarak kullanıcılar tarafından okunduğu görülmektedir. Böylece güvenlikle ilgili bir yeniliğin katma değeri olan başka bir uygulamaya evrildiği görülmektedir. Bu örnek veri toplama ve kullanımıyla ilgili tüm alanlarda görülmektedir. Veri bir defa kullanılıp atılan ya da zamanla değeri kaybolan bir ticari emtiadan ziyade gelişen teknoloji ile her zaman yeni kullanım alanları bulan bir varlık konumundadır. Google'nin sokak görüntüleri için topladığı devasa bilgi sadece Google Earth uygulaması için değil aynı zamanda GPS hizmetleri için kullanılmaya başlanmıştır. Şirket ayrıca sokaklardaki Wi-Fi bağlantılarının envanterine de sahip olmuştur. Arama motorlarında yapılan aramalar buna güzel bir örnek teşkil etmektedir. Arama motorlarındaki istatistikleri kullanarak yeni yıldaki moda eğilimlerinden ev fiyatlarındaki dalgalanmalara kadar pek çok hususta tahminler yürüten çok sayıda şirket ortaya çıkmaktadır.
İnternetin olumsuz etkilerinden bahsedilirken sıkça tekrarlanan husus özel hayatın gizliliğinin sıkça ihlal edildiğidir. Soğuk Savaş dönemindeki komünist blokta yer alan ülkelerin kendi vatandaşlarını izlemek için devasa büyüklükte casusluk şebekeleri kurduğu bilinmektedir. Doğu Almanya'da faaliyet gösteren Stasi (Staatssicherheit, State Security) kurduğu ve yüzbinlerle ifade edilen çalışanı ile neredeyse tüm Doğu Alman vatandaşlarını izlemiştir. İnternetin ortaya çıkmasıyla birlikte artık bu tür izleme faaliyetleri hem kolaylaşmış hem de son derece kapsamlı hala gelmiştir.. Ayrıca önceden sadece istihbarat örgütleri tarafından gerçekleştirilen bu tür faaliyetler hayatımızın vazgeçilmez bir parçası haline gelen İnternet siteleri tarafından kullanıcının kendi isteğiyle verdiği bilgiler vasıtasıyla çok daha kapsamlı olarak uygulanmaktadır. Facebook bizim sosyal ilişkilerimiz dâhil nelerden hoşlandığımızı, Google arama alışkanlıklarımızı, Twitter aklımızdan geçirdiklerimizi, e-ticaret siteleri de alışveriş alışkanlıklarımızı bilmektedir. Mobil işletmeciler kiminle ne konuştuğumuzu ve hatta tatillerimiz ve boş vakitlerimizi kiminle geçirdiğimizi ve hangi arkadaşımıza ne kadar yakın olduğumuzu bilmektedir. Yalnızca şirketler değil devletlerinde vatandaşlarının İnternet üzerinden gerçekleştirdikleri işlemleri izleme kapasitesi önemli oranda artmıştır. Amerikan Güvenlik Ajansı (NSA, National Security Agency) tarafından yapılan bu izlemelerle ilgili pek çok skandal ortaya çıkmıştır.