Büyük veri
Büyük Veri

Günümüzde bilgi toplumunun unsurlarını hayatın her alanında görmek mümkündür. Artık çoğu insanın cebinde bir akıllı telefon, çoğu insanın da, evinde bir bilgisayar ve tüm şirketlerin arka ofislerinde bilgi teknolojileri yönetimini yapan birimler bulunmaktadır. Ancak bilginin kendisi o kadar görünür değildir. Bununla birlikte bilgisayarların insan hayatına girmesinden ancak yarım asır sonra bilgi miktarı anlamlı ve özel bir nitelik kazanacak şekilde toplanmaya başlamıştır. Günümüzde sadece bilgi miktarı artmamış aynı zamanda bilgiye erişim hızı da artmıştır. Niceliksel değişiklik beraberinde niteliksel değişikliği de getirmiştir. Verinin manalı bir bütün oluşturacak şekilde toplanması ilk önce astronomi ve genetik alanında gerçekleşmiştir. Büyük veri kavramı da ilk olarak bu alanlarda kullanılmış daha sonra bu kavram her alan için kullanılmaya başlanmıştır. Büyük veri artık hayatımızın her alanında kendini göstermeye başlanmıştır. Örneğin; Ínternet arama motoru Google'dan hastalıkların teşhis ve tedavisi, İnternet üzerinden alışverişlere kadar her alanda büyük veri karşımıza çıkmaktadır.
Büyük veri; toplumsal medya paylaşımları, ağ günlükleri, bloglar, fotoğraf, video, log dosyaları gibi değişik kaynaklardan toparlanan tüm verinin, anlamlı ve işlenebilir biçime dönüştürülmüş biçimine denir. Olageldiği gibi, ilişkisel veritabanlarında tutulan yapısal verinin dışında kalan, son dönemlere dek çok da kullanılmayan, yapısal olmayan veri yığınıdır. Artık yıkılmış olan yaygın bilişimci inanışına göre, yapısal olmayan veri, değersizdi, ama büyük veri bize bir şey gösterdi o da günümüzdeki bilgi çöplüğü diye adlandırılan olgudan muazzam  derecede önemli, kullanılabilir, yararlı yani çöplükten hazine çıkmasına neden olan yegane sistemdir. Büyük veri; web sunucularının logları, İnternet istatistikleri, sosyal medya yayınları, bloglar, mikrobloglar, iklim algılayıcıları ve benzer sensörlerden gelen bilgiler, GSM operatörlerinden elde edilen arama kayıtları gibi büyük sayıda bilgiden oluşuyor.
Büyük veri, doğru analiz metotları ile yorumlandığında şirketlerin stratejik kararlarını doğru bir biçimde almalarına, risklerini daha iyi yönetmelerine ve inovasyon yapmalarına imkân sağlayabiliyor.
Şirketlerin çoğu, halen konvansiyonel veri ambarı ve veri madenciliği yöntemleriyle elde ettikleri datalardan yola çıkarak, karar almaya devam ediyorlar. Ancak, tüketici eğilimlerini dinamik şekilde öngörebilmek, büyük veriyi analiz edebilmekten ve bu analizlere göre hareket edebilmekten geçiyor. Büyük veri, geleneksel veritabanı araçları ve algoritmaları ile işlemesi zor olan bu büyük verinin oluşturulması, saklanması, akışı, analiz edilmesi gibi birçok konuyu içeren bir terim olarak karşımıza çıkmaktadır. Veriler klasik veritabanlarının kaldıramayacağı büyüklükte olduğu gibi verinin büyüme hızı da bir bilgisayar veya bir veri depolama ünitesini aşmaktadır. 2012 rakamları ile dünyada günlük 2.5 Kentirilyon byte veri üretilmektedir. Bu çapta büyük veriyi işleme, transfer etme gibi işlerin tümüne Büyük veri (Big Data) adı verilmektedir.
Günümüz veritabanları bu çapta büyüyen verileri tutmakta yeterli değildir. İlişkisel veritabanları gigabyte seviyesinde veri tutabilirken, büyük data ile petabyte seviyelerinde veriler saklayabiliriz. Ancak büyük data sadece yığın işleme(Batch) işlemleri için uygundur. Transactions gibi gelişmiş veritabanlarında kritik öneme sahip özellikler yoktur. Veritabanları okuma, yazma güncelleme gibi işlemleri transactionlar aracılığı ile yapabildiği için bu işlemler atomik olarak kabul edilir ve çeşitli kilitleme mekanizmaları ile verinin birden fazla işlem tarafından değiştirilerek tutarsızlaşması engellenir. Büyük veri bir kere yazılıp defalarca okuma işlemi yapıldığı durumlarda kullanılması gerekir. Çünkü veriler birden fazla yerde paralel olarak işlenir. Bu büyüklükte veri RFID sensörlerinden, sosyal medyaya, hastanelere kadar birçok alanda üretilmektedir. DNA dizilişlerinin analizi, hava durumu sensörlerinden gelen veriler başta olmak üzere verileme işlemlerinin yapıldığı birçok alanda büyük veri bir ihtiyaç olarak karşımıza çıkmaktadır.