Velika količina podataka

Izraz "velika količina podataka" (en. Big data)White, Tom. Hadoop: The Definitive Guide. 2009. 1st Edition. O'Reilly Media. Pg 3. iz softverskog inženjerstva i računarskih nauka, opisuje setove podataka koji se povećavaju tako brzo da postaje mučno raditi pomoću "on-hand" tj. trenutno dostupnih alata za uređivanje baza podataka. Teškoće uključuju: prihvatanje, smještaj,Kusnetzky, Dan. What is "Big Data?". ZDNet. http://blogs.zdnet.com/virtualization/?p=1708  traženje, dijeljenje, analizuVance, Ashley. Start-Up Goes After Big Data With Hadoop Helper. New York Times Blog. April 22, 2010. http://bits.blogs.nytimes.com/2010/04/22/start-up-goes-after-big-data-with-hadoop-helper/?dbk i grafički prikaz. Ovaj trend se nastavlja jer korist rada sa sve većim skupovima podataka, dozvoljava analitičarima da uoče poslovne trendove, spriječe bolesti i bore se protiv kriminala.Cukier, K. (25 Feb 2010). Data, data everywhere. The Economist. http://www.economist.com/specialreports/displaystory.cfm?story_id=15557443

Granice veličine baza podataka se stalno mijenjaju, tako da su danas u rangu terabajta, eksabajta i zetabajta.Horowitz, Mark. Visualizing Big Data: Bar Charts for Words. Wired Magazine. Vol 16 (7). June 23, 2008. http://www.wired.com/science/discoveries/magazine/16-07/pb_visualizing##ixzz0llT2DN5j. Volu 16(7)

Naučnici se redovno susreću sa ovim problemom u meteorologiji, istraživanju gena,Community cleverness required. Nature, 455(7209), 1. 2008. http://www.nature.com/nature/journal/v455/n7209/full/455001a.html biološkim istraživanjima, traženju podataka na internetu, finansijskoj i poslovnoj informatici. Baze podataka također rastu i zato što se dopunjavaju neprestanim rastom broja informaciono osjetljivih mobilnih uređaja, uređaja, kao i softverskih dnevničkih evidencija (log), kamera, mikrofona, RFID čitača, mreža bežičnih senzora, i slično.Hellerstein, Joe. Parallel Programming in the Age of Big Data. Gigaom Blog. Nov. 9, 2008. http://gigaom.com/2008/11/09/mapreduce-leads-the-way-for-parallel-programming/ Segaran, Toby and Hammerbacher, Jeff. Beautiful Data. 1st Edition. O'Reilly Media. Pg 257.

Obrada "velike količine podataka" je otežana kada se koriste relacione baze podataka i stoni statistički-vizualizacijski paketi, jer zapravo zahtijevaju softver koji omogućava masivno paralelno računanje na desetinama, stotinama, pa čak i hiljadama servera.Jacobs, A. (6 July 2009). The Pathologies of Big Data. ACMQueue. http://queue.acm.org/detail.cfm?id=1563874 Iznos "velike količine podataka" varira zavisno od kapaciteta organizacije koja upravlja sa podacima. U nekim organizacijama, suočavanje sa stotinama gigabajta podataka, po prvi put može izazvati ponovno promišljanje o rješenjima za upravljanje podacima. Za neke druge desetine ili stotine terabajta podataka tek postaju razlog značajnog promišljanja o novim rješenjima.Magoulas, Roger., Lorica, Ben. (februar 2009.) Introduction to Big Data. Release 2.0. Issue 11. Sebastopol, CA: O’Reilly Media. http://radar.oreilly.com/r2/release2-0-11.html 


 Reference 

 Vanjski linkovi 
 YouTube video Roger Magoulas o "Big Data: Technologies & Techniques for Large-Scale Data." 22. mart, 2009.
 Big Data News blog
 Big Data Summit 2010 - San Francisco, 18 februar, 2010.
 Big Data Summit 2010 - Dallas, 27. april, 2010.
 Big Data Summit 2010 - Washington DC, 6. maj, 2010.
 Real Time Data Access and Total Data Integration  

Kategorija:Računarstvo
Kategorija:Paralelno računanje
Kategorija:Rudarenje podataka
Kategorija:Tehnologija
Kategorija:Informatika