大資料

大資料（big data；亦稱作巨量資料），指的是傳統資料處理應用軟體不足以處理的大或複雜的資料集的形容術語。

大資料也可以定義為來自各種來源的大量非結構化或結構化資料。從學術角度而言，大資料的出現促成廣泛主題的新穎研究。這也導致各種大資料統計方法的發展。大資料並沒有統計學的抽樣方法；它只是觀察和追蹤發生的事情。因此，大資料通常包含的資料大小超出傳統軟體在可接受的時間內處理的能力。由於近期的技術進步，發布新資料的便捷性以及全球大多數政府對高透明度的要求，大資料分析在現代研究中越來越突出。

概述

，技術上可在合理時間內分析處理的資料集大小單位為艾位元組（EB）。在許多領域，由於資料集過度龐大，科學家經常在分析處理上遭遇限制和阻礙；這些領域包括氣象學、基因組學、神經網路體學、複雜的物理模擬，以及生物和環境研究。這樣的限制也對網路搜尋、金融與經濟資訊學造成影響。資料集大小增長的部分原因來自於資訊持續從各種來源被廣泛收集，這些來源包括搭載感測裝置的行動裝置、高空感測科技（遙感）、軟體記錄、相機、麥克風、無線射頻辨識（RFID）和無線感測網路。自 1980 年代起，現代科技可儲存資料的容量每 40 個月即增加一倍；，全世界每天產生 2.5 艾位元組（2.5×1018 位元組）的資料。

大資料幾乎無法使用大多數的資料庫管理系統處理，而必須使用「在數十、數百甚至數千臺伺服器上同時平行執行的軟體」（電腦叢集是其中一種常用方式）。大資料的定義取決於持有資料組的機構之能力，以及其平常用來處理分析資料的軟體之能力。「對某些組織來說，第一次面對數百 GB 的資料集可能讓他們需要重新思考資料管理的選項。對於其他組織來說，資料集可能需要達到數十或數百 TB 才會對他們造成困擾。」

隨著大資料被越來越多的提及，有些人驚呼大資料時代已經到來了，2012 年《紐約時報》的一篇專欄中寫到，“大資料” 時代已經降臨，在商業、經濟及其他領域中，決策將日益基於資料和分析而作出，而並非基於經驗和直覺。但是並不是所有人都對大資料感興趣，有些人甚至認為這是商學院或諮詢公司用來譁眾取寵的時髦術語 (buzzword)，看起來很新穎，但只是把傳統重新包裝，之前在學術研究或者政策決策中也有海量資料的支撐，大資料並不是一件新興事物。

大資料時代的來臨帶來無數的機遇，但是與此同時個人或機構的隱私權也極有可能受到衝擊，大資料包含各種個人資訊資料，現有的隱私保護法律或政策無力解決這些新出現的問題。有人提出，大資料時代，個人是否擁有 “被遺忘權”，被遺忘權即是否有權利要求資料商不保留自己的某些資訊，大資料時代資訊為某些網際網路巨頭所控制，但是資料商收集任何資料未必都獲得使用者的許可，其對資料的控制權不具有合法性。2014 年 5 月 13 日歐盟法院就 “被遺忘權”（Case of Right to be Forgotten）一案作出裁定，判決 Google 應根據使用者請求刪除不完整的、無關緊要的、不相關的資料以保證資料不出現在搜尋結果中。這說明在大資料時代，加強對使用者個人權利的尊重才是時勢所趨的潮流。

定義

大資料由巨型資料集組成，這些資料集大小常超出人類在可接受時間下的、、管理和處理能力。大資料的大小經常改變，，單一資料集的大小從數太位元組（TB）至數十兆億位元組（PB）不等。

在一份 2001 年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格・萊尼（Doug Laney）指出資料長的挑戰和機遇有三個方向：量（Volume，資料大小）、速（Velocity，資料輸入輸出的速度）與多變（Variety，多樣性），合稱「3V」或「3Vs」。高德納與現在大部份大資料產業中的公司，都繼續使用 3V 來描述大資料。高德納於 2012 年修改對大資料的定義：「大資料是大量、高速、及 / 或多變的資訊資產，它需要新型的處理方式去促成更強的決策能力、洞察力與最佳化處理。」另外，有機構在 3V 之外定義第 4 個 V：真實性（Veracity）為第四特點，即資料的真實性存疑或不能全然確定。。

大資料必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。美國在 2012 年就開始著手大資料，歐巴馬更在同年投入 2 億美金在大資料的開發中，更強調大資料會是之後的未來石油。

資料探勘（data mining）則是在探討用以解析大資料的方法。

大資料需要特殊的技術，以有效地處理大量的容忍經過時間內的資料。適用於特殊大資料的技術，包括大規模並行處理（MPP）資料庫、資料探勘、分散式檔案系統、分散式資料庫、雲計算平臺、網際網路和可擴充套件的儲存系統。

應用範例

大資料的應用範例包括大科學、RFID、感測裝置網路、天文學、大氣學、交通運輸、基因組學、生物學、大社會資料分析、網際網路檔案處理、製作網際網路搜尋引擎索引、通訊記錄明細、軍事偵查、金融大資料，醫療大資料，社群網路、通勤時間預測、醫療記錄、照片影像和影像封存、大規模的電子商務等。

4.1 巨大科學

大型強子對撞機中有 1 億 5000 萬個感測器，每秒傳送 4000 萬次的資料。實驗中每秒產生將近 6 億次的對撞，在過濾去除 99.999% 的撞擊資料後，得到約 100 次的有用撞擊資料。

將撞擊結果資料過濾處理後僅記錄 0.001% 的有用資料，全部四個對撞機的資料量複製前每年產生 25 拍位元組（PB），複製後為 200 拍位元組。

如果將所有實驗中的資料在不過濾的情況下全部記錄，資料量將會變得過度龐大且極難處理。每年資料量在複製前將會達到 1.5 億拍位元組，等於每天有近 500 艾位元組（EB）的資料量。這個數字代表每天實驗將產生相當於 500 垓（5×1020）位元組的資料，是全世界所有資料來源總和的 200 倍。

4.2 科學研究

4.3 衛生學

國際衛生學教授漢斯・羅斯林使用「Trendalyzer」工具軟體呈現兩百多年以來全球人類的人口統計資料，跟其他資料交叉比對，例如收入、宗教、能源使用量等。

4.4 公共部門

目前，發達國家的政府部門開始推廣大資料的應用。2012 年奧巴馬政府投資近兩億美元開始推行《大資料的研究與發展計劃》，本計劃涉及美國國防部、美國衛生與公共服務部門等多個聯邦部門和機構，意在透過提高從大型複雜的的資料中提取知識的能力，進而加快科學和工程的開發，保障國家安全。

4.4.1 資訊審查

中華人民共和國政府計劃建立全面的個人信用評分體系，其包含不少對個人行為的評定，有關指標會影響到個人貸款、工作、簽證等生活活動。高科技公司在被政治介入為其目的服務，個人的大部分行為和社交關係受掌控，幾乎無人可免於被納入個人信用評價體系的監控中。除獲取網路資料外，中華人民共和國政府還希望從科技公司獲得分類和分析資訊的雲端運算能力，透過城市監控攝像機、智慧型手機、政府資料庫等蒐集資料，以建造智慧城市和安全城市。人權觀察駐香港研究員王松蓮指出，整個安全城市構想無非是一個龐大的監視專案。

而美國的大規模監控最早則可追溯到 1919 年的黑箱計劃，自 2001 年 911 恐怖襲擊後監控被升級。2013 年愛德華・斯諾登向《衛報》曝光了美國四項大規模監控計劃之一的稜鏡計劃，“他們（國家安全域性）能夠利用監控系統讓時間倒流、明察秋毫，他們可以查出每一個你曾做過的決定，每一個和你說過話的朋友，在此基礎之上製造出對你的懷疑，從而攻擊你，將你描繪成一個罪犯，無論你的人生多麼清白。”

4.5 民間部門

亞馬遜公司，在 2005 年的時點，這間公司是世界上最大的以 LINUX 為基礎的三大資料庫之一。
沃爾瑪可以在 1 小時內處理百萬以上顧客的消費處理。相當於美國國會圖書館所藏的書籍之 167 倍的情報量。
Facebook，處理 500 億枚的使用者相片。
全世界商業資料的數量，統計全部的企業全體、推計每 1.2 年會倍增。
西雅圖分析約 1 億匿名 GPS 訊號，提供購入新房子的客戶從該地點使用交通工具 (汽車、腳踏車等) 至公司等地的通勤時間估計值。
軟銀，每個月約處理 10 億件（2014 年 3 月現在）的手機 LOG 情報，並用其改善手機訊號的訊號強度。
大企業對大資料技能需求量大，吸引了許多大學諸如伯克利大學開專門提供受過大資料訓練的畢業者的大學部門。矽谷紐約為主《The Data Incubator》公司，2012 年成立，焦點是資料科學與大資料企業培訓，提供國際大資料培訓服務。

4.6 社會學

大資料產生的背景離不開 Facebook 等社交網路的興起，人們每天透過這種公民媒體傳播資訊或者溝通交流，由此產生的資訊被網路記錄下來，社會學家可以在這些資料的基礎上分析人類的行為模式、交往方式等。美國的涂爾幹計劃就是依據個人在社交網路上的資料分析其自殺傾向，該計劃從美軍退役士兵中揀選受試者，透過 Facebook 的行動 app 收集資料，並將使用者的活動資料傳送到一個醫療資料庫。收集完成的資料會接受人工智慧系統分析，接著利用預測程式來即時監視受測者是否出現一般認為具傷害性的行為。

4.7 商業

運用資料探勘技術，分析網路聲量，以瞭解客戶行為、市場需求，做行銷策略參考與商業決策支援，或是應用於品牌管理，經營網路口碑、掌握負面事件等。如電信業者透過品牌的網路討論資料，即時找出負面事件進行處理，減低負面討論在網路擴散後所可能引發的形象危害。

市場

大資料的出現提升了對資訊管理專家的需求，Software AG、Oracle、IBM、微軟、SAP、易安信、惠普和戴爾已在多間資料管理分析專門公司上花費超過 150 億美元。在 2010 年，資料管理分析產業市值超過 1,000 億美元，並以每年將近 10% 的速度成長，是整個軟體產業成長速度的兩倍，這個成長速度亦在膨漲中。

經濟的開發成長促進了密集資料科技的使用，也促成發展了相對於資訊經濟的資料經濟。全世界共有約 46 億的行動電話使用者，並有 10 至 20 億人連結網際網路。自 1990 年起至 2005 年間，全世界有超過 10 億人進入中產階級，收入的增加造成了識字率的提升，更進而帶動資訊量的成長。全世界透過電信網路交換資訊的容量在 1986 年為 281 兆億位元組（PB），1993 年為 471 兆億位元組，2000 年時增長為 2.2 艾位元組（EB），在 2007 年則為 65 艾位元組。根據預測，在 2013 年網際網路每年的資訊流量將會達到 667 艾位元組。