予測分析
歴史的に、予測分析ツールを使用すること、およびその結果を理解することには、高度なスキルが必要であった。しかし、最新の予測分析ツールはIT専門家だけのものではなくなった。予測分析を意思決定プロセスに採用し、業務に統合する組織が増えるにつれ、情報の主な消費者はビジネスユーザーへと市場がシフトしている。ビジネスユーザーは、自分で使えるツールを求めている。ベンダーは、数学的な複雑さを取り除き、ユーザーフレンドリーなグラフィックインターフェースを提供したり、利用可能なデータの種類を認識して適切な予測モデルを提案できるショートカット(近道)を構築する新しいソフトウェアを開発することで対応している。予測分析ツールは、データの問題を適切に提示して分解できるほど洗練されているので、データに精通した情報活用者はデータを分析して意味のある有用な結果を取得できる。たとえば、最新のツールでは、考えられる結果の可能性を示すシンプルなチャート、グラフ、スコアを使って所見を提示する。
市場には、予測分析の実行に役立つツールが多数ある。これらのツールは、ユーザーの高度な知識をほとんど必要としないものから、専門家向けに設計されたものまでさまざまである。これらのツールの違いは、多くの場合、カスタマイズのレベルと、許容されるデータ量の大きさにある。
回帰モデルは、予測分析の主役である。焦点は、考慮されている異なる変数間の相互作用を表現するモデルとして数式を確立することにある。状況に応じて、予測分析を実行しながら適用できるさまざまなモデルがある。そのうちのいくつかを以下に簡単に説明する。
既知の属性と既知のパフォーマンスを持つ利用可能なサンプル個体は、「トレーニングサンプル」と呼ばれる。その他のサンプル個体のうち、属性は既知であるがパフォーマンスが不明なものは、「(トレーニング)サンプル外」個体と呼ばれている。サンプル外個体は、必ずしもトレーニングサンプル個体と時系列的な関係を持つとは限らない。例えば、トレーニングサンプルは、既知の属性を持つヴィクトリア朝の作家による著作物の文学的属性で構成されていてもよく、サンプル外個体は、新たに発見された作家不明の著作物であってもよい。予測モデルは、著作物を既知の作家に帰属させるのに役立つかもしれない。別の例として、犯罪現場における擬似血痕分析が挙げられ、この場合、サンプル外個体は犯罪現場からの実際の血痕パターンである。サンプル外個体は、トレーニング個体と同じ時間、以前の時間、または未来の時間からのものであってもよい。
ビッグデータは、従来のデータベース管理ツールを使用して作業するのが困難になるほど大規模で複雑なデータセットの集合体である。ビッグデータを扱う上で、その量、多様性、速度の観点から、獲得、保存、検索、共有、分析、および視覚化に関してさまざまな課題をもたらした。ビッグデータの情報源の例には、 Webログ、 RFID 、センサーデータ、ソーシャルネットワーク、インターネット検索インデックス、通話詳細記録、軍事監視、天文科学、生物地球化学、ゲノミクス、大気科学などの複雑なデータがある。ビッグデータは、IT組織が提供するほとんどの予測分析サービスの中核をなしている。 コンピューター・ハードウェアの技術的進歩(より高速なCPU、より安価なメモリ、 MPPアーキテクチャ)と、ビッグデータを処理するための分散処理(例:Hadoop 、 MapReduce)、データベース内分析およびテキスト分析などの新技術のおかげで、構造化データと非構造化データを大量に収集、分析、マイニングして新たな洞察を得ることが可能になった。 ストリーミングデータに対して予測アルゴリズムを実行することも可能である。 今日では、ビッグデータの探索と予測分析の使用は、これまでになく多くの組織の手の届くところにあり、そのようなデータセットを処理できる新しい方法が提案されている。