データ解析
データ解析のための代表的なフリーソフトを次にあげる。
ELKI(英語版) - データマイニング指向の可視化機能を備えたJavaによるデータマイニングフレームワーク。
KNIME(英語版)- Konstanz Information Miner、ユーザーフレンドリーで包括的なデータ分析フレームワーク。
Orange - 対話的なデータ可視化、統計データ解析、データマイニング、機械学習の手法を備えたビジュアルプログラミングツール。
Pandas - Python言語によるデータ解析のためのライブラリ。
PAW(英語版)- CERNで開発されたFORTRAN/Cデータ解析フレームワーク。
R - 統計計算とグラフィックスのためのプログラミング言語とソフトウェア環境。
ROOT - CERNで開発されたC++データ解析フレームワーク。
SciPy - データ解析のためのPythonライブラリ。
Julia - 数値解析や計算科学に適したプログラミング言語。
効果的な分析を阻む障壁は、データ解析を行う解析者の間にだけでなく、顧客どうしの間にも存在する可能性がある。事実と意見を区別すること、認知バイアス、および数学的な基礎知識の不足はすべて、健全なデータ解析に対する課題である。
一度でも処理されて整理を受けたデータは、不完全であったり、重複があったり、誤りを含むことがある。データクリーニングの必要性は、データの入力や保存のしかたに問題があることから発生する。データクリーニングは、このようなエラー(誤り)を防ぎ、修正する作業である。一般的な作業としては、レコードの照合、データの不正確さの特定、既存データ全体の品質管理、重複排除、および列の分割が含まれる。このようなデータの問題は、さまざまな解析技術によっても見つけることができる。たとえば、財務情報の場合、特定の変数の合計を、信頼性が高いと考えられる別途公表された数値と比較することができる。また、事前に決められた閾値(しきいち)を上回ったり下回ったりする異常値(外れ値)も再調査されることがある。データクリーニングには、電話番号、電子メールアドレス、勤務先など、データ集合内のデータ型に依っていくつかの種類がある。異常値検出のための定量的データ手法を用いて、誤入力された可能性が高いと思われるデータを取り除くことができる。テキストデータのスペルチェッカーを用いて入力ミスの量を減らすことができる。ただし、単語そのものが正しいか否かを判断するのは難しい。
変数間の関係を特定するために、数式またはモデル(アルゴリズムと呼ばれる)をデータに適用する場合がある。たとえば、相関関係や因果関係を使用する。一般論として、モデルは、データセット内に含まれる他の変数に基づいて特定の変数を評価するために開発され、実装されたモデルの精度に応じて多少の残余誤差(英語版)が生じる(たとえば、データ = モデル + 誤差)。
推測統計には、特定の変数間の関係を測定する手法の利用が含まれる。たとえば、広告の変化(独立変数 X)が、売上(従属変数 Y)が変動する説明を与えるかどうかをモデル化するのに、回帰分析を用いることがある。数学の用語では、Y(売上高)はX(広告)の関数である。たとえば、モデルを「Y = aX + b + 誤差」と記述することができ、X の所与の範囲に対して Y を予測するときの誤差を最小化するように a と b が設計される。また、解析者は、解析を単純化し、結果を伝達することを目的に、記述的データ解析のためのモデル構築を試みることもある。
最終段階では、初期データ解析の結果を文書化し、必要で、望ましく、可能な是正措置を講じる。
また、本データ解析の当初の計画は、より詳細に指定するか書き直すことがあり、そうすべきである。
そのためには、本データ解析に関するいくつかの決定を行うことができ、また行うべきである。
非正規型の場合: 変数変換(英語版)か、変数のカテゴリ化(順序変数/二項変数)か、分析手法の修正のいずれかをすべきか?
欠測データの場合: 欠測データを無視または補完するか、どの補完手法を使うべきか?
外れ値の場合: ロバスト解析技術を用いるべきか?
項目が尺度に合わない場合: 項目を省略して測定器を適合させるべきか、それとも他の測定器(その測定器の)との比較可能性を確保すべきか?
サブグループが小さい(小さすぎる)場合: グループ間差に関する仮説を取り下げるべきか、正確な検定やブートストラップ法のような小さな標本化技術を用いるべきか?
無作為化手順に欠陥があると思われる場合: 傾向スコアを計算し、それを本解析に共変量として含めることができるか、またそうすべきか?
ステファン・フュー(Stephen Few)は、利用者が一連のデータから理解しようとする、あるいは伝えようとする8種類の定量的メッセージと、そのメッセージの伝達を助けるために使用される関連グラフについて述べた。要求を指定する顧客とデータ解析を行う解析者は、プロセスの推移でこれらのメッセージを検討することができる。
時系列: 10年間の失業率など、ある期間にわたって一つの変数を捉える。トレンドを示すために折れ線グラフを使用することもある。
ランキング: データは、カテゴリで細分化され、昇順または降順でランク付けされる。たとえば、ある期間の営業担当者(カテゴリに対応)が、販売実績(尺度に対応)でランク付けされる。営業担当者間の比較を示すために棒グラフを使用することがある。
部分対全体: カテゴリ別に細分化した量を、全体に対する比率(100%中の割合)で測定する。円グラフや棒グラフで、市場における競合他社のシェアなど、比率を比較して示すことができる。
偏差値: カテゴリごとに細分化したものを、ある基準に対して比較する。