統計学

統計学とは、統計に関する研究を行う学問である。経験的に得られたバラツキのあるデータから、応用数学の手法を用いて数値上の性質や規則性あるいは不規則性を見いだす。統計的手法は、実験計画、データの要約や解釈を行う上での根拠を提供するため、幅広い分野で応用されている[[グリコ 。

物理学・経済学・社会学・心理学・言語学といった人文科学・社会科学・自然科学から、工学・医学・薬学といった応用科学まで、実証分析を伴う科学の分野において必須の学問となっている。また、科学哲学における重要なトピックの一つでもある。

1. 語源
-----

英語で統計または統計学を「lang」と言うが、語源はラテン語で「状態」を意味する「lang」であり、この言葉がイタリア語で「国家」を意味するようになり、国家の人力、財力等といった国勢データを比較検討する学問を意味するようになったdate=2019年5月}}。

なお、統計学という語は、ドイツの政治学者ゴットフリート・アッヘンヴァルが1749年に『ヨーロッパ諸国国家学綱要』の中で、それまでドイツ語で「Staatenkunde」と呼ばれていた竹内啓学問に「lang」の名をつけたことに始まる竹内啓。

日本語の「統計」という語の起源は明確にはなっていないが、幕末から明治初年にかけての洋学者である柳川春三が初めて現在の意味でこの語を使用したと考えられており、明治2年には彼の編纂した冊子においてこの語と用法が使用されたとの記述がある。その後、明治4年には大蔵省に「統計司」が置かれ、次第にこの語が広まっていった。

2. 分類
-----

2.1. 記述統計学と推計統計学
----------------

統計学は「記述統計学  」 と「推計統計学 」に分類できる。記述統計学はデータの特徴を記述する学問であり、推計統計学は標本から母集団を推計する学問である。

記述統計学は、データ1つがもつ特徴を記述・説明することに着目した分野である。例えば小学生99人の身長データがあったとする。データの値は個別の小学生のものであり、100人全体の特徴は値を個別に見ただけでは分からない。ここでデータの値を身長順に並べ、50番目の値を見れば「この小学生99人の"普通"の身長はだいたい110 cmである」と記述できる。50番目の値は中央値という。このように、データ全体の特徴を要約・記述することが記述統計学の大きな目的・方法論である。

推計統計学は、母集団からの標本化を前提とし、標本から母集団を推測する分野である。例えば世界の小学生の身長特性を知りたいとする。全世界の小学生の身長を計測し記述統計学によって中央値や平均値を記述すれば、目的である世界の小学生の身長特性は解明できる。しかしその計測は著しく困難である。そこで推計統計学では、まず小学生100人の身長データを集める。そして標本は全世界の小学生という母集団からランダムに選ばれたものだと考える。ランダムに選ばれた100人の身長中央値は必ずしも世界小学生身長中央値と一致しないと考えられるが、"似た"数値にはなると期待される。すなわち標本から母集団の特性を推測することができる。この、標本から母集団を推測する方法論に関する分野が推計統計学である。

このように、記述統計学はデータの説明・記述を行い、推計統計学は母集団の推測をおこなう。両分野の違いは、記述統計学では目の前にあるデータがすべてのに対し、推計統計学ではむしろ目の前のデータは母集団から今回たまたま選ばれた標本だと考える点にある。一方で、推計統計学では標本の記述統計から母集団の統計量を推測するように、この2分野は非常に密接に絡んでおり全く別の分野と考えることは不適切である。

3. 統計的手法
--------

実験計画 データ収集の規模や対象、割付方法をコントロールし、より公正で評価可能なデータが収集できるよう検討すること。統計の世界には「ゴミのようなデータを使っていくら解析しても出てくる結果はゴミばかりだ」という格言があるモルテン・イェルウェン。これはデータ収集の前にその方法を十分に検討する必要があることを強調したものである。尺度水準 データの尺度はふつう次のような種類に分類される。尺度水準によって、統計に用いるべき要約統計量や統計検定法が異なる。
質的データ、カテゴリデータ
名義尺度：単なる番号で順番の意味はない。電話番号、背番号など。
順序尺度：順序が意味を持つ番号。階級や階層など。
量的データ、数値データ
間隔尺度：順序に加え間隔にも意味があるが、ゼロには絶対的な意味はない。摂氏・華氏温度、知能指数など。
比率尺度：ゼロを基準とする絶対的尺度で、間隔だけでなく比率にも意味がある。絶対温度、金額など。これらは、意思決定に応用されている。

4. 歴史
-----

統計学の源流は国家または社会全体における人口あるいは経済に関する調査にある竹内啓。このことは、東西を問わず古代から行われている。

学問としては、17世紀にはイギリスでウィリアム・ペティの『政治算術』などが著述され、その後の社会統計学に繋がる流れが始まった。彼の提唱した政治算術そのものは18世紀に衰退するものの、ペティは統計学の父とも呼ばれる竹内啓。また同時期、ペティの友人であるジョン・グラントが『死亡表に関する自然的および政治的諸観察』を表し、人口統計学の源流となった竹内啓。この死亡統計の研究はエドモンド・ハレーなども行うようになった竹内啓。これらの影響の基、18世紀にはドイツのヨハン・ペーター・ジュースミルヒが『神の秩序』で人口動態にみられる規則性を明らかにしたが、これには文字通り「神の秩序」を数学的に記述する意図があった竹内啓。

ドイツでは17世紀からヘルマン・コンリングなどによってヨーロッパ各国の国状の比較研究が盛んになり、1749年にゴットフリート・アッヘンヴァルがこれにドイツ語で「lang」の名をつけている竹内啓。

19世紀初頭になるとこれに関して政治算術的なデータの収集と分析が重視されて、「de」の語は特に「統計学」の意味に用いられ、さらにイギリスやフランスなどでも用いられるようになった。この頃には、1748年のスウェーデンを皮切りに国勢調査も行われるようになり、1790年には下院の議員数算定のためにアメリカがこれに続き、イギリス、フランスなど西ヨーロッパ諸国においても1830年頃までには国勢調査が行われるようになった竹内啓。

一方ブレーズ・パスカル、ピエール・ド・フェルマーに始まった確率論の研究がフランスを中心にして進み、19世紀初頭にはピエール＝シモン・ラプラスによって一応の完成を見ていた竹内啓。また、カール・フリードリヒ・ガウスによる誤差や正規分布についての研究も統計学発展の基礎となった岩沢宏和。ラプラスも確率論の社会的な応用を考えたが、この考えを本格的に広めたのが「近代統計学の父」と呼ばれるアドルフ・ケトレーであった。彼は『人間について』、『社会物理学』などを著し、自由意志によってばらばらに動くように見える人間の行動も社会全体で平均すれば法則に従っていると考えた竹内啓。ケトレーの仕事を契機として、19世紀半ば以降、社会統計学がドイツを中心に、特に経済学と密接な関係を持って発展する。代表的な人物にはアドルフ・ワグナー竹内啓、エルンスト・エンゲル竹内啓、ゲオルク・フォン・マイヤーがいる竹内啓。またフローレンス・ナイチンゲールも、社会医学に統計学を応用した最初期の人物として知られる。統計学の業績について高く評価され1858年には王立統計学会初の女性会員となった。

同じく19世紀半ばにチャールズ・ダーウィンの進化論が発表され、彼の従弟に当たるフランシス・ゴルトンは数量的側面から生物進化の研究に着手した。これは当時「lang」と呼ばれ、多数の生物を対象として扱う統計学的側面を含んでいる。ゴルトンは回帰の発見で有名である竹内啓が、当初生物学的と思われたこの現象は一般の統計学的対象の解析でも重要であることが明らかとなる。ゴルトンの後継者となった数学者カール・ピアソンはこのような生物統計学をさらに数学的に発展させ、19世紀終わりから20世紀にかけ記述統計学を大成する竹内啓。

20世紀に入ると、ウィリアム・ゴセット岩沢宏和、続いてロナルド・フィッシャーが農学の実験計画法研究をきっかけとして数々の統計学的仮説検定法を編み出し、記述統計学から推計統計学の時代に移る竹内啓。ここでは母集団から抽出された標本を基に、確率論を利用して逆に母集団を推定するという考え方がとられる。続いてイェジ・ネイマン、エゴン・ピアソンらによって無作為抽出法の採用など現代の数理統計学の理論体系が構築され竹内啓、これは社会科学、医学、工学、オペレーションズ・リサーチなどの様々な分野へ応用されることとなった。

こうして推計統計学は精緻な数学理論となった反面、応用には必ずしも適していないとの批判が常にあった。

これに呼応して、在来の客観確率を前提に置く統計学に対し、それまでごく少数によって提唱されていたにすぎなかった主観確率を中心に据えたベイズ統計学が1954年にレオナルド・サベージの『統計学の基礎』によって復活した竹内啓。ベイズの定理に依拠する主観確率の考え方は母集団の前提を必要とせず不完全情報環境下での計算や原因の確率を語るなど、およそ在来統計学とは正反対の立場に立つため、その当時在来統計学派はベイズ統計学派のことを『ベイジアン』と名付けて激しく対立した。しかし主観確率には、新たに取得した情報によって確率を更新する機能が内包され、この点が大きな応用の道を開いた。今や統計学では世界的にベイズ統計学が主流となり、先端的応用分野ではもっぱらベイズ統計学が駆使されている。

計量経済学、統計物理学、バイオテクノロジー、疫学、機械学習、データマイニング、制御理論、インターネットなど、あらゆる分野でベイズ統計学は実学として活用されている。スパムメールフィルタや日本語入力の予測変換など身近な応用も数多い。20世紀末にはマルコフ連鎖モンテカルロ法など理論面で様々な革新的考案もなされ、旧来の統計学では不可能であったような各分野で多くの応用がなされるようになっている。これらベイズ統計学についての展開は、いずれも計算環境の進歩と不可分である岩沢宏和。

5. 他分野との関係
----------

5.1. 確率論
--------

確率論は、中等教育で「確率・統計」と一括りに呼ばれていたように、統計学と非常に深いかかわりがある。推計統計学ではデータが母集団からランダムに取り出されるという前提に立っている。すなわち母集団を構成する要素はそれぞれ"出やすさ"をもっており、それに従ってランダムに取り出されるという立場である。"出やすさ"はまさしく確率であり、母集団はある確率分布に従っていると数学的に表現できる。標本に基づいた母集団確率分布のパラメータ推定は推計統計学の花形であり、これらは確率論の用語や理論を用いて表現・研究されている。

: 標本 x は、パラメータ θ をもつ確率分布 ptrue}} に従う母集団からサンプリングされる。

5.2. 機械学習
---------

機械学習では、機械がデータを利用してその性能を向上させようとする。数理モデルとして確率分布を含むモデルを考えた場合、このモデルがデータを生成する過程は、まさしく推測統計学における母集団からのサンプリングといえる。そしてこのモデルの学習とは、データからの正確な確率モデル推定 = 標本からの母集団パラメータ推定であり、すなわち統計的推論と同義である。このように統計学と機械学習には深い関係がある

6. 統計の困難さ
---------

一度信頼できる統計データが取れさえすれば統計学的分析は数学的に行えるが、信頼できる統計データの収集はとても難しい。統計学の源流は各国が人口その他を把握するために行った国勢調査に求められるが、古代・中世を通じほとんどの国家では中央権力の力が弱く、ローマ帝国で行われたセンサス竹内啓や中国歴代王朝の人口調査竹内啓等の例外はあるものの、特に大国においてこうした調査を行うことはほぼ不可能だった。

こうした調査が実行可能となるのは各国の中央政府の行政能力の向上した18世紀から19世紀初頭にかけてであり、この時期に初めて近代的な意味での統計学が成立することとなった竹内啓。現代においても、たとえば行政能力の脆弱なブラックアフリカ諸国においては統計局の予算・人員の不足が深刻であり、統計データの不正確さが指摘されているモルテン・イェルウェン。

また、統計を取る人の主義主張によって統計値が大きく異なることも多々あり、レーガン政権は当時アメリカにホームレスが30万人しかいないと主張したが、活動家たちはその10倍の300万人いると主張したジョエル・ベスト。

例えば、質問の仕方一つで結果がガラリと変わってしまう。強姦に関するある調査で、女子大生に「男性からアルコールや薬物を飲まされて、望まない性交をしたことがありますか」と質問することで「女子大生の1/4が強姦されたことがある」という結論を出したが、批判者たちはこの調査で強姦体験者と認定された女子大生たちを集めて再調査したところ、その3/4がその体験を強姦だと考えていないことが分かったジョエル・ベスト。

また、暗数の考慮にも主観がつきまとってしまう。暗数とは「統計に出ない値」のことで、例えば強姦のような犯罪はそれがタブーであるために警察に届けないことも多く、したがって統計に表れない。それには統計を正しく読み解くには暗数を考慮する必要があるが、統計値を多く見積もりたい人は意識的・無意識的に暗数を多く見積もってしまう可能性があり、逆に統計値を少なく見積もりたい人は暗数を少なく見積もってしまう可能性がある。

正しい統計データから正しい統計操作を行ってもなお騙すことが可能である。たとえば、ここ四十数年で少年犯罪は1/4になっているが、最近10年では微増している。この時、微増となっている最近10年分のデータだけを提示して、「近年少年犯罪は増加している」という主張をすれば、これは成立することになる。さらに、グラフの縦軸をわざと縦長に描くことで犯罪数が急上昇しているかのように見せかけることも可能である。

7. 教育
-----

統計学は「実学」に端を発しており、近代社会以降世界に普及した「市場経済社会」を牽引した原動力とも言える学問である。そのため、自然科学・社会科学・人文科学の各分野の垣根を越えて分化かつ拡大を続ける中、基礎において汎用性が高い学問の構造を有しているdate=2019年5月}}。

社会生活の至る所で統計技術の適用が貢献できる場面がある以上、統計学とその適用方法を学習する上では社会の実態に即して頻繁に技法を適用してみることが重要であり、そのように出来るためには何よりまず統計処理を身近で制限無く実施できるような「統計処理環境」の備えが必要である。

PC・ソフトウェア・インターネット環境などのIT環境が急速に進化低廉化して普及したことで身近に統計処理環境を持ちうるようになり、なおかつ莫大な統計情報がインターネットを通じて公開されているため、研究・調査・学習の処理材料にも不自由しない。

実際21世紀に入って以降は、それまでの確率論と数理統計学を重点に置いたカリキュラムに加え、データを処理して求める答えに近づく「データ解析」のスキルが教育されるようになっている。

元来コンピュータを使った数値計算に際してはまず、IEEE 754規格にあるように丸め誤差が暗黙のうちに生じることや、有効数字の概念の認識が重要で、子供のころ算数で学んだような計算結果にはならないことがあることを知っておかねばならない。さらに、統計計算では殊に重要な乱数についても、コンピュータ上で用いるのは疑似乱数であることや、良質な疑似乱数生成方式「メルセンヌ・ツイスタ」を計算ソフトウェアや開発用言語の全てが必ず備えているわけではないこと、暗号論的乱数はさらにまた別の乱数概念であること、なども実は大切な基礎知識である。

人が得意とするパターン認識の力を積極的に用いるため、統計データの「グラフ化」が古来常套手段として用いられているが、ITの支援を得ることで大量のデータを様々な形に、しかも瞬時にグラフ化することが可能となった。そのためのグラフ作成ソフトも多数存在するが、その他の数値解析ソフトウェアや数式処理システム、そして殊に下記のような統計アプリケーションではグラフ化するための機能が充実している。

一方、近年オフィスソフト機能等で極端なグラフ装飾を施すことが横行している。この結果として、例えば3Dグラフなどを安易に用いると遠近感や区間面積などから表示すべき真の数量とは異なった認識を受け手に与える事がある。本来3Dグラフ表示は人の空間認識力を活かし得る優れた表現手法であるが、意味なく勢い付け等で用いるのは本来的な視覚化からは退行するばかりか、意図して受け手の誤認識を誘導する事も可能となる。「グラフは直感的に分かるから全て善である」と一般に認識されていることや、前出「統計の困難さ」にある内容をふまえると、統計の視覚化とその解釈に関するリテラシ教育は初等段階から特に注意を要する。

上記のように、用いる統計処理環境ごとに適用分野・目的・方法論・使用者との相性などは異なる。そういった統計処理環境固有の特性なども含めて、いかなる道具もそうであるように、数多く体験の機会を作るほかに理解の早道は無い。

広く普及した表計算ソフトウェアが統計処理・グラフ表現機能を持っているので、誰でも手軽に統計処理入門体験は出来る。しかしあくまでビジネスソフトであり、科学技術ソフトではないExcelの計算の信頼性については常に批判が絶えない。

近年では研究・教育機関が公開するオープンソースなフリーソフトの中からきわめて優秀な計算ソフトウェアが育っており、プロプライエタリソフトの問題点顕在化により関心の高まった統計技術資産の持続可能性という観点からも、統計教育にあたってはこれらオープンソースソフトウェアの積極的な活用が推奨される。

統計の研究・教育に適した代表的なフリーソフトウェア

アプリケーション
R言語 - en・フリーウェアの統計用数値解析ソフトウェア。確率分布や統計モデルを簡潔に記述でき、無限大・非数・欠損値定数を持つベクトル処理言語。アメリカ食品医薬品局公認。
en - GNU GPL・フリーウェアの数値解析ソフトウェア。理工学分野でのデファクトスタンダードとも言えるMATLABと互換の命令体系を持つベクトル処理言語。
en - en・フリーウェアの数値解析ソフトウェア。en類似の文法をもったベクトル処理言語。付属するソフトウェアScicosを用いてダイアグラム操作で視覚的にシステムフロー図を描いてシステムダイナミクスシミュレーションが可能。frが開発。
en言語 - 行列計算のために作られたベクトル処理言語。フリーウェア。オックスフォード大学が開発。
en - 数式処理システム。MITのMacsyma直系のGNU GPL・フリーウェア版。
en - 数式処理システム。マルチプラットホーム。OpenXMを実装。フリーウェア。富士通が開発。
ライブラリ
en
en
en 統計計算に関連するソフトウェアのカテゴリ

グラフ作成ソフト
数値解析ソフトウェア
数式処理システム

7.1. 日本
-------

日本においては統計学がそれぞれの分野へ分化された形で組み込まれているため「統計学科」を置く大学がなかったが、2017年度に滋賀大学が日本で初めて統計学を研究の核とするデータサイエンス学部を新設。一橋大学がソーシャル・データサイエンス研究科・学部を2023年度に新設予定である。

国立の統計学研究・教育機関としては、1944年に設立された統計数理研究所があり、AIC、数量化理論、確率微分方程式などの顕著な成果を生み出し、統計学研究を牽引している。

平成21年11月に公示された新学習指導要領において、中学・高校数学における統計単元の拡充がなされた。

中学校では、中学数学においては「統計」を扱う単元が新設された。

高校では、それまで高校数学Bにおいて選択履修とされていた「統計の基礎的概念」を扱う単元が数学Iに移され「データの分析」として必修化された。また、それまで数学Cにおいて理系生のみが履修していた「確率分布と統計的な推測」が数学Bに移されて、文系生でも履修可能になった。

これらの変更は2012年度入学生から適用されている。

「データの分析」はデータの散らばりと相関について教え、その目的は「統計の基本的な考えを理解するとともに，それを用いてデータを整理・分析し傾向を把握できるようにする。」ことである。総務省統計局では「学校における統計教育の位置づけ」を解説し、指導者の支援にあたっている。

8. 統計学の用語
---------

要約統計量
平均、最頻値、中央値、分散、標準偏差、共分散、相関係数
正規分布
カール・フリードリヒ・ガウス
誤差
標準得点
偏差値
大数の法則、中心極限定理
統計量
確率変数
確率密度関数
推計統計学
母集団、無作為抽出
期待値、不偏分散
有意
尤度関数
多変量解析
回帰分析、重回帰分析
因子分析
主成分分析
判別分析
共分散構造分析
傾向推定
数量化理論
ベイズ統計学: 推測統計学の一種

9. 脚注
-----

9.1. 注釈
-------

9.2. 出典
-------

10. 参考文献
--------

Robert V.Hogg, Joseph W.McKean, Allen T.Craig：「数理統計学ハンドブック」，朝倉書店、ISBN 978-4-254-12163-6。

11. 関連項目
--------

確率論
統計学の歴史
多層性
客観確率、主観確率
ベイズ確率
ベイズ統計学
情報理論
疑似乱数 / モンテカルロ法
暗号理論
相関関係と因果関係
プラグマティズム
統計物理学 / 統計力学
オペレーションズ・リサーチ
計量経済学 / 数理ファイナンス / 金融工学
生物統計学 / 疫学
根拠に基づく医療
品質管理
経営工学
測定
データサイエンス
信号処理
制御理論
データマイニング
分類 
機械学習
ビッグデータ
スーパーコンピュータ
シミュレーション
統計検定 

12. 外部リンク
---------

[1] - 竹村彰通
[2] - 統計数理研究所 赤池弘次
[3] - 総務省統計局
[4]
[5]