一度信頼できる統計データが取れさえすれば統計学的分析は数学的に行えるが、信頼できる統計データの収集はとても難しい。実際、統計を取る人の主義主張によって統計値が大きく異なることも多々あり、レーガン政権は当時アメリカにホームレスが30万人しかいないと主張したが、活動家たちはその10倍の300万人いると主張した。例えば、質問の仕方一つで結果がガラリと変わってしまう。強姦に関するある調査で、女子大生に「男性からアルコールや薬物を飲まされて、望まない性交をした事がありますか」と質問することで「女子大生の1/4が強姦されたことがある」という結論を出したが、批判者たちはこの調査で強姦体験者と認定された女子大生たちを集めて再調査したところ、その3/4がその体験を強姦だと考えていないことが分かった。また、暗数の考慮にも主観がつきまとってしまう。暗数とは「統計に出ない値」のことで、例えば強姦のような犯罪はそれがタブーであるために警察に届けないことも多く、したがって統計に表れない。それには統計を正しく読み解くには暗数を考慮する必要があるが、統計値を多く見積もりたい人は意識的・無意識的に暗数を多く見積もってしまう可能性があり、逆に統計値を少なく見積もりたい人は暗数を少なく見積もってしまう可能性がある。正しい統計データから正しい統計操作を行ってもなお騙すことが可能である。たとえば、ここ四十数年で少年犯罪は1/4になっているが、最近10年では微増している。この時、微増となっている最近10年分のデータだけを提示して、「近年少年犯罪は増加している」という主張をすれば、これは成立することになる。さらに、グラフの縦軸（=犯罪数の軸）をわざと縦長に描くことで犯罪数が急上昇しているかのように見せかけることも可能である。
機械学習では、機械（数理モデル）がデータを利用してその性能を向上させようとする。数理モデルとして確率分布を含むモデルを考えた場合、このモデルがデータを生成する過程は、まさしく推測統計学における母集団からのサンプリング（確率分布で表現された母集団モデルからデータという標本を取り出す過程）といえる。そしてこのモデルの学習とは、データからの正確な確率モデル推定 = 標本からの母集団パラメータ推定であり、すなわち統計的推論と同義である。このように統計学と機械学習には深い関係がある（詳しくは 機械学習 § 統計的機械学習）
確率論は、学校教育において「確率・統計」と一括りに呼ばれていたように、統計学と非常に深いかかわりがある。推計統計学ではデータ（標本）が母集団からランダムに取り出されるという前提に立っている。すなわち母集団を構成する要素はそれぞれ"出やすさ"をもっており、それに従ってランダムに取り出されるという立場である。"出やすさ"はまさしく（古典的な）確率であり、母集団はある確率分布に従っていると数学的に表現できる。標本に基づいた母集団確率分布のパラメータ推定（統計的推論）は推計統計学の花形であり、これらは確率論の用語や理論を用いて表現・研究されている。: 標本 x は、パラメータ θ をもつ確率分布 pₜᵣᵤₑ に従う母集団からサンプリングされる
新治汲古館は2011年3月11日の東北地方太平洋沖地震で建物の一部が壊れ、館の運営と資料の管理が藤田家個人では困難な状況に陥った。この状況下では、最悪、館コレクションの散逸・遺棄の危険もあった。7月2日、茨城大学において茨城県で被災した歴史・文化資料の救済活動のための緊急集会「東日本大震災 茨城の文化財・歴史資料の救済・保全のための緊急集会－文化財・歴史資料の救済のために、いま、何ができるのか－」が茨城大学の高橋修教授主催のもと開催される。この集会で新治汲古館の被災状況が筑西市教育委員会、桜川市教育委員会の担当者から報告され、研究者・文化財行政担当者で危機感が共有された。又、この集会では資料救済の為のボランティア組織である「茨城文化財・歴史資料救済・保全ネットワーク準備会（以下、「茨城史料ネット」）が設立され、以後、茨城史料ネットは新治汲古館資料救済活動に尽力する。7月11日、茨城県教育委員会は文化庁へ、被災した文化財の救済を目的とした「東北地方太平洋沖地震被災文化財等救援事業（=文化財レスキュー事業）」での新治汲古館資料救済の支援要請を出した。館の資料救済のためには資料を現在の場所から安全な場所へ移動・移管する事が必要であった。ただこの時、藤田家が資料の移管については学芸員が常駐し一括して受け入れてくれる所、を要望していた事が課題としてあった。その為、茨城県、筑西市教育委員会、及び新治汲古館の隣市の桜川市教育委員会の3者協議が持たれ、結果、2011年9月に開館する真壁伝承館歴史資料館を持ち、かつ、学芸員がいる桜川市に新治汲古館の資料は一括移管されることになった。移管は新治汲古館の資料を物理的にただ移し替えるだけでは無く、資料が新治汲古館のどの場所にどのように置かれていたか、などの付帯情報も付けて移管するという、方針で行われた。これは、新治汲古館を地域の貴重な遺跡の一つと見なし、その考古学的価値を損なわないように、埋蔵文化財における文化財保護の手段のひとつである「記録保存」の手法で移管前の館の状態を記録しておく、考えに基づいている。ただし、実際に1万点超の考古学資料を適切に移管するには、文化財取扱いの経験がある作業員を大勢動員することが必要であった。そこで茨城史料ネットはボランティアの募集を、文化財レスキュー事業の支援を受け、行った。2011年9月16日に館の収納状況調査が茨城史料ネットのメンバーである茨城大学の田中裕准教授らで行われ、館内見取図に沿って付けられた棚番号毎に展示資料の写真撮影・スケッチが行われた。この作業により、新治汲古館の展示状況を記録した資料が作成された。次いで、10月10日と10月11日の2日間に、筑西市教委、桜川市教委、茨城史料ネット及び募集に応じたボランティアら延べ80名の手によって実際の資料の移管作業が行われ、資料は桜川市の真壁伝承館等に無事移管された。移管後、桜川市は2011年9月11日に開館した真壁伝承館歴史資料館の第2回の企画展として2012年7月28日から10月31日の会期で「新治汲古館の継承～文化財レスキューの一事例」を開催した。様々な人の手助けで受け継がれた新治汲古館のコレクションが、この企画展で紹介された。