歯科疫学統計−第 9 報

欠損値・異常値処理法− −不完全データをどう扱うか−

歯科疫学統計

−第 9報 欠損値・異常値処理法−−不完全データをどう扱うか−
瀧 口

徹

A review of oral epidemiological statistics− Part IX： A comparison of imputation techniques for handling missing
values and abnormal values−
Toru Takiguchi
キーワード：欠損値（異常値）、リストワイズ除去法、ペアワイズ除去法、平均値代入法、多重代入法、
欠完全情報最尤推定法（完全報知最尤法）
はじめにに立ち往生しまうだろう。そこで本稿ではデータ

長年データ処理に携わってきたお陰で今回本を不完全なまま分析することの統計的な問題点をテーマを扱うこととなった。このテーマは統計学

説明し、その上で伝統的および最新の処理法の概の演習において受講者や学生にとっては決して興念を掴んでいただくことに主眼を置いた。

味あるものではないように見受けられる。難しい
検定や分析にチャレンジし結果が出たときは喜び

１．事例のプロフィールがあるが、データ値に問題があるとは、いわばマ伝統的な欠損値処理、異常値処理の例題として感イナスからのスタートでやる気を殺がれてしまう

覚的に掴みやすい身長、体重を事例の指標とし、対のかもしれない。それ以上に、社会通念上の感覚

象を過食による肥満が問題になっている南太平洋のからして欠損値を含むデータを除去するならまだ某島国のデータの一部を抽出し加工して用いた。

しも、実在しない値で補完するということは何か
かいざん

データを改竄するような、いままでの学校や社会

２．解説および共通事例による解析
下記の手順で行う。

の教えに背くような後ろめたい気持ちになるのかもしれない。気持ちを入れ替えてここを乗り越えたとして、統計学者が推奨する欠損値や異常値の高度な処理法は難解でありビギナーは入口で完全【著者連絡先】〒 341-0003 埼玉県三郷市彦成3-86
深井保健科学研究所
主席研究員 瀧口 徹
TEL&FAX：048-957-3315
E-mail： taki8020@mth.biglobe.ne.jp
受理日： 2012年 11月30日＜解説＞（１）欠損値処理、異常値処理を行う前にかいざん（２）欠損値処理の長短と改竄との違い（３）欠損値のメカニズム（４）欠損値・異常値処理法の一覧と特徴比較（５）除去法（非代入法）①ペアワイズ法、②リストワイズ法（６）単一値代入法①平均値代入法、② Hot−deck 法③最悪値代入法、④前回観測値代入法⑤回帰式推定法、⑥ Cold − deck 法̶ 104 ̶

ヘルスサイエンス・ヘルスケア

Volume 12，No.2（2012）

年収を何らかの意図で過小、もしくは過大に記載（７）多重代入法（MI）（８）完全情報最尤推定法（FIML）（９）MI法と FIML法の優位性および優劣について（10）異常値処理法１①箱ひげ図による方法② Smirnov-Grubbs検定による方法（11）異常値処理法2①人口動態調査等におけるベイズ推定法②地域集積性分析における扱い

する場合である。そうした意図的で無い場合で②
勘違いによる記載、がある。例えば収入を月収で30万円と答えるべきところを年収で 500 万円と答えた場合、新生児体重を 3200（g）と答えるべき
ところ単位を kgと間違えて 3.2gと答えた場合等である。また回答者ではなく入力者側のミスで生じる場合は初期値として設定してあった 999 とか0とかがそのままデータとして使われてしまった
場合、入力時に体重を 75 といれるべきところを775 と入れてしまった場合等がある。これら異常（1）欠損値処理、異常値処理を行う前に値を扱う際に特に注意すべきは欠損値と異なり、

ａ）欠損値の発生原因は不可避か？

例えば体重が 180kgの場合とか「真実の値」であフィールド調査におけるアンケートなどの欠損る可能性を排除しないこと、その逆に体重 660kg

値は、”知らない： Don’t know”、“答えたくなと記載されたものを安易に 66kgとか 60kgに修正

い： Refused,”、“理解できない； Unintelligible,”

してしまわないことである。データ収集時に例えと い う 3つ の 理 由 か ら 主 と し て 成 っ て い る 。

ば体重が 180kgについて特記事項にその旨を記載

Joseph L ら 1）は心理学の調査を例に上げ、これらしておけばデータ値を異常値扱いされないので完の反応のどこに真実があるかを欠損値処理の前に璧である。後述する手法等を用いて異常値と判断（調査に先立って）考慮すべきとしている。そのしたらデータが存在しないことと同じで欠損値と例としてアンケートで「あなたはマリファナを同義となるので、異常値を欠損値として扱う必要

吸ったことがありますか？」と聞いた場合をあげが出る。

ている。この場合の答えは上記 3 つの理由による欠損値のみならず虚偽の答えを誘発するであろう

かいざん（2）欠損値処理の長短と改竄との違いことは想像に難くない。未成年の喫煙歴を調査す

Scheffer J2）は欠損値処理を行うことの長所としる際も同様であるが、真実を知りたいと思ったらて、得られた貴重なデータを有効活用し、データ

まず回答用紙を氏名未記入の封筒に入れ糊付けすの偏り（バイアス）を縮小できる。もしそうならる、それをさらに別の大きな無記名の封筒に例えないのであればデータを捨てなければならないとばクラス全員分入れて郵送／提出する等の個人をしている。一方、短所としては選択した欠損値代

特定できないようにする調査を行わないと欠損値

入法の影響を受け、ある偏りを持ち込んできておは増加するのみならず、データ値そのものの信頼

り、代入したデータ値は真のデータではないので性が著しく低下する。このように統計的な欠損値

分散は不確実性を反映したものにならなければな処理に入る前に「真実を回答できる」質問と環境らない。しかし、特に単一代入法は分散を減少さを作り欠損値の発生を出来るだけ減らす必要があ

せ代入による不確実性の増大を反映できないのがる。

問題だとしている。

ｂ）異常値の発生原因は不可避か？

新井ら 3）によれば,欠損値処理とデータの改竄と同じく、異常値（但し、欠損値を異常値としての違いは、改竄は欠損値や実際値を「解釈するの扱わない場合）処理に入る前に（調査に先立って）、に都合の良いデータで置き換えること」であり、その発生原因と抑制を考える必要がある。異常値

一方、欠損値処理は「統計学的な理論に基づいた発生原因のひとつは①虚偽記載、である。例えば

適切な置換」と説明している。このように両者の̶ 105 ̶

歯科疫学統計−第 9 報

欠損値・異常値処理法− −不完全データをどう扱うか−差は明らかである。科学業績の分野において起きの対応では体重が Y、Rは Yの計測が欠損になる

うる不正行為として改竄とデータ値の捏造がある

場合が１、計測が可能な場合が 0となる確率変数

ねつぞう

が、これらの行為によって何らかの被害が出た場である。また ADLが Xで示される。本例では合は当然のことながら犯罪が成立し研究者として

ADL（X）が低くなると体重計測値が欠損し易いの社会的、道義的責任が厳しく問われることになのだから Rは Xに依存傾向がある。すなわち、欠るのは内外に例を待たない。

損 の 3タ イ プ の う ち MAR : Missing At Random（3）欠損値のメカニズム
Rubin DB4，5，6，Web01）が 1976〜 2002年に掛けて共同研究者と共に、いわゆる欠損値メカニズムとその処理法を確立して以後、欠損値処理法は俄に脚光をあびコンピュータソフトの開発と相俟って世界的に多用されるに至っている。それを裏打ちする指標として関連論文の時代変遷を PubMed で確認し図 1に示した。後述する従来の欠損値処理法と Rubin らが開発した新しい欠損値処理法の優位性の比較研究を核として関連論文数は 1960年以降
PubMed掲載論文数の増加数が 10 倍なのに対し、欠損値処理をキーワードとする論文は 100倍増加している。欠損値メカニズムとは図 2に示す
MCAR : missing completely at random, MAR : missing
at random, および MNAR : missing not at randomの3タイプを指している。図において、
Y：欠損値のある変数
R：Ｙの欠損値の有無を示す確率変数（例えば有： 1、無： 0）
X：分析しているデータに含まれるその他の変

注 1） 検 索 語 ： (1) imputation techniques for handling
missing data, (2) imputation of missing data,(3) missing data (values), (4) full information maximum likelihood method, (5) multiple imputation method
注 2）2010-2019の数値は 3 年間： 2010/01/01-2012/12/31の実績（文献総数： 2,629,336件、欠損値をキーワードとする文献： 5,234件）を比例配分した予測値
注 3）縦軸の文献数は対数軸のため増加比率が等価になっている
図1 欠損値（処理）を扱った文献数の推移（PubMed収載）

数を示している。ここで上記の 3分類の違いをわかりやすく説明するため著者自身が経験した事例を示す。著者が JICA専門家としてスリランカに 2年間赴任していたことを契機に同国と共同研究を継続してきているが、老人ホームにおける入所者の ADL：日常生活動作、と味覚との関連を調査した際、ADLが低くベットから立ち上がることに支障を来す入所者に関しては体重計測値が欠損し易いことが判明した。ベットに仰臥していても身長は何とか計測可能であるが体重は計測者が背負って体重計に乗って後で計測者の体重を引く手間がかかる等が理由と考えられた。ここで図１と̶ 106 ̶図 2 欠測発生のメカニズム（欠損の３タイプ）

ヘルスサイエンス・ヘルスケアということになる。このタイプの場合 MCAR：

Volume 12，No.2（2012）と特徴を示し、以下解説する。

Missing Completely At Randomの場合と異なり欠損値を含むデータレコードを除去する（欠損値を（5）除去法（非代入法）

含む被験者を非対象とする）手段だと例数が減る①ペアワイズ法：重回帰分析等において説明変数

ディメリットはそう問題にならないが ADL が高の全ての組み合わせ（ペア）について相関を求い対象者がデータから欠落し易い傾向が内在しためる。その際、ペアとした説明変数の値がどち分析結果となる。従って何らかの方法でデータ値

らか一方でも欠損している場合は除去する。

を補完する必要があることになる。

②リストワイズ法：欠損値を含むレコードを削除

また、体重を自記式でデータ化する場合、肥満する方法。

傾向の強い被験者と反対に痩せ傾向の強い被験者

SPSSでは①、②および下記の(6)の①の平均値

が体重の自記式を嫌うような傾向が顕著な場合は

代入法は標準装備されており分析に先立って欠損

欠損値が存在する Yそのものの値に Rが依存する

値処理の条件をダイアログボックスで選択できる

こ と か ら MARで は な く MNAR： Nonignorable

ようになっている。

Missingとなる。
（6）単一値代入法
表 2および図 3に下記①平均値代入法、⑤単回（4）欠損値・異常値処理法の一覧と特徴比較
表１に 15 分類した欠損値・異常値処理法の一覧

帰式推定法の実例を示した。表 2 − aにおいて灰表１ 欠損値・異常値処理法の一覧と特徴

̶ 107 ̶

歯科疫学統計−第 9 報

欠損値・異常値処理法− −不完全データをどう扱うか−

色の矩形の部分の 7名は要介護度が高いためベッ

した例である。

トから立たせることが出来ず、体重の計測ができなかったと仮定した。その結果、表 2 − bに示す

単一値代入法は解説書等 7，Web02）を総括すると下記 6種類に分類される。

ように欠損値の影響で男女とも平均値は増加し、①平均値代入法：欠損値以外の数値の平均値を標準偏差は男性が縮小した。このように欠損値が代入する方法である。f3 がその例示であるがランダムに発生しない場合（図 1 の MCARで無い

この方法はサンプル平均を変化させないが図場合）は平均値、標準偏差等に無視できない偏りでわかるとおりサンプルの分散を減少させてが生じる。これを単一値代入法で補完する場合どしまうことがわかる。分散が縮小し、欠損値のようになるであろうか。

を置き換えたため例数（n）が減少しないた
め、有意差検定等では有意と成りやすくなる

図 3 において f1 は欠損値発生前、f2 は欠損対象 7ことが問題である。

名の体重を 0 とした場合、f3 は下記の①平均値代②Hot-deck法：無回答者と属性の似た他の回答

入法を適用した例、f4 は⑤単回帰式推定法を適用者の回答を代用する③最悪値代入法：「最悪値」：研究仮説からみて
表2−a 欠損値が他の変数の影響を受ける場合の処理法

最悪の想定値を代入。例えば、検証したい仮説を否定する方向の最大値、または最小値を代入④前回観測値代入法：前回の観測値を代入⑤単回帰式推定法：回帰式：予測したい値を従属変数とする単回帰による。例えば、性別に年齢と身長を独立変数とし体重を従属変数とする単回帰式を利用する方法で、f4 にその例を示す。
（6）の①と異なり代入する体重値の妥当性が増加する利点があるが、残った値でみた相関係数が 0.25 と低いことから実際値はこの回帰直線の前後に相当程度ばらつくと考えられるので、その不確実性が加味されていないことは前述の Scheffer J2）の指摘のとおりである。
⑥Cold-deck：無回答者の属性から重回帰式等
多変量回帰式により推計する方法であり、単表2− b 欠損の有無別体重の値

回帰式より相関係数の絶対値が高くなるので不確実性問題が改善される利点がある。
（7）多重代入法（MI）
シミュレーション研究でも上記（1）〜（6）の単一値代入法の場合推定量のバラツキを過小評
価 Web03）する可能性があることが知られている。
Rubin DB4，5，6，Web02）が 1970 年代に開発した多重代入法（MI）は欠損値を代入したデータセットを̶ 108 ̶

ヘルスサイエンス・ヘルスケア

Volume 12，No.2（2012）

図 3 欠損値が他の変数の影響を受ける場合の処理法

を代入複数作成し，その結果をプールし統合することで

２．分析ステップ： M個擬似的なデータセット

欠損値データの統計的推測を行う方法である。多重代入法は、ある一つの欠測値に対して複数回の（擬似完全データセット）を生成

補完を行うことにより､この不確実性を欠損値補３．統合ステップ： M種類の分析結果を一つに完値に反映させるのが最大の特徴である。図 4 は統合

多重代入法の概念図である。本法の手順は次の 3段階から構成される。

ここで１の代入ステップにおける代入値の計算
アルゴリズムは下記のとおりである。

１．代入ステップ：欠測箇所に M個の異なる値
̶ 109 ̶Sub-step1-1 ：欠損値を含まないデータから初期

歯科疫学統計−第 9 報

欠損値・異常値処理法− −不完全データをどう扱うか−

図 4 多重代入法（MI：multiple imputation method）の概念図（8）完全情報最尤推定法（FIML）

値としての分散・共分散行列作成

著者は本統計シリーズ第 2報 9） において確率

Sub-step1-2：分散・共分散行列を用いた回帰モ
デルで欠損値の予測値を算出（probability）と尤度（likelihood）の違いを論じた。

Sub-step1-3 ：その予測値にランダム誤差（回帰例えば 6 面体の普通のサイコロをイメージして頂モデルの誤差分散に相当）を加えてその誤差が加いて、3個を同時に振った時全て 1が出る確率をわったものを欠損値の代わりに代入して疑似完全計算するとサイコロの目は互いに独立事象である

データセットを作成

から 1/6 × 1/6 × 1/6=1/216＝ 0.0046296≒ 1000 回

Sub-step1-4：データセットが一定数（M）になるまで 1-1，1-2，1-3 を繰り返すの試行のうち４回か５回となる、これが確率である。しかし、実際には市販されているものは 1 の

擬似完全データセットの数（M）は小数だと不目は溝が深く彫られていることで１が非常に出や

安定 8）になるため M>=20Web02）が望ましいとされすいものがある。あくまでも 3つのサイコロいずる。本法は spssや多くの統計ソフトでパッケージ

れもが確率 1/6 で 1の目が出ることを前提としてかしてきている。なお、Rubin DB は RCT法が実

各サイコロを無限に振った場合（すなわち母集団）

際的に不可能なケースで因果判定に効果を発揮すの確率は 1/6 と決めつける方法が確率に基づく予の開発者としても測である。一方、例えば 100 回の試技で出た目か有名であり、欠損値処理法と propensity score 法らサイコロの 1 の目の出る確率は 3 つの間で一様とは地下水脈で繋がっていることは興味深い。

に 1/6 ではなくそれぞれ 1/5、1/5.5、1/6 である

る propensity score 法

Web04，
Web05）

̶ 110 ̶

ヘルスサイエンス・ヘルスケア

Volume 12，No.2（2012）のが尤もらしいという観察重視の立場に立つのがを拡張して考えれば、体重に関わる変数は単に性尤度（likelihood）である。そしてサイコロを繰り

別、年齢、身長、ADLだけではなく施設の食事

返し振ることにより、これらの尤度はある値に収状況、施設入所期間、経済状態、喫煙、飲酒、運束していく。この例で言えば 1,000回試行した結動習慣、うつ等の精神状態、糖尿病等の基礎疾患

果 1/5.5、1/5.8、1/6.2 となったとしたらこれらのの状態等があげられるだろう。これらの体重に関値が最大推定尤度： MLE（maximum likelihood

係する指標がほぼ十分に揃っていると仮定した場

estimate）である。これもまた統計の祖、実験計

合、MIのようなそれぞれの指標を説明変数とす

画法、分散分析法の生みの親である RA Fisherがる多変量回帰式ではなく、例えば性別、年齢、身確立した概念である。Fisherはこれも確率である長などの身体状況に関する因子、入所期間、経済が確率とは違う扱いになることに配慮して（確率状態などの生活自由度に関する因子、喫煙、飲酒、に敬意を表して）尤度という別名にしたという。

運動習慣などの生活習慣因子、うつ病、糖尿病な

さて FIMLが（6）単一値代入法と異なる点はどの疾病状況因子等の因子分析で求められた総合

そ の 名 前 − FIML： full information maximum

的で仮説的な因子との関連から欠損している体重

likelihoodに表れている。すなわち、欠損値がもしを最も尤もらしく予測するのが FIMLである。具存在していたら関連したであろう「全ての情報を体的には期待値最大化アルゴリズム（Expecta-

総動員して最も尤もらしい推定値」を求める点に

tion-maximization algorithm）10）等を用いて計算値ある。また多重代入法との違いは多変量回帰式でを収束させて解を求める方法をとる。図 5に欠損値を予測するのではなく共分散構造分析法

FIMLの計算アルゴリズムを示す。

（analysis of covariance structures）Web06） を用いて因子モデルで最大推定尤度（MLE）の条件下で欠（9）MI 法と FIML 法の優位性および優劣について損値を推定することである。例えば表 1− aの例

John W11）らはモンテカルロ法を用いて MI法とFIML法の優劣をシミュレーション研究で検証した。その結果、従来言われていたように両者は精度に関して等価（equivalent）であることが確認された。Peyre Hraら 12）は 2003 年実施の 10 年毎の 36項目からなるフランス健康標本調査結果（参加者数

23,018人）から 300 人と 1,000人の標本を抽出し、3，6，および 9％の 3種類の人工的欠損
値を発生させ MCAR、MARおよび MNARの 3タ
イプの欠損値メカニズムの人口データを作成した。その上で欠損値処理法として平均値代入法、
近似値代入法（hot-deck 法）、MI、FIML法の優位性を比較した。その結果、MI法と FIML法が標準法との結論を得た。Nicholas JHら 13）もまたMI法と FIML法が 単一代入法より優れていることを確認した。但し、MI法はサンプリング数（m）
を従来言われていたより増やすことが推奨してい図5 ＥＭ algorithm：Ｅステップ（Expectation Step）とＭステップ（Maximization step）の反復による最尤推定値の算出る。以上、MI法と FIML法はこれからのデータ管理（クリーニング）には必需品と言える。

̶ 111 ̶

歯科疫学統計−第 9 報

欠損値・異常値処理法− −不完全データをどう扱うか−（10）異常値処理法１記である。

①箱ひげ図による方法：図 6 に生活習慣病対策がⅰ項目によって必ずしも異常値でない場合がある。例えば体重急務の A国の成人の BMI 分布（模擬データ）
を性別、年齢別に XYプロット図として示した。

ⅱはずれ値を幾つか削除すると箱ひげ図のイ

WHOの 3段階基準からみて女性に obese Ⅲが多

メージが大きく変化するので確認は１回で終いことが見て取れる。この場合、箱ひげ図ではわらないで複数回箱ひげ図で確認した方がいどのような形状になるのであろうか。女性が群いⅲ箱ひげ図の描画方法は複数存在するため、学を抜いてはずれ値（outlets）が多いことになる

術論文では方法を明記するのであろうか。図 7に箱ひげ図： box（whisker）
plotWeb07）を示す。図 6 の分布から見て取れる異②Smirnov-Grubbs検 定 に よ る 方 法 ： ス ミ ル ノ

常値情報と図 7 から見て取れる異常値とは本質

フ・グラブス検定 Web08）は外れ値検定と呼ばれ、的に別物であることがわかる。すなわち、前者

データから外れ値を除くための手法である。平

は健康指標の基準からみてはずれる値を示す割均値からのずれを標準偏差で割った値を元に、合が多いことを示し、後者は統計的な分布上の外れが大きいものから順に外れ値を除いていく

異常値を表している。

ので 1回の検定で 1 つの外れ値を除き、外れ値

箱ひげ図の使用に際してのポイントを図中にがなくなるまで検定を繰り返す必要がある。ま示したので細かい使用法の説明は省略する。また箱ひげ図と異なりはずれ値と判定するのに主た比較的よく使われる図なので改めて説明は不観を除ける利点がある。しかし、機械的に異常用かも知れないが使用にあたっての注意点は下値を判定しないようにすることが肝要である。

図6 生活習慣病対策が急務の A国の成人の BMI分布（模擬データ）−性別、年齢別 XYプロット−
̶ 112 ̶

ヘルスサイエンス・ヘルスケア

Volume 12，No.2（2012）

図 7 −箱ひげ図： box（whisker-）plot−による異常値の処理−模擬データ：生活習慣病対策が急務のA 国の成人の男女別 BMI分布−（11）異常値処理法 2

タの平均値による置き換えると、その作業そのも①人口動態調査等におけるベイズ推定法 14，Web09）のが地域集積性を人為的にプラスの方向で評価す

市区町村別生命表では、市区町村死亡率の推定るように働き、いわばデータを改竄するというにあたり、ベイズ統計学を用いて人口規模が小さ

由々しきことになる。この対策として地域集積性

いことに起因して時に観測死亡率データ値が著し計算ソフトを提供している米国 GeoDa センター

く突出することがある。具体的には、図 8 に示す

Web10）

ように当該市区町村を含むより広い地域である二な扱いが望ましい旨の回答を得た。このようにあ次医療圏のグループの出生、死亡の状況を情報とる地域が欠損値の場合は地理情報ファイル

して活用し、これと各市区町村固有の出生、死亡（shapefile）から除去するのが望ましい。すなわち

数等の観測データとを総合化して当該市区町村の内海、湖、潟と同じ扱いすることにする。しかし

合計特殊出生率、標準化死亡比を推定するというながら、例えば環境汚染、特に水質汚染などの情形で「ベイズ推定」を適用し、数値を算出してい報等の場合は湖、潟は重要な意味を持ち、特定のる。この例のように人口小規模地区特有の人口動データ値を持つので除去してはならない。

に確認したところ内海、湖、潟と同じよう態、疾病統計データ値の不安定性を緩和し、安定おわりに的な率推定を行うことが可能となっている。

「歯科疫学統計」シリーズの第 9報では欠損②域集積性分析における扱い
本シリーズの第 8 報でこの問題に言及した。

値・異常値処理法を扱った。統計シリーズの話の地域集積性を検証するデータにおいては欠損値が順序からすればもっと早い段階がよかったのだがあった場合、隣接する地域（市区町村等）のデー

テーマとしての独立性に難があったのでこれまで

15）

̶ 113 ̶

歯科疫学統計−第 9 報

欠損値・異常値処理法− −不完全データをどう扱うか−

図 8 人口動態統計におけるベイズ推定法を用いた異常値補正法

遅れてしまった。しかしながら、Lubin DBの多謝 辞重代入法（MI）の開発以来、内外の研究者の関本総説を執筆するにあたり各段階でご指導いただいた
歯科疫学研究会の顧問である蓑輪眞澄、高江洲義矩、境脩、伊藤学而、佐々木英忠、平田幸夫、山本龍生の各先生、ならびに統計解析に関して貴重な示唆をいただいた
新潟医療福祉大学の森脇健介先生に深謝申し上げます。
さらに貴重なご助言をいただいた深井穫博同研究会会長
をはじめとする幹事の方々に感謝申し上げます。

心の高まりと PC機能の向上等によって本テーマ
は欠損値の数学的・統計的研究に専門の立場でない我々ユーザにおいても独立して議論すべきテー
マと成りつつある。また臨床疫学手法の一人横綱として君臨している RCT法の適用が事実上不可能な治療、手の予後、食習慣等の健康への影響等の研究において propensity score 法が注目されて参照 Web-site（2013/6/21 現在）

きており、その開発者も同じ Lubin DBであるこWeb01）Additional examples of Missingness Mechanisms –Follow up to SON Brown Bag Presentation –3/20/13（C Thompson）– Missing Data part 1
http://nursing.jhu.edu/faculty_research/research/documents/BBL_Presentation_March2013_Followup.pdf（2012年 6 月 20日アクセス）
Web02） 村 山 航 ： 欠 損 デ ー タ 分 析 （ missing data
analysis）−完全情報最尤推定法と多重代入法−
http://www4.ocn.ne.jp/~murakou/missing_data.pdf（2012 年10 月 1 日アクセス）とからわかるように、欠損値処理と propensity
score 法は地下水脈で繋がっている。こうしたことから今回あえて本テーマを独立させて解釈した。研究者各位が行っている研究のデータ管理の一環として本報が役立てば幸いである。

̶ 114 ̶

ヘルスサイエンス・ヘルスケア

Web03）Missing Data Mechanisms
http://www.psych.yorku.ca/lab/psy6140/lectures/missing614-2x2.pdf（2012年 6 月 20日アクセス）
Web04）Propensity score matching,
http://en.wikipedia.org/wiki/Propensity_score_matching（2012 年6 月 20日アクセス）
Web05） Melissa Humphries Population Research Center: Missing Data & How to Deal: An overview of
missing data
http://www.utexas.edu/cola/centers/prc/_files/cs/
Missing-Data.pdf（2012年 6月20 日アクセス）
Web06） The Relative Performance of Full Information
Maximum Likelihood Estimation for Missing Data
in Structural Equation Models
http://digitalcommons.unl.edu/cgi/viewcontent.
cgi?article=1065&context=edpsychpapers
Web07）エクセル統計2012 箱ひげ図
http://software.ssri.co.jp/statweb2/sample/example_29.html（2013 年 6月20 日アクセス）
Web08）エクセル統計 2012 解析手法一覧外れ値検定
スミルノフ・グラブス（Smirnov-Grubbs）検定
http://software.ssri.co.jp/ex/function/smirnov.html（2013 年6月20日アクセス）
Web09）厚生労働省 ベイズ統計
http://www.mhlw.go.jp/toukei/saikin/hw/jinkou/
tokusyu/hoken04/5.html（2012年 10月 1 日アクセス）
Web10） GeoDa Center for geospatial analysis and computation
https://geodacenter.asu.edu/（2012年 10月 1 日ア
クセス）

文 献
1） Joseph L. Schafer and John W. Graham: Missing
Data: Our View of the State of the Art, Psychological
Methods, vol. 7：147-177，2002.
2）Scheffer J : Dealing with Missing Data, Res. Lett. Inf.
Math. Sci.vol 3：153-160，2002.
3）新井宏嘉，太田 亨：組成データ解析における０値
お よ び 欠 損 値 の 扱 い に つ い て ， 地 質 学 雑 誌 ， vol112 ： 439-451，2006.

Volume 12，No.2（2012）

4） Rubin DB. Inference and missing data. Biometrika.
63 ： 581–590，1976.
5） Rubin DB. Multiple Imputation for Nonresponse in
Surveys. Wiley； 1987.
6） Rubin, DB : Multiple imputation after 18+ years(with discussion). Journal of the American Statistical
Association, 91 ： 473-489，1996
7）岩崎 学：統計学大系シリーズ 不完全データの統計解析，第 2 刷，エコノミスト社，東京，2011．263267頁.
8） Graham JW, Olchowski AE, Gilreath TD. : How
many imputations are really needed? Some practicalclarifications of multiple imputation theory, Prev. Sci.
8 ： 206-213，2007.
9）瀧口 徹：歯科疫学統計 −第 2 報 一般化線形モ
デルの意義と潮流−，Health Science and Health Care,vol 4 ： 29-37，2004.
10） Chuong B Do, Serafim Batzoglou : What is the
expectation maximization algorithm?, Nature Biotechnology 26 ： 897-899，2008.
11）John W. Graham & Allison E. Olchowski & Tamika
D. Gilreath : How Many Imputations are Really Needed? Some Practical Clarifications of Multiple Imputation Theory, Prev Sci, 8：206–213，2007.
12）Peyre H, Leplège A, Coste J. : Missing data methods
for dealing with missing items in quality of life questionnaires. A comparison by simulation of personalmean score, full information maximum likelihood, multiple imputation, and hot deck techniques applied to
the SF-36 in the French 2003 decennial health survey,
Qual Life Res. 20： 287-300，2011.
13）Nicholas JH, Ken PK:d Much ado about nothing : A
comparison of missing data methods and software to
fit incomplete data regression models, Am Stat., 61 ：79–90，2007.
14）涌井良幸，涌井貞美： Excelでスッキリわかるベイズ統計入門 Bayesian Statistics 日本実業出版社，
第1 版 第 2刷，2011，148-152頁．
15）瀧口 徹：歯科疫学統計 −第 8 報 空間（地理）
疫学の基礎 その 2 −地域差をとらえる指標の相互関係− Health Science and Health Care, No 1 vol 10 ： 419，2010.

̶ 115 ̶

歯科疫学統計−第 9 報

欠損値・異常値処理法− −不完全データをどう扱うか−

A review of oral epidemiological statistics−Part IX：A comparison of imputation techniques for handling missing
values and abnormal values −Toru Takiguchi（Fukai Institute of Health Science）

Key Words : missing data (outlier), list-wise deletion, pair-wise deletion, personal mean score, multiple imputation (MI), full information maximum likelihood (FIML)

Recent progress in dealing with missing data (values) has come from an understanding of the reasons why
data may be missing. These can be described under three categories:
The probability that a data value is missing :・ MCAR (missing completely at random) is unrelated to the observed or missing values. Like tossing a coin.
・ MAR (missing at random) may depends on other observed variables, but not on the variable which is missing. Example: Respondents in service occupations less likely to report income..
・ MNAR (missing NOT at random) depends on missing value itself.
Example: Respondents with high income less likely to report income..
Both MI and FIML are most suitable methods for MCAR or MAR type data accoding to previous studies.
On the other hand, the most logality is not established in the case of MNAR.
Following methods of dealing with missing data and were discussed.
Dealing with missing data in the narrow sense
1 default in handling of missing data
Deletion (non-imputation)
2 Pairwise deletion
3 Listwise deletion (Complete-case analysis)
Simple imputation
4 Personal mean (average) score
5 Personal worst score
6 Personal regression score
7 Hot-deck imputation (imputation of approximate value)
8 Cold-deck imputation (by multiple regression analysis)
9 Last observation (value) carried forward
MI and FIML
Both methods are equivalent and recommended methods for handling missing data.
10 MI : multiple imputation
11 FIML : Full information maximum likelihood
Dealing with outliers̶ 116 ̶

ヘルスサイエンス・ヘルスケア

Volume 12，No.2（2012）a）box-(whisker-) plotb）Smirnov-Grubbs test for outliersc）Bayesian estimation for data outliers of population dynamics (e.g. mortality rate in small population municipality)d）handling of missing values or outliers in the analysis of regional clustering
Health Science and Health Care 12（2）： 104 −117，2012

̶ 117 ̶