(57)【特許請求の範囲】
【請求項１】
データを格納するデータ格納手段と、
前記データ格納手段に格納されているデータを、欠損を含むデータと欠損が無いデータに分割するデータ分割手段と、
一般的な欠損に対する補間精度とは異なる補間精度に基づいて、オプトアウトに応じて欠損したデータに対する補間処理を実行するデータ補間処理手段と、
前記データ補間処理手段により補間された補間データと、前記欠損が無いデータとを結合した提供用のデータを作成する制御手段と
を具備するデータ補間装置。
【請求項２】
前記データ格納手段に格納されたデータには、前記オプトアウトによる欠損したデータを示すオプトアウトフラグが設定されており、
前記オプトアウトフラグに基づいて前記データ補間処理手段による補間処理の方法を選択するデータ補間選択手段をさらに有する請求項１に記載のデータ補間装置。
【請求項３】
前記データ補間処理手段により補間された補間データに対応し、前記補間精度に相当する確信度を示すデータを付与する確信度付与手段をさらに有する請求項１又は２に記載のデータ補間装置。
【請求項４】
前記データ補間処理手段による補間処理の方法及び前記補間精度を、前記データ補間処理手段による補間結果に基づいて変更する手段を有する請求項１から３のいずれか１項に記載のデータ補間装置。
【請求項５】
前記制御手段により作成される前記提供用のデータを、データ分析処理を実行するデータ分析装置に送信する送信手段をさらに有する請求項１から４のいずれか１項に記載のデータ補間装置。
【請求項６】
データ補間装置に組み込まれるコンピュータにより実行されるプログラムであって、
データ格納手段に格納されているデータを、欠損を含むデータと欠損が無いデータに分割する処理と、
一般的な欠損に対する補間精度とは異なる補間精度に基づいて、オプトアウトに応じて欠損したデータに対する補間処理を実行する処理と、
前記補間処理により補間された補間データと、前記欠損が無いデータとを結合した提供用のデータを作成する処理と
を含む手順を前記コンピュータに動作させるプログラム。
【請求項７】
前記データ格納手段に格納されたデータには、前記オプトアウトによる欠損したデータを示すオプトアウトフラグが設定されており、
前記オプトアウトフラグに基づいて前記補間処理による補間処理の方法を選択する処理をさらに有する請求項６に記載のプログラム。
【請求項８】
前記補間処理により補間された補間データに対応し、前記補間精度に相当する確信度を示すデータを付与する処理をさらに有する請求項６又は７に記載のプログラム。
【請求項９】
前記補間処理による補間処理の方法及び前記補間精度を、前記補間処理の補間結果に基づいて変更する処理を有する請求項６から８のいずれか１項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、データベースに適用するデータ補間装置及びプログラムに関する。
【背景技術】
【０００２】
近年、データベースに蓄積されたデータを取り出して、各種の分析を行った結果を利用したいという要求が増大している。例えば、あるスマートプラチナプラットフォームのように、医療機関・介護事業者の連携のみならず、様々な健康サービスのデータと連携するプラットフォームにおいて、データ分析結果を利用して様々なサービスの提供を可能とするような社会の実現について検討がされている。
【０００３】
システムやプラットフォームは、データベースに蓄積されているデータを、レコード単位またはデータセット単位で管理する場合が多い。なお、レコードは、１件毎の纏まったデータの並び（配列）を意味する。また、データセットは、当該レコードを１つ以上に纏めた集合を意味する。
【０００４】
ここで、データベースに蓄積されている全てのレコードが完全なデータを含むような場合はほとんどなく、何らかの理由により、データが欠損しているレコードが存在する方が多い。このため、実際上のデータ分析では、一部属性のデータが欠損しているレコードを削除し、残ったレコードからなるデータセットを使用して分析を行うことが検討されている。また、一部属性のデータが欠損しているレコードに対して、何らかの方法によりデータ補間（内挿）処理を行って、この補間済のレコードも合わせて分析を行うことが検討されている。
【０００５】
欠損値（欠損したデータの内容）は、その欠損した理由の背景にしたがって、Missing Completely At Random(MCAR)、Missing At Random(MAR)、及びMissing Not At Random(MNAR)の3つに分類される。MCARはランダムに欠損が発生する場合である。MARは、あるレコードの属性に依存して欠損が発生するが欠損値には依存しない（と考えられる）場合である。MNARは、欠損した値に依存してレコードが欠損する（と考えられる）場合である。
【０００６】
ところで、最近では、多種多様なサービスがインターネットを通じて行われるようになっている。このため、サービスに関する情報、あるいはヘルスケアなどの個人情報に関する大量のデータが預けられて、データベースに蓄積されるようになっている。一般的に、ユーザがこれまで受けていたサービスを止める場合は退会し、預けていたデータも全て削除してもらうことが多かった。しかし、近年はサービス間の連携などもあり、サービスはやめなくても第三者への個人データの提供を停止する、いわゆるオプトアウト（opt out）も選択できるようになっている。さらに今後は複数のサービスを利用している中で、一部サービスのみオプトアウトする、もしくはそのサービスに関するデータを削除するような、部分的な処理も増加することが予想される。このため、データ分析では、受け取ったデータが単純に欠損している場合と共に、オプトアウトによりデータが欠損している場合についても検討する必要がある。
【０００７】
ここで、オプトアウトとは、ユーザ本人の求めに応じて、個人データを第三者に提供することを停止することと、かつ、一定の事項を予めユーザ本人に通知などしている場合は、ユーザ本人の同意を得ずに個人データを第三者に提供することが可能となる仕組みである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１４−６３４３２号公報
【特許文献２】特許第５５４６９８１号公報
【特許文献３】特許第４１７７２２８号公報
【特許文献４】特開２００６−１６３４６５号公報
【非特許文献】
【０００９】
【非特許文献１】“Housing Data Set”, July 7,1993, ［平成２７年４月１日検索］ インターネット＜URL: https://archive.ics.uci.edu/ml/datasets/Housing＞
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一般に、データ分析を実行するシステム側では、分析対象のデータセットの中に欠損したデータを含むレコードが存在する場合には、当該欠損に対するデータ補間処理を行って、データ分析処理を行うことが望ましい。しかし一方で、オプトアウトによる欠損が存在する場合には、オプトアウトを要求したユーザのプライバシを考慮する必要がある。即ち、オプトアウトによる欠損が存在するレコードについては、事前に該当するレコードそのものを削除することになる。
【００１１】
ここで、仮にオプトアウトされたレコードが多い場合、単に削除するだけでは、データ分析を行うシステムに提供されるデータセットのデータ量が減少し、データ分析処理の分析結果の精度が悪化する可能性がある。また、特徴的なデータが得られない場合、効果的な分析・活用ができなくなる可能性がある。
【００１２】
そこで、オプトアウトによる欠損に対しては、データ提供者であるユーザのプライバシを考慮した適切なデータ補間を可能とすることで、データ提供者のプライバシを保護したまま、データ分析の精度を向上させることが可能なデータ補間装置を実現するという課題がある。
【課題を解決するための手段】
【００１３】
本実施形態のデータ補間装置は、データを格納するデータ格納手段と、データ分割手段と、データ補間処理手段と、制御手段とを具備する。前記データ分割手段は、前記データ格納手段に格納されているデータを、欠損を含むデータと欠損が無いデータに分割する。前記データ補間処理手段は、一般的な欠損に対する補間精度とは異なる補間精度に基づいて、オプトアウトに応じて欠損したデータに対する補間処理を実行する。前記制御手段は、前記データ補間処理手段により補間された補間データと、前記欠損が無いデータとを結合した提供用のデータを作成する。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に関するシステムの構成を説明するためのブロック図。
【図２】第１の実施形態に関するデータ補間処理を説明するためのフローチャート。
【図３】第１の実施形態に関する全データセットの一例を示す図。
【図４】第１の実施形態に関する非欠損データセットの一例を示す図。
【図５】第１の実施形態に関する欠損データセットの一例を示す図。
【図６】第１の実施形態に関する補間後のデータセットの一例を示す図。
【図７】第１の実施形態に関する提供用のデータセットの一例を示す図。
【図８】第１の実施形態に関するデータ分析処理を説明するためのフローチャート。
【図９】第１の実施形態に関するデータ分析結果の一例を示す図。
【図１０】第１の実施形態に関するデータ分析結果の一例を示す図。
【図１１】第１の実施形態に関する確率密度関数の分布の一例を示す図。
【図１２】第２の実施形態に関する全データセットの一例を示す図。
【図１３】第２の実施形態に関する非欠損データセットの一例を示す図。
【図１４】第２の実施形態に関する欠損データセットの一例を示す図。
【図１５】第２の実施形態に関する補間後のデータセットの一例を示す図。
【図１６】第３の実施形態に関するシステムの構成を説明するためのブロック図。
【図１７】第３の実施形態に関するデータセットの一例を示す図。
【図１８】第３の実施形態に関する提供用のデータセットの一例を示す図。
【図１９】第３の実施形態の変形例に関するデータセットの一例を示す図。
【図２０】第４の実施形態に関するシステムの構成を説明するためのブロック図。
【図２１】第４の実施形態に関するシステムの動作を説明するためのシーケンス図。
【発明を実施するための形態】
【００１５】
以下図面を参照して、実施形態を説明する。
［第１の実施形態］
図１に示すように、本実施形態に関するシステムは大別して、データ補間装置１と、ネットワーク２と、データ分析装置３とを有する。データ補間装置１とデータ分析装置３は、ネットワーク２を介して接続し、相互にデータ伝送が可能である。ネットワーク２は、データ通信網であり、例えば、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、光回線網、電話回線網、イントラネット、イーサネット（登録商標）及びインターネットのいずれか、あるいはこれらの組み合わせである。尚、図１に示すシステムは、データ補間装置１とデータ分析装置３がそれぞれ１つのみの場合であるが、これに限ることなく、各々複数を有する場合でもよい。
【００１６】
データ補間装置１は、例えばサーバにより管理されるデータベースの構成要素であり、データを保管すると共に、データ補間処理を実行する。データ補間装置１は、コンピュータ及びストレージから構成されており、データ格納部１０、データ分割部１１、欠損データ格納部１２、非欠損データ格納部１３、データ補間処理部１４、データ補間選択部１５、補間結果対応テーブル格納部１６、補間済データ格納部１７、提供データ格納部１８、通信部１９及び制御部２０を有する。
【００１７】
データ格納部１０は、保管対象として蓄積されるデータを格納する。ここで、本実施形態では、データは、総称的（全体的）なデータの意味以外に、レコードまたはデータセットを意味する場合がある。レコードとは、１件毎の纏まったデータの並び（配列）を意味する。また、データセットは、当該レコードを１つ以上に纏めた集合を意味する。
【００１８】
データ分割部１１は、データ格納部１０に格納されているデータセットを、欠損があるデータセット（欠損データセット）と、欠損がないデータセット（非欠損データセット）に分割する。欠損したデータを欠損データ又は欠損値と表記し、欠損していないデータを非欠損データと表記する場合がある。ここで、本実施形態では、欠損データセットとは、欠損データ（欠損値）を含むレコードを有するデータセットである。
【００１９】
欠損データ格納部１２は、データ分割部１１により分けられた欠損データセットを格納する。非欠損データ格納部１３は、データ分割部１１により分けられた欠損がない非欠損データセットを格納する。
【００２０】
データ補間処理部１４は、複数のデータ補間方法によるデータ補間処理を実行するデータ補間実行部１４-1〜１４-nを含み、データ補間選択部１５により選択されたデータ補間方法に従ったデータ補間処理を実行する。本実施形態では、データ補間選択部１５は、欠損データセットに対して、オプトアウトフラグの設定に基づいて回帰分析を利用したデータ補間方法を選択する。オプトアウトフラグとは、オプトアウトによる欠損データ（欠損値）があることを示すフラグである。
【００２１】
補間結果対応テーブル格納部１６は、欠損データ（欠損値）と補間処理後の補間データ（補間値）との対応関係を示すテーブル情報を保持する。補間済データ格納部１７は、データ補間処理部１４により補間処理された後の補間データ（補間データを含むレコード）を格納する。提供データ格納部１８は、補間データ（補間データを含むレコード）と非欠損データ（欠損のないレコード）を結合した提供用データセットを格納する。
【００２２】
通信部１９は、ネットワーク２を介してデータ分析装置３と接続し、提供データ格納部１８に格納された分析対象となる提供用データセットを伝送する。制御部２０は、各構成要素１０〜１９の動作を制御し、特に提供用データセットを生成して提供データ格納部１８に格納する制御を実行する。
【００２３】
データ分析装置３は、コンピュータ及びストレージから構成されており、データ格納部３０、データ分析部３１、通信部３２及び制御部３３を有する。データ格納部３０は、データ補間装置１から伝送された提供用データセットを、分析対象のデータセットとして格納する。データ分析部３１は、当該提供用データセットを使用して、例えば回帰分析を利用するデータ分析処理を実行する。通信部３２は、ネットワーク２を介してデータ補間装置１の通信部１９に接続し、通信部１９から伝送される当該提供データを受信する。制御部３３は、各構成要素３０〜３２の動作を制御する。
［データ補間処理］
図２のフローチャートを参照して、本実施形態のデータ補間装置１によるデータ補間処理を説明する。
【００２４】
まず、本実施形態のデータ補間処理は、データ格納部１０に保管対象として格納されたデータの中で、欠損データ（以下、欠損値と表記する場合がある）を対象とする。この場合、便宜的に、当該欠損値はある属性でのみ発生し、オプトアウトされたデータのみとする。即ち、本実施形態の対象とする欠損は、前述したようなMAR又はMNARのような、個人または属性に依存して個人に関連するデータ（情報）を登録・回答しないために発生する欠損である。但し、実際上では、欠損値の発生はその理由によって異なり、その理由に応じた欠損フラグが設定される。
【００２５】
データ補間装置１の制御部２０は、データ格納部１０からデータセットを取得し、データ補間処理を開始する（ステップＳ１）。制御部２０は、欠損フラグとしてオプトアウトフラグを検出し、データ補間選択部１５に通知する。これにより、データ補間選択部１５は、オプトアウトに応じた適切なデータ補間方法を選択する。データ補間処理部１４は、選択された当該データ補間方法に応じて、ここでは便宜的にデータ補間実行部１４-1によりデータ補間処理を実行する。
【００２６】
データ分割部１１は、制御部２０により取得されるデータセットを、欠損データセットと、非欠損データセットに分割する（ステップＳ２）。欠損データ格納部１２は、データ分割部１１により分割された欠損データセット５００を格納する。非欠損データ格納部１３は、データ分割部１１により分割された非欠損データセット４００を格納する。
【００２７】
ここで、図３は、本実施形態において、使用するデータセット３００の一例を示す図である。このデータセット３００は、欠損データセットと非欠損データセットとを含む全データセットであり、ある地域における住宅の価格に関する情報を示す（非特許文献１を参照）。図４は、非欠損データセット４００の一例を示す図である。また、図５は、欠損データセット５００の一例を示す図である。
【００２８】
図３に示すように、当該データセット３００は、複数のレコード（ここでは、No.1-No.450）を含む。各レコードは、属性１００毎のデータの配列及び属性１００毎に設定されるオプトアウトフラグ１０１を有する。属性１００には、ある地域における住宅の価格に関する情報として、例えば、犯罪率（CRIM）、宅地造成率（ZN）、一酸化窒素濃度（NOX）や家の平均価格（MEDV）などが含まれる。オプトアウトフラグ１０１は、レコード毎にオプトアウトにより欠損した属性のデータ（欠損値）を示すフラグ（１が有意）である。例えば、レコード（No.446）には、オプトアウトにより欠損した属性（NOX）のデータ（欠損値）が存在することが示される。
【００２９】
図４に示すように、非欠損データセット４００は、図３に示すデータセット３００から分割されたデータセットであり、欠損値が存在しないレコード（ここでは、No.1-No.400）のみからなる。従って、オプトアウトフラグ１０１として、各属性に対して全て無効フラグ（０）が設定されている。また、図５に示すように、欠損データセット５００は、図３に示すデータセット３００から分割されたデータセットであり、欠損値が存在するレコード（ここでは、No.401-No.450）のみからなる。ここでは、オプトアウトフラグ１０１として、当該各レコードの属性（NOX）のデータは、オプトアウトにより欠損した欠損値であることを示すフラグが設定されている。
【００３０】
図２に戻って、データ補間処理部１４は、選択されたデータ補間実行部１４-1により、オプトアウトに応じた欠損値を補間するためのデータ補間処理を実行する。まず、データ補間処理部１４は、図４に示す非欠損データセット４００を使用して、回帰分析を実行する（ステップＳ３）。ここで、欠損値の補間方法としては、例えば、周辺の値や属性の平均値で補間する方法、単変量補間法である直線補間、曲線補間による補間方法、又は多変量補間法である回帰分析による補間方法が周知である。本実施形態は、当該回帰分析を用いた方法による補間処理、及び後述するように、当該回帰分析を用いたデータ分析処理を行う構成である。
【００３１】
ステップＳ３の具体例として、データ補間処理部１４は、非欠損データセット４００を使用して、住宅の価格（MEDV）を目的変数とした回帰分析を実行する（回帰分析結果については省略する）。データ補間処理部１４は、回帰分析により算出される回帰係数を用いて、住宅の価格（目的値）を予測する（ステップＳ４）。
【００３２】
さらに、データ補間処理部１４は、非欠損データセット４００及び予測した住宅の価格（予測値）を用いて、下記式（１）に示すような確率密度関数ｆ（ｘ，μ，σ２）の値を求める（ステップＳ５）。
【００３３】
【数１】
0006668116.tif 000002
【００３４】
ここで、ｘは元々含まれる非欠損データセット４００での住宅の価格、μは予測した住宅の価格（予測値）、σは元々含まれる非欠損データセット４００での住宅の価格と、当該予測値の差から算出した標準偏差である。
【００３５】
データ補間処理部１４は、確率密度関数ｆの算出結果（分布）に基づいて、補間精度（補間処理時の誤差）を算出する（ステップＳ６）。ここで、本実施形態では、予測値からの誤差を５０％とする。即ち、予測値から５０％の誤差を付与した値を補間値として算出する。但し、用途やプライバシ保護の方法によっては、当該誤差をより少なくするなど変更して補間処理しても良い。また、目的によってはデータの属性などに基づいて、事前に当該誤差の値を決定してもよい。このように事前に決定する場合には、ステップＳ５およびステップＳ６の処理は不要となる。
【００３６】
さらに、データ補間処理部１４は、補間精度に基づいて予測値の誤差値を算出する（ステップＳ７）。即ち、データ補間処理部１４は、確率密度関数を用いて５０％ずらした場合の誤差値を算出する。例えば、データ補間処理部１４は、絶対値「ｘ−μ」を算出して、その結果を誤差値とする。
【００３７】
次に、データ補間処理部１４は、図５に示す欠損データセット５００から欠損があるレコードが無くなるまで補間処理を実行する（ステップＳ８）。具体的には、データ補間処理部１４は、以下のような処理を繰り返す（ステップＳ９〜Ｓ１２）。ここで、本実施形態では、欠損データセット５００の各レコードの属性（NOX）のデータがオプトアウトにより欠損した欠損値である。
【００３８】
データ補間処理部１４は、非欠損データセット４００を使用して、各レコードの属性（NOX）のデータを目的変数として回帰分析を実行し、当該属性（NOX）の欠損値を予測する（ステップＳ９）。なお、回帰分析結果については省略する。
【００３９】
データ補間処理部１４は、当該属性（NOX）に対してオプトアウトフラグ（フラグ１）が設定されているか否かをチェックする（ステップＳ１０）。設定されていなければ、データ補間処理部１４は、次のレコードの属性（NOX）に対してステップＳ９の処理を実行する（ステップＳ１０のＮＯ，Ｓ１２のＮＯ）。
【００４０】
一方、オプトアウトフラグが設定されている場合には、データ補間処理部１４は、属性（NOX）の予測値に対して、ステップＳ７の処理で算出した誤差を付与し（加算または減算）、その値を補間値として算出する（ステップＳ１１）。データ補間処理部１４は、欠損があるレコードが無くなるまで当該補間処理を繰り返し、図６に示すように、欠損があるレコードに属性（NOX）の補間値を入力したデータセット６００を作成できる（ステップＳ１２のＹＥＳ）。
【００４１】
ここで、常に誤差を加算すると、データ全体の分布が偏ることが考えられる。このため、本実施形態は、ランダムに加算または減算して誤差を付与した値を補間値とする。なお、例えば予測値よりもずれの値が大きい場合は値がマイナスとなり得るため、結果としてデータを見て補間をしていることが自明となる場合は、加算したほうが好ましい。また、補間することでレコードとして適切ではない場合には、その属性の性質に適した補間処理を行うことになる。
【００４２】
さらに、あるレコードで欠損が複数ある場合について、以下のような補間処理の手順となる。データ補間処理部１４は、非欠損データセット４００を使用して、欠損がないレコードセットにおいて、欠損のある属性値（属性のデータ）を目的変数としてそれぞれ回帰分析をすると、欠損のある属性に従属している変数毎に回帰係数を得ることができる。ここで、欠損がある属性に対して、その属性を対象に回帰分析して得られた回帰係数を用いて補間処理する。この処理を各属性に対して繰り返し行うことで、複数の欠損も同様に補間することが可能となる。
【００４３】
なお、最終的にデータ分析（予測）する属性に対して回帰分析を行った際、その回帰係数が多い属性ほど、データ分析への影響が大きいので、そのような属性はより精度良く補間していくことで最終的な分析精度の向上が期待できる。従って分析精度の観点からはそのように補間していくことが好ましい。一方、本実施形態は、プライバシの観点からは高精度の補間処理ではなく、属性の性質に応じた適切な精度の補間方法による補間処理を実行する。この場合、例えば、最終的に影響が少ない変数から補間処理していくことで、最終的にデータの精度を向上させることができる。
【００４４】
図２に戻って、データ補間処理部１４は、補間したレコードと欠損のないレコードを結合する（ステップＳ１３）。さらに、データ補間処理部１４は、オプトアウトフラグ１０１を削除する（ステップＳ１４）。結果として、データ補間処理部１４は、補間処理後の提供用のデータセットとして、図７に示すようなデータセット７００を作成して出力する（ステップＳ１５）。
【００４５】
制御部２０は、データ補間処理部１４により補間されたデータセット７００を提供データ格納部１８に格納する。制御部２０は、提供データ格納部１８から、通信部１９及びネットワーク２を介して、補間されたデータセット７００を提供用データセットとしてデータ分析装置３に伝送（提供）する。なお、前述したように、補間結果対応テーブル格納部１６は、欠損値と補間処理後の補間値との対応関係を示すテーブル情報を保持する。補間済データ格納部１７は、データ補間処理部１４により補間処理された後のレコードを格納する。
［データ分析処理］
図８のフローチャートを参照して、本実施形態のデータ分析装置３によるデータ分析処理を説明する。本実施形態のデータ分析処理とは、具体例としては住宅の価格の予測処理である。
【００４６】
まず、データ分析装置３は、通信部３２を介してデータ補間装置１から伝送された提供用データセット（図７のデータセット７００）を受信する（ステップＳ２０）。データ格納部３０は、受信した提供用データセット７００を格納する（ステップＳ２１）。データ分析部３１は、データ格納部３０から提供用データセット７００を取得し、当該データセット７００を使用して回帰分析を実行する（ステップＳ２２）。
【００４７】
具体的には、ステップＳ２２において、データ分析部３１は、データセット７００を使用して、本実施形態の具体例である住宅の価格を目的変数として回帰分析を実行する（回帰分析結果を省略する）。データ分析部３１は、回帰分析を用いて回帰係数を算出し、当該回帰係数を用いて、データセット７００から目的値である住宅の価格を予測する（ステップＳ２３）。
【００４８】
次に、データ分析部３１は、図２のステップＳ４で予測した住宅の価格（予測値）と、ステップＳ２３で予測した住宅の価格（予測値）の予測精度を評価する。即ち、データ分析部３１は、本来の住宅の価格（MEDV）との差分から平方和、分散および標準偏差を算出する（ステップＳ２４）。データ分析部３１は、算出した平方和、分散および標準偏差を比較し、予測精度を評価する（ステップＳ２５）。
【００４９】
図９及び図１０はそれぞれ、当該予測精度を評価結果の一例を示す図である。図９及び図１０から、非欠損データセット４００のみを使用した住宅の価格の予測値（図２のステップＳ４での予測値）に対して、補間後のデータセット７００を使用した住宅の価格の予測値（ステップＳ２３での予測値）の方が、本来の住宅の価格（実際の値）との差分が少ないことが示される。即ち、本実施形態のデータ分析処理において、データ補間装置１から提供された補間処理後のデータセット７００を使用することにより、補間処理のない場合と比較して目的値（住宅の価格）の予測精度を向上できる。
【００５０】
なお、本実施形態は、予測値から例えば５０%の誤差を付与する補間精度に基づいた補間処理が実行する場合であり、確率密度関数を用いて当該誤差値を算出する。但し、当該誤差値も分析の目的やデータの属性に応じて変えても良く、またその算出方法も確率密度関数からではなく、尤度関数など、別の統計手段から算出して良い。図１１は、本実施形態での属性（NOX）の欠損値を予測した場合の確率密度関数の分布の一例を示す。本関数は正規分布となることから、本実施形態では、この分布において５０%の出現確率となる値を補間値として算出することになる。
【００５１】
以上のように第１の実施形態によれば、以下のような作用効果が得られる。
【００５２】
即ち、データセットには欠損フラグとしてオプトアウトによる欠損を示すオプトアウトフラグが設定されるため、欠損値を含むレコードにおいて、当該欠損値がオプトアウト又は一般欠損のいずれであるかを明確に区別できる。従って、データ補間処理を行う場合に、オプトアウトに応じた適切な補間精度に基づいた補間処理を実現できる。具体的には、例えば予測値から５０%の誤差を含む補正精度により、欠損値を補間したデータセット（７００）を生成して、データ分析装置３に提供できる。
【００５３】
データ分析装置３では、提供されたデータセット（７００）を使用して、例えば住宅の価格を目的値として予測するデータ分析処理が実行できる。ここで、提供されたデータセット（７００）は、高い補正精度により補間されたものではなく、オプトアウトに応じた適切な補間精度により補間されたデータセットである。従って、例えば、オプトアウトを指定したユーザ（データ提供者）の個人情報が高精度で補間されることを回避できるため、データ分析結果からユーザのプライバシを保護できる。
【００５４】
一方、オプトアウトによる欠損を補間しない、即ち、欠損値のレコードを削除したデータセットを使用したデータ分析処理に対して、本実施形態では補間されたデータセットを使用することにより、相対的に精度（予測精度）の高いデータ分析結果を得ることが可能となる。換言すれば、欠損したデータを補間する際、データ提供者のオプトアウトに応じたデータ補間方法を選択することが可能である。この結果として、データ提供者（ユーザ）のプライバシを保護すると共に、データ分析精度を向上させることができる。
【００５５】
なお、本実施形態のデータ補間処理において、欠損データセットと非欠損データセットを分割せずに、データ補間処理部１４は、全データセット３００に対して直接的に補間処理を実行する構成でも良い。
［第２の実施形態］
図１２、１３、１４，１５は、第２の実施形態を説明する図である。なお、本実施形態のシステム構成は、図１に示す第１の実施形態と同様のため、図示及び説明を省略する。
【００５６】
第１の実施形態では、図３に示すように、全データセット３００の各レコードの各属性に対してオプトアウトフラグ１０１が設定されている。これに対して、本実施形態は、図１２に示すように、データ格納部１０に格納される全データセット１２００は、各レコードに対してのみ設定される場合である。
【００５７】
第１の実施形態のデータ補間処理は、図２のステップＳ９〜Ｓ１２からなるループにおいて補間処理を実行する際に、補間時に毎回オプトアウトフラグ１０１に応じて誤差値を付与して補間値を算出するか否かを判断している（ステップＳ１０）。これに対して、本実施形態のデータ補間処理は、オプトアウトフラグ１０１に応じて、各欠損値に対して誤差値を付与して補間値を算出するか否かを一意的に決定できる。
【００５８】
具体的には、本実施形態では、データ分割部１１は、データ格納部１０に格納される全データセット１２００を、図１３に示すような非欠損データセット１３００と、図１４に示すような欠損データセット１４００とに分割する。欠損データセット１４００は、欠損値を含むレコードを有するデータセットである。
【００５９】
本実施形態のデータ補間処理部１４は、図２のステップＳ９〜Ｓ１２からなるループにおいて、欠損データセット１４００に対するデータ補間処理を実行する際に、各レコード（401〜450）の属性（NOX）に対して補間値を算出する。即ち、オプトアウトフラグ１０１に応じて、全てステップＳ１１の処理に移行する（ステップＳ１０のＹＥＳのみ）。
【００６０】
このような処理により、データ補間処理部１４は、図１５に示すように、欠損があるレコードに属性（NOX）の補間値を入力したデータセット１５００を作成できる（ステップＳ１２のＹＥＳを参照）。さらに、データ補間処理部１４は、補間したレコードと欠損のないレコードを結合し、オプトアウトフラグ１０１を削除する（ステップＳ１３，Ｓ１４を参照）。結果として、第１の実施形態と同様に、データ補間処理部１４は、補間処理後の提供用のデータセットとして、図７に示すようなデータセット７００を作成して出力する（ステップＳ１５を参照）。
【００６１】
以上のように本実施形態のデータ補間装置１の場合も、補間されたデータセット７００を提供用データセットとしてデータ分析装置３に伝送（提供）する。なお、データ分析装置３については、第１の実施形態と同様のため、図示及び説明を省略する。従って、本実施形態の場合でも、第１の実施形態と同様の作用効果が得られる。即ち、結果として、データ提供者（ユーザ）のプライバシを保護すると共に、データ分析精度を向上させることができる。
［第３の実施形態］
図１６は、第３の実施形態に関するシステム構成を示す図である。本実施形態のデータ補間装置１は、確信度付与部２１と表記する構成要素を含む。なお、これ以外の構成については、図１に示す第１の実施形態と同様のため、同一符号を付して説明を省略する。また、データ補間処理については、図２のフローチャートを参照する。
【００６２】
第１の実施形態において説明したように、データ補間処理部１４は、図２のステップＳ９〜Ｓ１２からなるループにおいて、オプトアウトフラグ１０１に応じて補間処理を実行する。即ち、データ補間処理部１４は、例えば図５に示す欠損データセット５００において、各レコード（401〜450）の属性（NOX）に対して補間値を算出する。この補間処理時において、本実施形態では、データ補間処理部１４は、各レコード（401〜450）の属性（NOX）に対して補間値を入力すると共に、確信度付与部２１により確信度１０２を付与する。
【００６３】
従って、本実施形態では、データ補間処理部１４は、図１７に示すように、欠損があるレコードに属性（NOX）の補間値を入力し、かつ確信度１０２を付与したデータセット１７００を作成する（ステップＳ１２のＹＥＳを参照）。
【００６４】
確信度１０２は、具体例としては、オプトアウトフラグ１０１に応じて設定した補正精度に相当するものであり、例えば５０%の誤差値である。ここで、誤差値を付与しない場合は、確信度１０２は１００%である。データ補間処理部１４は、補間したレコードと欠損のないレコードを結合し、かつ、オプトアウトフラグ１０１を削除した提供用のデータセット１８００を作成して出力する（ステップＳ１５を参照）。この提供用のデータセット１８００は、図１８に示すように、欠損が無いレコードには１００%の確信度１０２が付与されたものである。
【００６５】
以上のように本実施形態のデータ補間装置１の場合も、補間されたデータセット１８００を提供用データセットとしてデータ分析装置３に提供できる。従って、本実施形態の場合でも、第１の実施形態と同様に、データ提供者（ユーザ）のプライバシを保護すると共に、データ分析精度を向上させることができる。
【００６６】
ここで、本実施形態のデータ分析装置３は、データ分析処理時に、当該確信度１０２を重み付け係数として利用することにより、確信度１０２に応じたレコードの補間値を分析結果に反映させることが可能となる。即ち、データ分析処理において、確信度１０２をデータ信頼性に関する重み付けとして利用することが可能になり、その結果として、分析結果の精度を向上させることが可能になる。
【００６７】
なお、本実施形態は、当該確信度１０２として５０%又は１００%の誤差値を使用する場合について説明したが、これに限ることなく、補間処理方法、補間精度、データ分析の目的、分析対象であるレコード群の属性や数などを考慮して適切に設定される値でよい。
［変形例］
図１９は、第３の実施形態の変形例に関するデータセット１９００に一例を示す図である。データセット１９００は、前述の第２の実施形態においてオプトアウトフラグ１０１が各レコードに対してのみ設定される場合に、欠損がある属性（NOX）の補間値が入力され、かつ確信度１０２が付与されたものである。
【００６８】
なお、本変形例の場合でも、データ補間処理部１４は、補間したレコードと欠損のないレコードを結合し、オプトアウトフラグ１０１を削除することで、図１８に示すような提供用のデータセット１８００を作成して出力する。
【００６９】
本変形例の場合でも、データ提供者（ユーザ）のプライバシを保護すると共に、データ分析精度を向上させることができると共に、データ分析処理時に、当該確信度１０２を重み付け係数として利用できる。これにより、確信度１０２に応じたレコードの補間値を分析結果に反映させることが可能となる。即ち、データ分析処理において、確信度１０２をデータ信頼性に関する重み付けとして利用することが可能になり、その結果として、分析結果の精度を向上させることが可能になる。
［第４の実施形態］
図２０は、第４の実施形態に関するシステム構成を示す図である。本実施形態のシステムは、データ補間処理の指示・確認を行う補間方法指示装置４を含む。なお、これ以外の構成については、図１６と同様のため、同一符号を付して説明を省略する。なお、本実施形態のシステムにおいて、データ補間装置１に確信度付与部２１が含まれない場合には、補間方法指示装置４を除く構成については、図１と同様である。
【００７０】
図２０に示すように、本実施形態の補間方法指示装置４は、コンピュータ及びストレージから構成されており、受信データ格納部４０、データ格納部４１、補間結果対応テーブル格納部４２、補間結果確認部４３、データ補間方法選択部４４、データ補間方法・精度格納部４５、通信部４６及び制御部４７を有する。
【００７１】
以下、図２０と共に図２１のシーケンス図も併せて参照することにより、本実施形態のシステムの動作を説明する。
【００７２】
補間方法指示装置４は、通信部４６と接続するネットワーク２を介して、データ補間装置１およびデータ分析装置３のそれぞれと接続する。本実施形態では、補間方法指示装置４は、データ格納部４１において、欠損データセットと非欠損データセットとを含む全データセットを格納している。この全データセットは、例えば、前述の第１の実施形態でのデータセット３００と同様である（図３を参照）。
【００７３】
図２１に示すように、補間方法指示装置４は、データ格納部４１に格納されているデータセット（図３の３００）を、通信部４６及びネットワーク２を介して、データ補間装置１に送付する（ステップＳ３０）。データ補間装置１は、送付されたデータセットを通信部１９で受信し、データ格納部１０に格納する。
【００７４】
さらに、補間方法指示装置４は、データ補間方法選択部４４により、データ補間装置１が欠損データの補間処理を実行する際の補間方法および補間精度を決定する（ステップＳ３１）。具体的には、データ補間方法選択部４４は、補間方法の選択として、欠損データの補間処理のために利用する予測アルゴリズムや、また欠損データを補間する際に利用する属性情報などを指定する処理を実行する。なお、これら指定によって、予測結果および予測精度が変わるため、分析目的に応じて指定することが必要となる。
【００７５】
また、補間方法指示装置４は、補間精度の決定として、前述したように、予測値からの誤差を、どの程度付与するかを指定する処理を実行する。第１の実施形態は、補間精度として、予測値から例えば５０%の誤差を付与する場合である。なお、補間精度（誤差の付与）は、その結果を用いたデータ分析装置３での分析精度に影響がでること、および誤差をどの程度与えることで、プライバシを保護しているものと見なせるかは、対象の属性によっても異なることから、プライバシ保護の目的・レベルや分析内容に応じて指定することが必要となる。
【００７６】
補間方法指示装置４は、データ補間方法選択部４４により選択（決定）された欠損データの補間方法及び補間精度を示す情報を、データ補間方法・精度格納部４５に格納する。補間方法指示装置４は、データ補間方法・精度格納部４５に格納された補間方法及び補間精度を示す情報を、通信部４６及びネットワーク２を介して、データ補間装置１に通知する（ステップＳ３２）。なお、補間方法指示装置４は、補間方法および補間精度の選択処理（ステップＳ３１）を実行した後に、データ補間装置１に対するデータセットの送付処理（ステップＳ３０）及び補間方法及び補間精度の通知処理（ステップＳ３２）を一括処理として実行してもよい。
【００７７】
データ補間装置１は、第１の実施形態（図２を参照）に示すようなデータ補間処理を実行する（ステップＳ３３）。ここで、データ補間装置１は、補間方法指示装置４から通知された情報に基づいて、指定された欠損データの補間方法及び補間精度を用いて、データ補間処理を実行する。補間方法指示装置４により指定される補間方法は、データ補間処理部１４でのデータ補間実行部１４-1〜１４-nのいずれかに該当する。即ち、データ補間処理部１４は、指定された補間方法に従って、例えば、データ補間実行部１４-1によりデータ補間処理を実行する。補間精度は、予測値からの誤差であり、例えば、５０%の誤差に該当する。データ補間処理部１４は、確率密度関数を用いて５０％の誤差値を算出し、予測値に付与する。
【００７８】
データ補間装置１は、データ補間処理を実行し、補間したレコードと欠損のないレコードを結合し、かつ、オプトアウトフラグ１０１を削除した補間処理後の提供用のデータセット（図７の７００）を作成する（図２を参照）。データ補間装置１は、通信部１９及びネットワーク２を介して、補間処理後のデータセット（図７の７００）を補間方法指示装置４に送付する（ステップＳ３４）。
【００７９】
補間方法指示装置４は、通信部４６によりデータ補間装置１から送付された補間処理後のデータセットを受信し、受信データ格納部４０に格納する。補間方法指示装置４は、受信データ格納部４０に格納された補間処理後のデータセットに対して、補間結果確認部４３により欠損データの補間結果を確認（評価）する（ステップＳ３５）。この際、補間方法指示装置４は、欠損データ（欠損値）と補間処理後の補間データ（補間値）との対応関係を示すテーブル情報を、補間結果対応テーブル格納部４２に格納する。
【００８０】
補間結果確認部４３は、欠損データの補間結果に対して、予め設定されている基準情報に基づいて、プライバシの保護が適切か否か、および分析精度が向上するようなデータ補間が行われているかを確認（評価）する。補間方法指示装置４は、補間結果確認部４３の確認結果に基づいて、データ補間装置１の補間処理が不適切であれば、ステップＳ３１からの処理を繰り返す。即ち、補間方法指示装置４は、補間方法や補間精度を再度決定（選択）して、データ補間装置１による補間処理を再実行させる。
【００８１】
補間方法指示装置４は、補間結果確認部４３によりデータ補間装置１からの補間結果が適切であると確認されると、ステップＳ３１からのループ処理（一連の繰り返し処理Ｓ３６）を終了する。補間方法指示装置４は、通信部４６及びネットワーク２を介して、データ補間装置１に補間処理完了を通知する（ステップＳ３７）。データ補間装置１は、補間方法指示装置４から補間処理完了通知を受信すると、補間処理完了後のデータセット（図７の７００）をデータ分析装置３に送付する（ステップＳ３８）。データ分析装置３は、第1の実施形態と同様のデータ分析処理（図８を参照）を実行する（ステップＳ３９）。
【００８２】
以上のように本実施形態によれば、データ補間装置１の補間処理を行う場合の補間方法及び補間精度を、データ補間装置１の補間結果を確認しながら変更できる。即ち、データ補間装置１から補間結果に基づいて、補間方法及び補間精度をフィードバックすることにより、データ補間装置１の補間処理を要求に応じて適切に行うことができる。従って、データ提供者のプライバシの考慮またはデータ分析結果の精度に対して、適切な補間処理を実現することが可能となる。
【００８３】
なお、本実施形態においても、ステップＳ３３のデータ補間処理の際に、前述した第３の実施形態と同様に、データ補間装置１は、補間処理時に確信度付与部２１により確信度１０２を付与してもよい。この場合には、データ補間装置１は、確信度１０２が付与した提供用のデータセット（図１８を参照）を、通信部１９及びネットワーク２を介して、補間方法指示装置４又はデータ分析装置３に送付する。
【００８４】
これにより、補間方法指示装置４は、補間結果と共に確信度１０２を使用して、データ補間装置１の補間結果を確認し、補間方法や補間精度の再選択を行なうことができる。また、データ分析装置３については、前述した第３の実施形態と同様に、確信度１０２をデータ信頼性に関する重み付けとして利用することが可能になり、その結果として、分析結果の精度を向上させることが可能になる。
【００８５】
さらに、本実施形態において、前述の第２の実施形態と同様のデータセット（図１２、１３、１４，１５を参照）を使用してもよい。また、第３実施形態と同様のデータセット（図１７、１８を参照）を使用してもよい。
【００８６】
尚、本実施形態は、データ補間装置１と補間方法指示装置４は、ネットワーク２を介して接続されるシステムとして説明したが、これに限ることなく、補間方法指示装置４を内部に組み込む構成のデータ補間装置１でもよい。
【００８７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８８】
１…データ補間装置と、２…ネットワーク、３…データ分析装置、
４…補間方法指示装置、１０…データ格納部、１１…データ分割部、
１２…欠損データ格納部、１３…非欠損データ格納部、１４…データ補間処理部、
１５…データ補間選択部、１６…補間結果対応テーブル格納部、
１７…補間済データ格納部、１８…提供データ格納部、１９…通信部、２０…制御部、
２１…確信度付与部、３０…データ格納部、３１…データ分析部、３２…通信部、
３３…制御部、４０…受信データ格納部、４１…データ格納部、
４２…補間結果対応テーブル格納部、４３…補間結果確認部、
４４…データ補間方法選択部、４５…データ補間方法・精度格納部、４６…通信部、
４７…制御部。
【図１】
0006668116.tif 000003
【図２】
0006668116.tif 000004
【図３】
0006668116.tif 000005
【図４】
0006668116.tif 000006
【図５】
0006668116.tif 000007
【図６】
0006668116.tif 000008
【図７】
0006668116.tif 000009
【図８】
0006668116.tif 000010
【図９】
0006668116.tif 000011
【図１０】
0006668116.tif 000012
【図１１】
0006668116.tif 000013
【図１２】
0006668116.tif 000014
【図１３】
0006668116.tif 000015
【図１４】
0006668116.tif 000016
【図１５】
0006668116.tif 000017
【図１６】
0006668116.tif 000018
【図１７】
0006668116.tif 000019
【図１８】
0006668116.tif 000020
【図１９】
0006668116.tif 000021
【図２０】
0006668116.tif 000022
【図２１】
0006668116.tif 000023