(57)【要約】【課題】データ分析を行う分析者が行おうとしている分析が誤分析となるか否かを自動的に判定し、分析作業能率を向上させる。【解決手段】過去に行われた各回の分析の機能毎に、設定された内部パラメータ項目や入力データ項目を分析情報として含む分析履歴データに対して、分析結果として正常、または異常を付与する手段２と、過去の同一種類の分析機能に対する分析情報の変更パターンと、変更の結果の分析結果とがそれぞれ同一である分析履歴データから分析者の現在の分析に対する判定条件を出力する手段３と、その判定条件を用いて分析者の現在の分析が誤分析であるか否かを判定する手段４とを備える。【選択図】図１
2009134560.tif 000002
【特許請求の範囲】
【請求項１】
データ分析を行う分析者が、正しい分析結果が得られない誤分析を行おうとした時に、該誤分析の発見を支援する装置であって、
過去に行われた各回の分析の機能毎に、該分析機能に対して設定された内部パラメータ項目、および／または入力データ項目を分析情報として含む分析履歴データに対して、該分析機能に対する分析結果として正常、または異常のいずれかを付与する分析結果付与手段と、
該分析結果付与手段の出力を用いて、過去に行われた分析の中で同一種類の分析機能に対する前記分析情報の変更のパターンと、該変更の結果として得られた分析の結果とがそれぞれ同一である分析履歴データから、分析者の現時点での分析に対して適用すべき判定条件を出力する判定条件出力手段と、
該判定条件出力手段の出力を用いて、分析者の現時点での分析が誤分析であるか否かを判定する誤分析検出手段とを備えることを特徴とする誤分析発見支援装置。
【請求項２】
前記判定条件出力手段が、前記それぞれ同一である分析履歴データに対する信頼度と支持度とがそれぞれに対する閾値以上である時、該分析履歴データの前記分析情報変更パターンを前提部、前記同一である分析結果を帰結部として前記判定条件を出力することを特徴とする請求項１に記載の誤分析発見支援装置。
【請求項３】
前記判定条件出力手段が、前記分析条件変更パターン内の、前記入力データの項目、および／または内部パラメータの項目の変化を一般化して前記前提部とすることを特徴とする請求項２に記載の誤分析発見支援装置。
【請求項４】
データ分析を行う分析者が、正しい分析結果が得られない誤分析を行おうとした時に、該誤分析の発見を支援するためのプログラムであって、
過去に行われた各回の分析の機能毎に、該分析機能に対して設定された内部パラメータ項目、および／または入力データ項目を分析情報として含む分析履歴データをメモリから読み出して、該分析機能に対する分析結果として正常、または異常のいずれかを付与する分析結果付与ステップと、
該分析結果付与ステップの処理結果を用いて、過去に行われた分析の中で同一種類の分析機能に対する前記分析情報の変更のパターンと、該変更の結果として得られた分析の結果とがそれぞれ同一である分析履歴データから、分析者の現時点での分析に対して適用すべき判定条件を生成してメモリに格納する判定条件出力ステップと、
該判定条件出力ステップで前記メモリに格納された判定条件を用いて、分析者の現時点での分析が誤分析であるか否かを判定する誤分析検出ステップとを計算機に実行させることを特徴とする誤分析発見支援プログラム。
【請求項５】
データ分析を行う分析者が、正しい分析結果が得られない誤分析を行おうとした時に、該誤分析の発見を支援する方法であって、
過去に行われた各回の分析の機能毎に、該分析機能に対して設定された内部パラメータ項目、および／または入力データ項目を分析情報として含む分析履歴データをメモリから読み出して、該分析機能に対する分析結果として正常、または異常のいずれかを付与し、
該分析結果が付与された分析履歴データのうちで、過去に行われた同一種類の分析機能に対する前記分析情報の変更のパターンと、該変更の結果として得られた分析の結果とがそれぞれ同一である分析履歴データを用いて、分析者の現時点での分析に対して適用すべき判定条件を生成してメモリに格納し、
該メモリに格納された判定条件を用いて、分析者の現時点での分析が誤分析であるか否かを判定することを特徴とする誤分析発見支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデータ分析の支援方式に係り、分析者がデータ入力や内部パラメータの設定などを行った場合に分析結果として正常な結果が得られるか否かを判定し、正常な結果が得られないと予想される時に分析者に対してアラートを発行する誤分析発見支援装置、支援プログラム、および支援方法に関する。
【背景技術】
【０００２】
例えばデータ分析を行う分析者の負担を減らすために、ＧＵＩ（グラフィック・ユーザ・インターフェース）を用いた分析支援装置が用いられている。このような分析支援装置では、分析機能や分析手順を、例えば図形化してディスプレイ上に表示し、分析者の操作をわかりやすくし、分析の試行錯誤を容易にすることを可能としている。しかしながらこれらのＧＵＩを用いた分析支援装置では、ディスプレイ上に表示されている分析機能や分析手順の把握という面では効果的であるが、ディスプレイ上に直接的に表示されない内部パラメータや入力データとしての設定値などが適切であるか否かの判定は困難であった。
【０００３】
図２９は、従来の分析支援装置における問題点の説明図である。同図の上部には、データ入力の機能を示すファイル（ディスク）の記号と、例えば入力データの条件属性の値から目的属性の値の予測を行なう分析機能としてのＭＢＲ（Memory-Based Reasoning）の機能を示す記号とが、矢印で結合された分析画面が示されている。この時、例えば分析者によって設定される内部パラメータとしての目的属性はキャンペーン応答結果であり、条件属性は職業、家族構成、性別となっている。
【０００４】
これに対して入力データとしてＩＤと、それに対応する教育年齢とを追加し、上の分析画面上での入力データと統合するデータ結合の分析機能を追加すると、入力データを示すファイルとＭＢＲを示す記号との間に、データ結合の機能を示す記号が追加される。しかしながらこの時、分析機能としてのＭＢＲにおける分析結果が正常であるか否かについては、新たに追加された入力データの属性としての教育年齢を予測に利用できるかどうかを自動判別することができず、従って分析結果が正常になるか否かについても判定することはできない。
【０００５】
このように分析者がデータ結合の機能を追加したり、誤った内部パラメータの設定などを行っても、システム側ではそれを自動的に判別できず、エラーとしての警告を行うこともできないという問題点があった。またこのような分析手順の変更などの試行錯誤が容易にできるために、結果として余計なコストがかかってしまうという問題点もあった。
【０００６】
従来の分析支援装置としては、内部パラメータとして入力データに含まれていない属性名を指定した場合などに、分析者に分析誤りを通知することができる装置もあったが、このようなシステムでも自動的にエラーを判別できる範囲は狭く、結果的にエラーと判定されないような誤ったパラメータ設定などを行っても、分析者にエラー通知を返すことができないという問題点があった。
【０００７】
図３０は、分析支援装置の従来例における処理の流れの説明図である。同図においてデータベース１００には、その作成時までに作成されたスナップショットが蓄積されているものとする。ここでスナップショットとは、例えば前述のＭＢＲの分析機能が実行されるまでの複数の分析機能に対応する分析情報が分析手順にそって並べられたものであり、それぞれの分析情報は、例えばそれぞれの分析機能に対する入力データと内部パラメータなどを持つ情報である。
【０００８】
図３０では、現在分析者が分析を行おうとしている分析に対応する現在のスナップショットと、データベース１００に蓄積されている過去のスナップショットが分析結果判定部１０１によって比較され、例えば現在のスナップショットと比較できる過去のスナップショットにおける分析機能としてのＭＢＲの分析結果が異常となっていたような場合には、現在の分析が誤分析であることをアラート発行部１０２に出力し、アラート発行部１０２からアラートが分析者に与えられていた。
【０００９】
しかしながらこの従来例においても現在の分析のスナップショットと１対１に対応する過去のスナップショットとの比較が行われるだけであり、現在の分析のスナップショットが、例えば図２９で説明したように入力データとしての項目が過去のスナップショットに追加されたものを含む場合などについては、過去のスナップショットとの比較ができず、現在の分析が正しいかどうか、すなわち分析結果として“正常”という結果が得られるか否かについては判定することができなかった。
【００１０】
このようなデータ分析や入力データの信頼性に関する従来技術としての特許文献１では、与えられた未知事例のデータと既知事例データとの類似度を計算し、類似度がある条件を満たす時にその既知事例データを類似事例データとして出力し、その類似事例データを用いて未知事例に関する予測を行う予測装置、および方法が開示さている。
【００１１】
入力データの信頼性に関する従来技術としての特許文献２には、制御システムが正常に動作している時のセンサデータやアクチュエータのパラメータを入力データとして蓄積しておき、その後に制御システムから取り込まれた診断データ（入力データ）と蓄積されたデータとの照合を行うことによって入力データの信頼性に対応してセンサの経年変化や、入力レベル変化などの故障診断を行う技術が開示されている。
【００１２】
しかしながら特許文献１の技術は、類似事例に基づく予測を高速、かつ高精度に行うための技術であり、本発明が対象とする誤分析の判定そのものには直ちに利用することはできないという問題点がある。また、特許文献２の技術では制御システムの正常動作時の入力データだけが蓄積され、その後の入力データとの比較が行われることになり、本発明が対象とする分析支援装置に適用しようとしても、過去の分析が誤分析であったときの分析情報を利用することができないという問題点がある。
【特許文献１】特開２００５−３１０１７９号公報「類似事例に基づく予測を行う予測装置および方法」
【特許文献２】特許第３３０７０９５号「制御システムの診断・解析装置および方法」
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の課題は、上述の問題点に鑑み、分析者が、例えばＧＵＩを用いた分析支援装置を利用して行おうとしている分析が誤分析となるか否かを自動的に判定し、誤分析の発見を支援することによって、分析作業の能率を向上させることである。
【課題を解決するための手段】
【００１４】
この誤分析発見支援装置は、データ分析を行う分析者が、正しい分析結果が得られない誤分析を行おうとした時にその誤分析の発見を支援する装置であり、すくなくとも分析結果付与手段、判定条件出力手段、および誤分析検出手段を備える。
【００１５】
分析結果付与手段は、過去に行われた各回の分析の機能毎に、その分析機能に対して設定された内部パラメータ項目、および／または入力データ項目を分析情報として含む分析
履歴データに対して、その機能に対する分析結果として正常、または異常のいずれかを付与するものである。
【００１６】
判定条件出力手段は、分析結果付与手段の出力を用いて、過去に行われた分析の中で同一種類の分析機能に対する前述の分析情報の変更のパターンと、その変更の結果として得られた分析の結果がそれぞれ同一である分析履歴データから、分析者の現時点での分析に対して適用すべき判定条件を出力するものである。そして誤分析検出手段は、出力された判定条件を用いて、分析者の現時点での分析が誤分析であるか否かを判定するものである。
【００１７】
このように過去に行われた分析の機能毎に分析結果が付与された分析履歴データを用いて出力される判定条件によって、分析者の現時点での分析が誤分析であるか否かが判定され、誤分析である場合には、例えば分析者に警告が与えられる。
【００１８】
また誤分析発見支援プログラムは、前述の誤分析発見支援装置によって用いられるプログラムであり、さらに誤分析発見支援方法はこの支援プログラムに相当する方法である。
【発明の効果】
【００１９】
このように分析者が行おうとしている現時点の分析が誤分析であるか否かが自動的に判定されることによって、分析者の試行錯誤を減少させ、分析者の手戻りなどによるコストを低下させることができ、分析作業の能率向上に寄与するところが大きい。
【発明を実施するための最良の形態】
【００２０】
図１は、本実施形態における誤分析発見支援装置の基本的な構成ブロック図である。同図において誤分析発見支援装置１は、分析結果付与手段２、判定条件出力手段３、および誤分析検出手段４を備えている。
【００２１】
分析結果付与手段２は、例えば分析結果付与部であり、過去の分析履歴データに対して分析結果を付与するものである。すなわち、過去に行われた各回の機能毎に、その分析機能に対して設定された内部パラメータの項目（属性）、および／または入力データの項目（属性）を分析情報として含む分析履歴データに対して、その機能に対する分析結果として正常、または異常のいずれかを付与するものである。
【００２２】
判定条件出力手段３は、例えば判定条件導出部であり、分析結果付与手段２の出力を用いて、過去に行われた分析の中で同一種類の分析機能に対する前述の分析情報の変更のパターン、例えば内部パラメータ項目と入力データ項目がそれぞれいくつ追加されたかを示すパターンと、その変更の結果として得られた分析の結果がそれぞれ同一である分析履歴データから、分析者の現時点での分析に適用すべき判定条件を出力するものである。
【００２３】
誤分析検出手段４は、判定条件出力手段３によって出力された判定条件を用いて、分析者の現時点での分析が誤分析であるか否かを判定するものであり、例えば判定条件監視／誤分析検出部である。そして分析者の現時点での分析が誤分析であると判定された時には、例えばアラート発行部によって分析者に対してアラートが発行される。
【００２４】
図２は、本実施形態の誤分析発見支援方式における基本的な動作例の説明図である。同図においてＩＤ、職業、家族構成、および性別を入力データ項目（属性）とする第１の入力データに対して、分析機能としてＭＢＲ（Memory-Based Reasoning）、例えば入力データの条件属性の値から目的属性の値の予測を行なう機能が行われたことを示す分析履歴データが存在するものとする。その後、さらに入力データとしてもう１つの項目として教育年齢が加わった第２の入力データが与えられ、分析機能として第１のデータと第２のデー
タとのデータ結合の機能が追加されて、ＭＢＲの分析機能を実行しようとする場合、本実施形態では入力データとして教育年齢が追加されたにも関わらず、内部パラメータとして教育年齢の追加が行われていないことが検出され、例えばアラートによって分析者に対して誤りが指摘されることになる。
【００２５】
本実施形態では以下の２つの条件がそろったときにアラートを発行するものとする。第１の条件は、入力に対して何らかの操作が加えられたことであり、第２の条件は、この操作が加えられた時、その操作による変更点が、過去に分析結果が異常（エラー）となった分析履歴データとしてのスナップショットにおけると同じになった場合、あるいは過去に分析結果が正常となったスナップショットにおけると異なった場合である。分析履歴データ、およびスナップショットについてはさらに後述する。
【００２６】
図３は、本実施形態における誤分析発見支援装置による全体処理フローチャートである。同図において本実施形態における誤分析発見支援装置は、基本的な構成要素として分析結果付与部１０、判定条件導出部１１、判定条件監視／誤分析検出部１２、およびアラート発行部１３を備えているものとする。
【００２７】
図３において、まず分析結果付与部１０に対して過去に生成されたスナップショットが与えられる。ここでスナップショット、その基本となる分析情報、および分析履歴データについて図４から図６を用いて説明する。分析結果付与部１０、判定条件導出部１１、判定条件監視／誤分析検出部１２、およびアラート発行部１３の各部の処理については後述する。
【００２８】
図４は、分析情報の例である。分析情報は、分析機能、例えば図２で説明したデータ入力の機能、データ結合の機能など、例えばデータ分析のために実行される１つ１つの機能を単位とした入力データ、内部パラメータ、および実行結果を持つデータである。図４にはデータ読込みの機能に対して、１つの入力データとこのデータ読込みの機能が実行された結果が正常であることが、１つの分析情報として示されている。ここで実行結果が正常であるということは、データ読込みの機能が形式的には正常に行われたことを示すものである。例えばデータ読込みが実際には行われなかった場合などに、実行結果が異常（エラー）となる。ただし、実行結果が正常であっても必ずしも正しいデータが読み込まれたということは保証されず、このため分析機能としてのデータ読込みが正しく行われたか否かについては、分析結果が正常であるか、異常であるかによって示される。
【００２９】
図５は、スナップショットの例である。スナップショットは、分析者の操作によって分析手順、すなわち連続的に実行されるべき複数の分析機能の実行順序の変更、例えば分析機能の追加などが起こるたびに、分析画面上に配置されている全ての分析機能に対する分析情報を、分析手順に沿って記録したデータである。スナップショットの作成時には、前述の分析結果のフィールドは空欄とされている。図５のスナップショットは、分析機能としてのＭＢＲが実行されるための分析手順を示し、このＭＢＲの機能の実行の前に、２つのデータ読込み機能、およびデータ結合機能が分析手順として実行されることが示されている。なお、分析画面については後述する。
【００３０】
図６は、過去のスナップショットが蓄積されたデータとしての分析履歴データの例である。同図においては、分析手順として最終的にＭＢＲの分析機能が実行されたスナップショットが、そのスナップショットが作成される毎に蓄積されて示されている。同図において、１番上のスナップショットの分析手順としての２つのデータ読込みからデータ結合、ＭＢＲまでの各機能については、実行結果が正常であることが示されているが、実行されていない分析機能がある場合には、その実行結果の値は空となっている。分析結果のフィールドはその分析が正しく行われたことが判明するまでは空であり、比較的最近のスナッ
プショットに対しては、分析結果が空となっている可能性も高い。
【００３１】
図７、および図８は、スナップショットが作られる過程の説明図である。図７において、まず１番上にデータ読込み（１）の分析機能が実行された状態が示されている。この場合、形式的な結果としての実行結果は正常である。最も左側にデータ読込みを示すファイル（ディスク）の記号が示されているが、前述の分析画面上には、このファイルの記号だけが示される。
【００３２】
上から２番目の図において、データ読込み（１）の分析機能に続いて、ＭＢＲの分析機能が実行されたことが示されている。分析画面上ではファイルを示す記号とＭＢＲを示す記号とが結線され、データ読込み（１）の機能を用いて読み込まれたデータに対してＭＢＲの機能が実行されたことが示されている。２つの機能に対する形式的な結果としての実行結果は正常となっており、またデータ読込み（１）の機能に対しては、正しいデータが読み込まれたことを示す分析結果として正常が示されている。
【００３３】
上から３番目の図においては、２番目のデータ読込みの機能としてのデータ読込み（２）が追加されているが、ここではデータ読込み（２）を示すファイルの記号とＭＢＲを示す記号とは結線されておらず、分析手順としても別の表として表示されている。
【００３４】
４番目の図では、さらにデータ結合の機能が追加され、２つの入力データを結合するデータ結合の記号に対して、データ読込み（１）、およびデータ読込み（２）を示すファイルの記号が結線されている。しかしながらデータ結合を示す記号とＭＢＲとを示す記号とはまだ結線されておらず、ＭＢＲは別の表として示されている。また、ここでは分析手順、すなわち分析画面上における結線状態が変化しているため、データ読込み（２）、データ結合、およびＭＢＲの分析機能に対する分析結果フィールドは空となっている。
【００３５】
最後の５番目の図において、分析画面上でデータ結合を示す記号と、ＭＢＲを示す記号とが結線され、これに対応して図５で示したスナップショットが作成されている。なお、ここでは分析結果として、データ読込み（２）、およびデータ結合に対する値は正常となっている。
【００３６】
図８は、図７の過程の前に、データ読込み（１）を分析画面上に配置しただけの状態における分析画面上の表示と分析情報が示されている。すなわち１番上の図では、分析画面上でデータ読込み（１）に相当するファイルだけが配置されているが、この機能はまだ実行されておらず、実行結果フィールドも空となっている。この図のGUI例では、機能が実行されていないことが見て分かるように、データ読込み（１）を示すファイルの記号が塗潰されていない状態となっている。図８においては、その後、図７の上から２番目以降と同様にスナップショットが作られる過程が示されている。
【００３７】
図９は、図３の分析結果付与部１０による処理の詳細フローチャートである。同図において処理が開始されると、まずステップＳ１０で、入力された時点ｔのスナップショットＳ（ｔ）の分析機能のうちで、実行結果が空となっている分析機能が存在するか否かが判定され、存在する場合にはステップＳ１１でその分析機能が実行された後に、存在しない場合には直ちにステップＳ１２の処理に移行する。
【００３８】
ステップＳ１２で、スナップショットを構成する分析手順としての複数の分析機能のうちに実行結果が異常となっているものがあるか否かが判定され、異常となっているものがある場合には、ステップＳ１３でその機能を含め、例えば図５のＭＢＲに対する分析結果フィールドに対しても値として異常が格納されて、処理を終了する。
【００３９】
これに対してステップＳ１２で実行結果が異常となっているものがない場合には、ステップＳ１４で分析履歴データ２０から、時間的に１つ前のスナップショットＳ（ｔ−１）がスナップショット履歴として読み込まれ、ステップＳ１５で２つのスナップショットＳ（ｔ−１）とＳ（ｔ）が比較され、同じ分析機能に対する分析情報としての内部パラメータに変更があるか否かが判定される。
【００４０】
変更がある場合には、ステップＳ１６でスナップショットＳ（ｔ−１）の内部の変更があった分析機能の分析結果フィールドの値として、異常が格納されて処理を終了する。ここで内部パラメータの変更があったということは、前の時点における分析の結果が正しくなく、内部パラメータの変更が行われて、その結果現時点のスナップショットＳ（ｔ）が得られたと考えられるために、前の時点における分析は誤分析であったと考えられるためである。ステップＳ１５で内部パラメータの変更がないと判定された場合には、ステップＳ１７でスナップショットＳ（ｔ−１）の内部の対応する分析機能の分析結果フィールドの値として、正常が格納されて処理を終了する。
【００４１】
図１０と図１１は、図３の分析結果付与部１０によって分析結果が付与される前のスナップショットと、付与された後のスナップショットの例である。図１０は、分析結果付与前のスナップショットの例であり、分析結果はすべて空となっているのに対して、図１１の分析結果付与後のスナップショットの例では、分析結果として全ての分析機能に対応して、例えば正常が格納されている。
【００４２】
図１２は、実行機能に対する分析結果の値として“不明”が許される時の分析結果付与部１０の処理の詳細フローチャートである。同図においては図９と比較して、ステップＳ１０、およびステップＳ１１の処理は省略され、時点ｔのスナップショットＳ（ｔ）に対するステップＳ１２の処理が実行される。すなわちここでは、実行結果が空となっている分析機能は存在しないものとしてステップＳ１２の処理が行われ、実行結果として異常なものがある場合には、ステップＳ１３の処理が図１０におけると同様に実行されて、処理を終了する。
【００４３】
ステップＳ１２で分析機能の実行結果に異常がない場合には、ステップＳ２１で後述する判定条件２１、すなわち現在の分析者の分析が誤分析でないか否かを判定するために蓄積された過去の判定条件が読み込まれ、スナップショットＳ（ｔ）における分析情報の変更パターンが過去の判定条件と同じパターンであるか否かが判定される。
【００４４】
ここで判定条件は、後述するように、分析情報としての入力データの項目（属性）の変化、例えば追加、および／または内部パラメータの項目（条件属性）の追加などの変更パターンと、その結果としての分析結果が正常であるか異常であるかのデータに対応して作成されるものであり、そのような判定条件における分析情報の変更に対応して、スナップショットＳ（ｔ）の変更パターンが同じパターンであるか否かが判定され、同じパターンである場合にはステップＳ２２で過去の判定条件の分析結果と同じ値が、同じパターンとなった分析機能の分析結果フィールドに格納されて処理を終了する。
【００４５】
ステップＳ２１で同じパターンでないと判定された場合には、図９のステップＳ１４からＳ１７までと類似した処理がステップＳ２４からＳ２７で行われる。しかしながらステップＳ２７では、ステップＳ１７と異なり、分析結果フィールドに対しては値として“不明”が格納される。これはステップＳ２５で内部パラメータの変更が無いと判定されているにも拘わらず、ステップＳ２１で過去の判定条件と同じパターンでないと判定されたためであり、内部パラメータの変更が無いというだけでは分析結果フィールドに対して値として正常を格納する十分な理由がないものとして“不明”を格納するものである。
【００４６】
分析結果付与部１０による処理が終了すると、判定条件導出部１１に対して分析結果付きスナップショットが与えられ、判定条件導出部１１の処理が行われる。
図１３は、図３の判定条件導出部１１による処理のフローチャートである。この処理では、まずステップＳ４０で、時点ｔにおいて作成された分析結果付与済みのスナップショットＳ（ｔ）の入力に対して、１つ前の時点におけるスナップショットＳ（ｔ−１）が分析履歴データ２０から読み込まれ、ステップＳ４１において分析情報変更特徴抽出処理、ステップＳ４２で内部パラメータ操作差分抽出処理が行われ、分析情報変更特徴と内部パラメータ操作差分、および分析履歴データ２０を用いて、ステップＳ４５の判定条件生成処理が行われる。これら分析情報変更特徴抽出処理、内部パラメータ操作差分抽出処理、および判定条件生成処理についてはその詳細フローチャートを後述する。最後の判定条件生成処理においては、その内部で条件導出部１１の処理を終了するか、あるいは処理のスタートに戻り、他の分析結果付与済みスナップショットを対象とする処理が繰り返される場合とがあるが、その詳細については後述する。
【００４７】
図１４は、判定条件導出部１１による処理の概要の具体例の説明図である。同図を用いて、特に図１３のステップＳ４１における分析情報変更特徴抽出処理、ステップＳ４２の内部パラメータ操作差分抽出処理を中心に、判定条件導出部１１の処理についてその概要を説明する。
【００４８】
まず図１４の２つのスナップショットＳ（ｔ）、Ｓ（ｔ−１）において、同じ分析機能としてのＭＢＲに対する分析情報の中で、例えば入力１のデータ項目（属性）が比較され、属性として教育年齢が追加されたことが検出される。これがステップＳ４１の処理によって抽出される分析情報変更特徴の例である。
【００４９】
また２つのスナップショットのパラメータ１の条件属性の比較によって、教育年齢をパラメータ１に追加する操作が加わったことが検出される。これがステップＳ４２の処理によって抽出される内部パラメータ操作差分に当たる。
【００５０】
ここではスナップショットＳ（ｔ）のＭＢＲに対する分析結果は正常である。図１３のステップＳ４５における判定条件生成処理では、過去においてＭＢＲを扱った同じパターンの分析情報変更特徴と内部パラメータ操作差分の組合せの履歴データが集められ、その分析結果が、例えば正常となる信頼度（確率）が８０％以上となることを１つの条件として、判定条件候補が選択された後に判定条件の生成が行われる。分析結果が異常となるパターンが８０％以上の信頼度を持つ場合にもそのパターンは判定条件候補とされる。
【００５１】
判定条件候補抽出に当たっては、このような入力データに対する項目（属性）の追加だけでなく、例えばデータ結合の場合に入力１と入力２に共通の属性の追加や、入力データの属性数の増減などについても分析情報変更特徴として抽出される。
【００５２】
図１５は、図１３のステップＳ４１における分析情報変更特徴抽出処理の詳細フローチャートである。この処理においては、時点ｔのスナップショットＳ（ｔ）と、１つ前の時点のスナップショットＳ（ｔ−１）との間で、特徴着目点２３に関する変化が比較され、変化があった場合にはその特徴着目点の着目対象とその変化内容が分析情報変更特徴として出力される。この比較は、それぞれのスナップショットの入力データと内部パラメータの全ての組合せに対して行われる。
【００５３】
図１５において処理が開始されると、スナップショットＳ（ｔ）と１つ前の時点のスナップショットＳ（ｔ−１）との間で、ステップＳ５０で全ての特徴着目点２３を検索したか、すなわち全ての特徴着目点に対する処理を終わったか否かが判定され、終わっていない場合には、ステップＳ５１で特徴着目点に関する変化（該当する特徴着目点）が存在す
るか否かが判定される。
【００５４】
ここで特徴着目点２３としては、分析情報のうちで、例えばＳ（ｔ）とＳ（ｔ−１）との間で、入力データの項目（属性）名の変化、あるいは項目（属性）数の変化、あるいはスナップショットＳ（ｔ）に追加されたデータ項目（属性）が、１つ前の時点のスナップショットＳ（ｔ−１）におけると共通の項目（属性）か否かなどが用いられる。入力データ相互間、内部パラメータ相互間、または入力データと内部パラメータの組合せ相互間において、特徴着目点の観点で変化があるか否かが判定され、変化があると判定されると、ステップＳ５２でその特徴着目点の比較対象と変化内容が出力された後に、そのような特徴着目点が存在しない場合には直ちに、ステップＳ５０の処理に戻り、全ての特徴着目点に関する処理を終了したと判定されると、分析情報変更特徴抽出処理を終了する。
【００５５】
図１６、および図１７は、分析情報変更特徴抽出処理における具体的な処理内容の説明図である。図１６においては、スナップショットＳ（ｔ）と時間的に１つ前のスナップショットＳ（ｔ−１）から、同じ分析機能の抽出が行われる。ここでは分析機能としてＭＢＲが抽出されている。
【００５６】
図１７は抽出される変更特徴の具体例の説明図である。２つのスナップショットＳ（ｔ）、Ｓ（ｔ−１）の、例えば入力１のデータ項目（属性）がそれぞれ比較され、Ｓ（ｔ）では、Ｓ（ｔ−１）に比べて、第１の特徴着目点としての属性名の変化に相当する変化として、属性“教育年齢”が追加されている。第２の特徴着目点としての属性数の変化として、属性数が５から６に増加し、第３の特徴着目点に関してＳ（ｔ）に追加された属性がＳ（ｔ−１）におけると共通の属性名かどうかが判定され、追加された属性、すなわち教育年齢はＳ（ｔ−１）と共通の属性名ではないことが判定される。
【００５７】
次にスナップショットＳ（ｔ）の入力２のデータ属性が、Ｓ（ｔ−１）の入力１のデータ属性と比較され、第１の着目点としては属性名として職業、家族構成、性別、キャンペーン応答結果が削除されたこと、第２の着目点としての属性数の変化では属性数が５から２に減少したこと、第３の着目点としての共通の属性名かどうかについては、Ｓ（ｔ）の入力２に対して追加された属性“ＩＤ”がＳ（ｔ−１）の入力１のデータ属性としてのＩＤと共通であることが判定される。
【００５８】
図１７においては、スナップショットＳ（ｔ）の入力１のデータと入力２のデータの項目（属性）の合成結果と、Ｓ（ｔ−１）の入力１のデータ項目（属性）との比較も行われている。同図では内部パラメータ同士、内部パラメータと入力データとの組合せなどに対する比較は示されていないが、これらの比較も同様に行われるものとする。
【００５９】
図１８は、このようにして抽出された分析情報変更特徴の具体例である。同図において上の２つの変更特徴は、図１７において２つのスナップショットの間で入力１のデータ項目（属性）に対する特徴着目点に関する比較によって得られた特徴である。次の３つはＳ（ｔ）の入力２のデータとＳ（ｔ−１）の入力１のデータとの間で、データ属性に対して特徴着目点に関して行われた比較の結果抽出された変更特徴であり、最後の２つはＳ（ｔ）の入力１＋２のデータ属性とＳ（ｔ−１）の入力１のデータ属性との間で、特徴着目点に関する比較が行われて抽出された変更特徴の例である。
【００６０】
図１９は、図１３のステップＳ４２における内部パラメータ操作差分抽出処理の詳細フローチャートである。この処理においては、スナップショットＳ（ｔ）と１つ前の時点のスナップショットＳ（ｔ−１）に対して、ステップＳ５５で内部パラメータ部分が抽出され、その内部パラメータＰ（ｔ）とＰ（ｔ−１）との間で、一般に複数の操作項目２４が図１５における特徴着目点２３と同様に用いられ、内部パラメータ操作差分が抽出される
。なお、この処理では図１５と異なり、内部パラメータの比較は同一のパラメータ、例えば２つのスナップショット内のパラメータ１相互間のみで行われる。
【００６１】
操作項目２４は、２つのスナップショットの間で内部パラメータを変化させる操作に関する３つの観点、すなわち内部パラメータの項目（属性）名を追加／削除する操作、属性数を増加／減少させる操作、および変数を追加／削除する操作の３つの項目に対応する。これら３つの各項目に関してステップＳ５６からステップＳ５８までの処理が行われる。すなわちステップＳ５６では全ての操作項目に対する処理を実行したか否かが判定され、まだ実行していない場合にはステップＳ５７で操作項目に該当する内部パラメータの変化があるか否かが判定され、ある場合にはステップＳ５８でその操作の対象と変化内容が出力され、ステップＳ５６以降の処理が、全ての操作項目に対する処理が終了するまで続けられる。
【００６２】
図２０、および図２１は、内部パラメータ操作差分抽出処理の具体的な処理内容の説明図である。図２０においては、２つのスナップショットＳ（ｔ）、Ｓ（ｔ−１）の分析情報を構成する内部パラメータＰ（ｔ）、およびＰ（ｔ−１）のうちで、同じ分析機能、すなわちＭＢＲに対する内部パラメータが抽出される。
【００６３】
図２１においては、抽出された内部パラメータの比較が、同一のパラメータ同士の間で前述の３つの項目に関して行われる。例えばパラメータ１同士の比較では、第１の操作項目に関してパラメータの条件属性として“教育年齢”が追加されたことが、また第２の操作項目に関して属整数が４から５に増加したことが、内部パラメータ操作差分として抽出される。なお、第３の操作項目としての変数の追加／削除に関する例は示していないが、例えばデータのクラスタリングの分析機能に関して、クラスタの数を変数として、例えばパラメータｎとして定義することが可能であり、そのような変数の追加／削除についての操作が行われたか否かが判定される。
【００６４】
図２２は、抽出された内部パラメータ操作差分の例である。図２１でパラメータ１同士の比較によって抽出された２つの操作差分を示している。
図２３は、図１３のステップＳ４５における条件生成処理の詳細フローチャートである。この条件生成処理では、図１３のステップＳ４１における分析情報変更特徴抽出の処理、ステップＳ４２における内部パラメータ操作差分抽出の処理の結果、および分析履歴データ２０が用いられ、分析者が新しい分析を行おうとする時、その分析に対応するスナップショットの入力に対して、その分析が誤分析に当たるか否かを判定するための判定条件を生成する処理が行われる。図２３において処理が開始されると、まずステップＳ６０で分析情報変更特徴、内部パラメータ操作差分、および分析履歴データ２０における分析結果を用いて、変更特徴と内部パラメータ操作差分の組合せを条件、すなわち前提部、分析結果を結論とする判定条件候補が抽出され、ステップＳ６１で同じ組合せに対する判定条件候補が全て抽出されたか否かが判定され、まだ抽出されていない場合にはステップＳ６０の処理が繰り返される。
【００６５】
図２４は、ステップＳ６０で抽出される判定条件候補の具体例と、ステップＳ６１で抽出される同じ組合せの条件候補の説明図である。同一の分析機能ＭＢＲに対応する、分析情報変更特徴と内部パラメータ操作差分と、分析結果の組合せとして、全部で１５個の判定条件候補が抽出され、ステップＳ６１で、そのうちの入力１のデータ項目（属性）として１つが追加され、また内部パラメータ操作差分としても同様にパラメータ１に対する条件属性が１つ追加されている、同じ組合せとして、３個の条件候補が抽出されることになる。
【００６６】
図２３に戻り、ステップＳ６２で固有の属性名などを一般的な変数に置き換える処理が
行われ、ステップＳ６３で例えば相関分析を用いて条件候補の支持度、信頼度が算出され、ステップＳ６４で支持度、および信頼度のそれぞれがあらかじめ与えられている閾値以上であるか否かが判定され、閾値以上である時にその組合せを前提部、分析結果を結論とする判定条件がメモリに出力（格納）される。
【００６７】
図２４においては、同じ組合せの判定条件候補、ここでは３つの判定条件候補の属性名が一般的な変数としての“属性Ａ”に置き換えられ、その支持度、信頼度が求められる。支持度の値は、１５個の判定条件候補のうちで３個の候補が選択されたことを示す割合としての０．２、信頼度の値は抽出された３個の判定条件候補のいずれの分析結果も全て“正常”であることから１．０となる。例えば支持度に対する閾値が０．２、信頼度に対する閾値が０．８であるとすれば、この判定条件候補がステップＳ６５で判定条件として出力される。
【００６８】
図２５は、この判定条件を示す。この判定条件は対象分析機能がＭＢＲであり、その前提部として入力１のデータ項目（属性）として属性Ａが追加され、パラメータ１の条件項目（属性）として属性Ａが追加されるならば、それに対応する分析結果が“正常”になるという条件を示している。
【００６９】
図２３のステップＳ６４で支持度、信頼度のいずれか１つでも閾値に満たないと判定されるか、あるいはステップＳ６５で判定条件の出力が終了すると、ステップＳ６６で他に判定条件候補となるものがないか否かが判定され、まだある場合にはステップＳ６０以降の処理が繰り返される。そして他に判定条件候補になるものがないと判定されると、ステップＳ６７で全部の条件を出力したか否かが判定され、他のスナップショットを用いてさらに条件を出力可能な場合には図１３のステップＳ４０以降の処理が繰り返され、全て出力したと判定された時点で条件生成処理（判定条件導出部１１の処理）を終了する。
【００７０】
図２６は、図３の判定条件監視／誤分析検出部１２による処理の詳細フローチャートである。この処理では分析者が現在行おうとしている分析に対応する現在のスナップショットと、分析者の前の操作時のスナップショット（前スナップショット）とを用いて、判定条件導出部１１によって出力された判定条件に基づいて、現在分析者が行おうとしている分析に対する分析結果判定値を出力する処理が行われる。
【００７１】
図２６において処理が開始されると、ステップＳ７０で判定条件が読み込まれ、ステップＳ７１で前スナップショットが存在するか否かが判定され、存在する場合にはステップＳ７２で現在のスナップショットと前スナップショットとが読み込まれ、ステップＳ７３で図１５、および図１９におけると同様に、特徴着目点と操作項目を用いた比較から抽出される分析情報変更特徴と内部パラメータ操作差分を用いて、図２３におけると同様の処理が行われ、一時的に利用される判定条件としての仮条件が作成される。
【００７２】
続いてステップＳ７４で、仮条件の前提部と合致する前提部を持つ判定条件があるか否かが判定され、ある場合にはその判定条件の結論がステップＳ７５で分析結果判定値として出力され、ない場合にはステップＳ７１以降の処理が繰り返される。
【００７３】
これによって分析者は、現在行おうとしている分析の結果が正常であるか異常（エラー）であるかを知ることができる。正常である場合、すなわち仮条件が正常条件（その結論が正常である判定条件）と同じである場合にはステップＳ７６を介してステップＳ７１以降の処理が続けられる。同じでない場合、すなわち判定条件の分析結果が異常である場合には、ステップＳ７７で異常条件に近い正常条件があるか否かが判定され、ある場合にはステップＳ７８でその近い正常条件が出力された後に、そのような正常条件がない場合には直ちに、ステップＳ７１以降の処理が続けられ、前スナップショットが存在しないと判
定された時点で処理を終了する。
【００７４】
図３において判定条件監視／誤分析検出部１２の出力は、アラート発行部１３に与えられる。アラート発行部１３は、仮条件が正常条件と同じで分析結果判定値として正常が与えられた場合にはアラートを発行することなく、その判定値のみを分析者に対して表示する。異常条件と同じである場合には、近い正常条件の探索結果を表示するが、そのような正常条件がない場合にはアラートを発行して、分析結果判定値が異常であることを分析者に通知する。
【００７５】
図２７は、誤分析発見支援装置の構成ブロック図である。同図において支援装置は、図３で説明した分析結果付与部１０、判定条件導出部１１、判定条件監視／誤分析検出部１２、およびアラート発行部１３に加えて、スナップショット作成部１５を備える構成となっている。
【００７６】
図２７において新しい分析情報が作成されると、スナップショット作成部１５によってスナップショットが作成され、その結果は分析結果付与部１０に与えられる。分析結果が付与されたスナップショットは、分析履歴データ２０として蓄積されるとともに、判定条件導出部１１に与えられる。
【００７７】
判定条件導出部１１に対しては、分析履歴データ２０と特徴着目点、操作項目が与えられ、生成された判定条件は判定条件監視／誤分析検出部１２に与えられ、判定条件監視／誤分析検出部１２はこの判定条件と、現在分析者によって分析が行われている分析中の分析情報の入力に対応してスナップショット作成部１５によって作成されたスナップショットと、特徴着目点と操作項目、分析履歴データ２０、および閾値２５を用いて現在行われようとしている分析に対応する分析結果判定値をアラート発行部１３に与え、アラート発行部１３はこれに対応してアラートや近い正常条件などを出力する。
【００７８】
以上において本実施形態における誤分析発見支援装置、および支援方法についてその詳細を説明したが、この誤分析発見支援装置は当然一般的なコンピュータシステムを基本として構成することが可能である。図２８はそのようなコンピュータシステム、すなわちハードウェア環境の構成ブロック図である。
【００７９】
図２８においてコンピュータシステムは中央処理装置（ＣＰＵ）３０、リード・オンリ・メモリ（ＲＯＭ）３１、ランダム・アクセス・メモリ（ＲＡＭ）３２、通信インターフェース３３、記憶装置３４、入出力装置３５、可搬型記憶媒体の読取り装置３６、およびこれらの全てが接続されたバス３７によって構成されている。
【００８０】
記憶装置３４としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、このような記憶装置３４、またはＲＯＭ３１に図９、図１２、１３、図１５、図１９、図２３、図２６などのフローチャートに示されたプログラムや、本発明の特許請求の範囲の請求項４のプログラムなどが格納され、そのようなプログラムがＣＰＵ３０によって実行されることにより、本実施形態における分析結果の付与、判定条件の生成、および誤分析発見の支援などが可能となる。
【００８１】
このようなプログラムは、プログラム提供者３８からネットワーク３９、および通信インターフェース３３を介して、例えば記憶装置３４に格納されることも、また市販され、流通している可搬型記憶媒体４０に格納され、読取り装置３６にセットされて、ＣＰＵ３０によって実行されることも可能である。可搬型記憶媒体４０としてはＣＤ−ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスク、ＤＶＤなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読取り装置３６によ
って読取られることにより、本実施形態における誤分析発見の支援などが可能となる。
【００８２】
以上の実施の形態に関し、さらに次の付記を開示する。
（付記１）  データ分析を行う分析者が、正しい分析結果が得られない誤分析を行おうとした時に、該誤分析の発見を支援する装置であって、
過去に行われた各回の分析の機能毎に、該分析機能に対して設定された内部パラメータ項目、および／または入力データ項目を分析情報として含む分析履歴データに対して、該分析機能に対する分析結果として正常、または異常のいずれかを付与する分析結果付与手段と、
該分析結果付与手段の出力を用いて、過去に行われた分析の中で同一種類の分析機能に対する前記分析情報の変更のパターンと、該変更の結果として得られた分析の結果とがそれぞれ同一である分析履歴データから、分析者の現時点での分析に対して適用すべき判定条件を出力する判定条件出力手段と、
該判定条件出力手段の出力を用いて、分析者の現時点での分析が誤分析であるか否かを判定する誤分析検出手段とを備えることを特徴とする誤分析発見支援装置。
（付記２）  前記判定条件出力手段が、前記それぞれ同一である分析履歴データに対する信頼度と支持度とがそれぞれに対する閾値以上である時、該分析履歴データの前記分析情報変更パターンを前提部、前記同一である分析結果を帰結部として前記判定条件を出力することを特徴とする付記１に記載の誤分析発見支援装置。
（付記３）  前記判定条件出力手段が、前記分析条件変更パターン内の、前記入力データの項目、および／または内部パラメータの項目の変化を一般化して前記前提部とすることを特徴とする付記２に記載の誤分析発見支援装置。
（付記４）  前記誤分析発見支援装置において、
前記誤分析検出手段が分析者の現時点での分析が誤分析であると判定したとき、該分析者に警告を与える警告出力手段をさらに備えることを特徴とする付記１に記載の誤分析発見支援装置。
（付記５）  前記誤分析検出手段が分析者の現時点での分析が誤分析であると判定し、かつ分析者の現時点での分析情報に近く、前記分析結果が正常である前記判定条件が存在することを検出したとき、前記警告出力手段が該判定条件の前提部を出力することを特徴とする付記４に記載の誤分析発見支援装置。
（付記６）  前記分析結果付与手段が、前記分析結果として正常、異常のいずれかに加えて、不明を付与可能であることを特徴とする付記１に記載の誤分析発見支援装置。
（付記７）  前記判定条件出力手段が、前記分析情報のうちの内部パラメータ項目の変化を内部パラメータ操作差分として抽出し、前記分析情報変更パターンの少なくとも一部として用いることを特徴とする付記１に記載の誤分析発見支援装置。
（付記８）  前記判定条件出力手段が、前記分析情報のうちの入力データ項目、および／または内部パラメータ項目の変化を分析情報変更特徴として抽出し、前記分析情報変更パターンの少なくとも一部として用いることを特徴とする付記１に記載の誤分析発見支援装置。
（付記９）  データ分析を行う分析者が、正しい分析結果が得られない誤分析を行おうとした時に、該誤分析の発見を支援するためのプログラムであって、
過去に行われた各回の分析の機能毎に、該分析機能に対して設定された内部パラメータ項目、および／または入力データ項目を分析情報として含む分析履歴データをメモリから読み出して、該分析機能に対する分析結果として正常、または異常のいずれかを付与する分析結果付与ステップと、
該分析結果付与ステップの処理結果を用いて、過去に行われた分析の中で同一種類の分析機能に対する前記分析情報の変更のパターンと、該変更の結果として得られた分析の結果とがそれぞれ同一である分析履歴データから、分析者の現時点での分析に対して適用すべき判定条件を生成してメモリに格納する判定条件出力ステップと、
該判定条件出力ステップで前記メモリに格納された判定条件を用いて、分析者の現時点
での分析が誤分析であるか否かを判定する誤分析検出ステップとを計算機に実行させることを特徴とする誤分析発見支援プログラム。
（付記１０）  データ分析を行う分析者が、正しい分析結果が得られない誤分析を行おうとした時に、該誤分析の発見を支援する方法であって、
過去に行われた各回の分析の機能毎に、該分析機能に対して設定された内部パラメータ項目、および／または入力データ項目を分析情報として含む分析履歴データをメモリから読み出して、該分析機能に対する分析結果として正常、または異常のいずれかを付与し、
該分析結果が付与された分析履歴データのうちで、過去に行われた同一種類の分析機能に対する前記分析情報の変更のパターンと、該変更の結果として得られた分析の結果とがそれぞれ同一である分析履歴データを用いて、分析者の現時点での分析に対して適用すべき判定条件を生成してメモリに格納し、
該メモリに格納された判定条件を用いて、分析者の現時点での分析が誤分析であるか否かを判定することを特徴とする誤分析発見支援方法。
【図面の簡単な説明】
【００８３】
【図１】誤分析発見支援装置の基本構成ブロック図である。
【図２】本実施形態における誤分析発見支援方式の概要説明図である。
【図３】誤分析発見支援装置による基本的な処理の流れの説明図である。
【図４】分析情報の例を示す図である。
【図５】スナップショットの例を示す図である。
【図６】分析履歴データの例を示す図である。
【図７】スナップショットが作られる過程の説明図（その１）である。
【図８】スナップショットが作られる過程の説明図（その２）である。
【図９】分析結果付与部による処理の詳細フローチャートである。
【図１０】分析結果付与前のスナップショットの例である。
【図１１】分析結果付与後のスナップショットの例である。
【図１２】分析結果として“不明”が許される場合の分析結果付与部による処理の詳細フローチャートである。
【図１３】判定条件導出部による処理のフローチャートである。
【図１４】判定条件導出部による処理の概要を示す具体例である。
【図１５】分析情報変更特徴抽出処理の詳細フローチャートである。
【図１６】同一の分析機能の抽出の具体例の説明図である。
【図１７】分析情報変更特徴抽出の具体例の説明図である。
【図１８】抽出された分析情報変更特徴の例である。
【図１９】内部パラメータ操作差分抽出処理の詳細フローチャートである。
【図２０】同一の分析機能における内部パラメータ抽出例の説明図である。
【図２１】内部パラメータ操作差分抽出例の説明図である。
【図２２】抽出された内部パラメータ操作差分の例である。
【図２３】判定条件生成処理の詳細フローチャートである。
【図２４】判定条件生成の具体例の説明図である。
【図２５】生成された判定条件の例の説明図である。
【図２６】判定条件監視／誤分析検出部による処理の詳細フローチャートである。
【図２７】誤分析発見支援装置の構成ブロック図である。
【図２８】誤分析発見支援装置を構成するコンピュータシステムの構成ブロック図である。
【図２９】ＧＵＩを用いた分析支援装置の従来例の説明図である。
【図３０】誤分析発見支援装置の従来例における処理の流れの説明図である。
【符号の説明】
【００８４】
１  誤分析発見支援装置
２  分析結果付与手段
３  判定条件出力手段
４  誤分析検出手段
１０  分析結果付与部
１１  判定条件導出部
１２  判定条件監視／誤分析検出部
１３  アラート発行部
１５  スナップショット作成部
２０  分析履歴データ
２１  判定条件
２３  特徴着目点
２４  操作項目
２５  閾値
３０  中央処理装置（ＣＰＵ）
３１  リード・オンリ・メモリ（ＲＯＭ）
３２  ランダム・アクセス・メモリ（ＲＡＭ）
３３  通信インターフェース
３４  記憶装置
３５  入出力装置
３６  読取装置
３７  バス
３８  プログラム提供者
３９  ネットワーク
４０  可搬型記憶媒体
【図１】
2009134560.tif 000003
【図３】
2009134560.tif 000004
【図９】
2009134560.tif 000005
【図１２】
2009134560.tif 000006
【図１３】
2009134560.tif 000007
【図１５】
2009134560.tif 000008
【図１７】
2009134560.tif 000009
【図１８】
2009134560.tif 000010
【図１９】
2009134560.tif 000011
【図２１】
2009134560.tif 000012
【図２２】
2009134560.tif 000013
【図２３】
2009134560.tif 000014
【図２５】
2009134560.tif 000015
【図２６】
2009134560.tif 000016
【図２７】
2009134560.tif 000017
【図２８】
2009134560.tif 000018
【図３０】
2009134560.tif 000019
【図２】
2009134560.tif 000020
【図４】
2009134560.tif 000021
【図５】
2009134560.tif 000022
【図６】
2009134560.tif 000023
【図７】
2009134560.tif 000024
【図８】
2009134560.tif 000025
【図１０】
2009134560.tif 000026
【図１１】
2009134560.tif 000027
【図１４】
2009134560.tif 000028
【図１６】
2009134560.tif 000029
【図２０】
2009134560.tif 000030
【図２４】
2009134560.tif 000031
【図２９】
2009134560.tif 000032