(57)【要約】【課題】複数の特徴空間を扱うシステムの利便性をより向上させることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、を行う制御部を備える、情報処理装置。【選択図】図１
2019176398.tif 000002
【特許請求の範囲】
【請求項１】
登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、
前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、
前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、
を行う制御部を備える、情報処理装置。
【請求項２】
前記モダリティの定義は、モダリティに対応する所定のデータ形式への変換ルールである、請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、
検索要求に含まれる検索オブジェクトを前記検索オブジェクトのモダリティの定義に従って変換し、検索用の変換データを生成する制御と、
前記検索用の変換データを、前記検索オブジェクトのモダリティと前記検索要求に含まれるターゲットモダリティとに対応する前記特徴抽出器に出力する制御と、
を行う、請求項１に記載の情報処理装置。
【請求項４】
前記制御部は、
１以上の前記特徴抽出器において前記検索用の変換データに基づいて検索された第２の識別情報を取得し、
前記第２の識別情報に基づいて、前記記憶部から対応するオブジェクトを取得し、検索結果として出力する、請求項３に記載の情報処理装置。
【請求項５】
前記制御部は、
前記特徴抽出器から、前記検索用の変換データから抽出された特徴と類似する特徴に関連付けられた前記第２の識別情報と共に、前記特徴の類似度合いを示す類似度を取得する、請求項４に記載の情報処理装置。
【請求項６】
前記検索要求には、検索条件としてフィルター情報がさらに含まれる、請求項４に記載の情報処理装置。
【請求項７】
前記制御部は、
前記登録要求情報が入力された際、前記登録オブジェクトのモダリティと親子関係を有するサブモダリティの定義に従って、前記登録オブジェクトを変換して登録用のサブ変換データを生成する制御と、
前記第１の識別情報と前記サブ変換データを、前記サブモダリティに対応する１以上の特徴抽出器に出力する制御と、
をさらに行う、請求項１に記載の情報処理装置。
【請求項８】
前記制御部は、
前記検索要求が入力された際、前記検索オブジェクトのモダリティと親子関係を有するサブモダリティの定義に従って、前記検索オブジェクトのうち前記サブモダリティに対応するデータを変換して検索用のサブ変換データを生成する制御と、
前記検索用のサブ変換データを、前記サブモダリティおよび前記ターゲットモダリティに対応する１以上の前記特徴抽出器に出力する制御と、
をさらに行う、請求項３に記載の情報処理装置。
【請求項９】
前記制御部は、
前記検索要求に基づいて前記特徴抽出器から取得した前記第２の識別情報および類似度と、前記特徴抽出器の重み付けに基づいて、複数の前記第２の識別情報を順位付けする制御と、
上位所定数の前記第２の識別情報を前記検索結果として出力する制御と、
をさらに行う、請求項４に記載の情報処理装置。
【請求項１０】
前記制御部は、
１以上のアプリケーションから出力されたユーザの操作情報を含む情報に基づいて、前記ユーザに提案するコンテンツを検索する前記検索要求を生成し、
前記特徴抽出器から取得した１以上の前記第２の識別情報を、前記検索結果として出力する、請求項４に記載の情報処理装置。
【請求項１１】
前記制御部は、
前記情報に含まれる、前記アプリケーションで扱われているコンテンツを前記検索オブジェクトとし、
前記コンテンツのモダリティを、前記検索オブジェクトのモダリティとし、
前記アプリケーションで要求されているコンテンツのモダリティを、前記ターゲットモダリティとして、前記検索要求を生成する、請求項１０に記載の情報処理装置。
【請求項１２】
前記情報処理装置は、
前記第１の識別情報と前記登録用の変換データを、前記特徴抽出器を有する特徴管理サーバに送信する通信部をさらに備える、請求項１に記載の情報処理装置。
【請求項１３】
プロセッサが、
登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、
前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、
前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、
を行うことを含む、情報処理方法。
【請求項１４】
コンピュータを、
登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、
前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、
前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、
を行う制御部として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、および、プログラムに関する。
【背景技術】
【０００２】
従来、検索技術や機械学習技術の領域では、テキストや画像、表形式データ、時系列データ等の様々なデータを、そのデータの特徴をよく表すＮ次元ベクトルで代替すること（特徴抽出）が広く行われている。【０００３】
ベクトル化の例として、自然言語処理の界隈では、語彙数Ｎを次元数とし、出現した単語のみ値を持つベクトルを用いて文章を代表するＢｏＷ（Ｂａｇ  ｏｆ  Ｗｏｒｄｓ）と呼ばれる手法が一般的に使われている。また、画像処理の界隈では、局所バイナリパターン（ｌｏｃａｌ  ｂｉｎａｒｙ  ｐａｔｔｅｒｎ：ＬＢＰ）などの局所特徴をコードワードと見なしたＢｏＶＷ（Ｂａｇ  ｏｆ  Ｖｉｓｕａｌ  Ｗｏｒｄｓ）といった技法の他、データを入力とし、特徴ベクトルを出力する深層学習モデルも多数考案されている。表形式データは、カテゴリを１−ｈｏｔな数次元ベクトルに変換する処理や、各整数値や実数値を正規化する処理によって１つのベクトルに変換される。【０００４】
このようなベクトルで張られた空間は特徴空間と呼ばれ、検索技術や機械学習技術の素性として用いられる。今後特徴空間の需要はさらに増大し、特徴空間を複数扱い、横断的に利用したり、切り替えたりといった需要が想定される。【０００５】
また、異なるモダリティ（入出力形式）を統一的に扱う横断的な特徴空間も存在する。例えば下記非特許文献１では、テキストと画像を意味的な空間にマッピングする技術（マルチモーダルをシングルスペースにマッピングする技術）が開示されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】"A  New  Approach  to  Cross-Modal  Multimedia  Retrieval"  N.  Rasiwasia,  J.  Costa  Pereira,  E.  Coviello,  G.  Doyle,  G.  Lanckriet,  R.Levy  and  N.  Vasconcelos.  Proceedings  of  the  18th  ACM  international  conference  on  Multimedia,  Pages  251-260,  Florence,  Italy  -  Oct.  2010.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、特徴抽出を行う際には、特徴抽出器に入れるまでのデータの加工（前処理）が重要であり、決まったプロセスを踏む必要があるが、これらは特徴抽出器毎に異なるため、特徴空間を複数扱う場合は同じデータを特徴抽出器毎に異なるプロセスでそれぞれ前処理を行わなければならず、冗長であった。【０００８】
そこで、本開示では、複数の特徴空間を扱うシステムの利便性をより向上させることが可能な情報処理装置、情報処理方法、および、プログラムを提案する。
【課題を解決するための手段】
【０００９】
本開示によれば、登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、を行う制御部を備える、情報処理装置を提案する。【００１０】
本開示によれば、プロセッサが、登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、を行うことを含む、情報処理方法を提案する。【００１１】
本開示によれば、コンピュータを、登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、を行う制御部として機能させるための、プログラムを提案する。
【発明の効果】
【００１２】
以上説明したように本開示によれば、複数の特徴空間を扱うシステムの利便性をより向上させることが可能となる。【００１３】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態による情報処理システムの概要について説明する図である。
【図２】本実施形態による情報処理システムの主な機能ブロックにおける処理内容の一例を示す図である。
【図３】本実施形態による情報処理システムの他のシステム構成例の一例を示す図である。
【図４】本実施形態による情報処理システムにおけるオブジェクトの登録処理の流れの一例を示すシーケンス図である。
【図５】本実施形態による情報処理システムにおける検索処理の流れの一例を示すシーケンス図である。
【図６】本実施形態における検索画面の一例を示す図である。
【図７】本実施形態による第１の応用例における特徴抽出器のモジュール化について説明する図である。
【図８】本実施形態による第１の応用例の登録処理の一例を示すシーケンス図である。
【図９】本実施形態による第１の応用例の検索処理の一例を示すシーケンス図である。
【図１０】本実施形態による第２の応用例における検索画面の一例を示す図である。
【図１１】本実施形態による第２の応用例における検索画面の他の例を示す図である。
【図１２】本実施形態による第２の応用例の検索処理の一例を示すシーケンス図である。
【図１３】本実施形態による第３の応用例のサジェストシステムの構成の一例を示す機能ブロック図である。
【図１４】本実施形態による第３の応用例のサジェストシステムにおける検索処理の流れの一例を示すシーケンス図である。
【図１５】本実施形態による第３の応用例におけるアプリケーションから取得する操作情報と要求情報の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２−１．情報処理装置１０の構成
２−２．特徴管理サーバ２０の構成
３．動作処理
３−１．登録処理
３−２．検索処理
４．応用例
４−１．第１の応用例：モダリティの包含関係の定義
４−２．第２の応用例：検索結果のマージ
４−３．第３の応用例：サジェストシステム
５．まとめ
【００１７】
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、情報処理装置１０と、特徴管理サーバ２０とを有する構成となっている。
【００１８】
特徴管理サーバ２０は、テキストや画像、表形式データ、時系列データ等の様々なデータ（以下、「オブジェクト」と称す）を、そのデータの特徴をよく表すＮ次元ベクトルで代替する処理（特徴抽出処理）を行う特徴抽出部２０２（特徴抽出器の一例）を有し、かかるベクトルで張られた空間（特徴空間）を管理している。本明細書では、特徴抽出部２０２と特徴空間は１対１の関係にある。特徴管理サーバ２０は、図１に示すように複数存在していてもよく、それぞれ１の特徴抽出部２０２を有する構成となっている（すなわち、各特徴管理サーバ２０が、それぞれ１の特徴空間を管理していると言える）。
【００１９】
ここで、一般的な特徴空間の扱いについて以下説明する。特徴空間では、オブジェクト間の類似度や関係の表現ができ、例えば概念での検索および推薦が可能となる。また、特徴空間では、他の機械学習技術の精度を向上させることができ、例えば、認識系、データ解析等で素性として利用することが可能となる。また、特徴空間では、異なるモダリティを統一的に扱うことができ、例えば、テキストも手書きもノートも１つの特徴空間で扱うことが可能となる。本明細書において「モダリティ」とは、データの入出力形式であって、例えば下記に挙げるように多岐に渡るモダリティが想定される。
・テキスト−単語、文章、ＨＴＭＬ（HyperText  Markup  Language）など
・メディア−ＲＧＢ画像、深度画像、ベクタ画像、動画、音声など
・複合文書−オフィス文書、ＰＤＦ、Ｗｅｂページ、電子メールなど
・メタデータ−ユーザ、日付など
・センサデータ−現在位置、加速度、心拍数など
・アプリケーションデータ−起動ログ、処理中のファイル情報など
このようなモダリティに対して特徴空間を定義でき、自由に拡張可能となる。
【００２０】
また、複数の特徴空間を横断的に扱うことも可能である。例えば、テキスト、ノート、およびＷｅｂページを意味の視点で処理することが可能な第１の特徴空間と、手書きと画像を形の視点で処理することが可能な第２の特徴空間とがある場合に、これらを所定の関数を通してマッピングしてもよい。これにより、例えば、テキストで画像や手書きを検索したり、今見ているＷｅｂページに関連したノートを探したり、今書いているノートに近いタグを自動的に付与するシステムをすぐに生成することが可能となる。
【００２１】
また、複数の特徴空間を横断的に扱う方法として、サードパーティによる拡張（プラグインによる拡張）も想定される。より具体的には、他者でも同じ特徴空間に別のモダリティを関連付けたり、同じモダリティから別の特徴空間を構成することが可能である。また、これらを両方行って拡張することも可能である（例えば、「論文」や「判例」のモダリティを関連付けると共に、症例毎のセンサデータを入れることで、論文や判例に近い症例を探すことができる）。また、他者が扱う特徴空間と混ぜて利用することもできる（例えば、テキストや画像から商品を探す）。
【００２２】
このようにして、複数のマルチモーダル空間中のあらゆるデータを横断検索することが可能となる。
【００２３】
（背景）
ここで、このような複数の特徴空間を横断的に検索するシステムの構築に関し、以下のような問題が考えられる。
【００２４】
まず、特徴抽出を行う際には、特徴抽出器に入れるまでのデータの加工（前処理）が重要であり、決まったプロセスを踏む必要がある。前処理の決まったプロセスとしては、例えば画像を例に取ると、
・ＪＰＥＧもしくはＰＮＧデータのみ受け付ける
・ＲＧＢ３チャンネル、２５６ｘ２５６ｐｘに統一する
・アスペクト比が１：１でない場合に短辺を引き伸ばす
・平滑化等のフィルタ処理を掛ける
といった処理が行われる。
【００２５】
また、テキストの前処理の例としては、
・クリーニング処理（テキスト中のノイズを除去。例えばＷｅｂテキストの場合、ＨＴＭＬタグやＪａｖａＳｃｒｉｐｔ（登録商標）のソースコードなど）
・文章の単語分割
・単語の正規化
・ストップワード除去
などが挙げられる。
【００２６】
しかしながら、これらは特徴抽出器毎に異なるため、特徴空間を複数扱う場合、同じデータを特徴抽出器毎に異なるプロセスでそれぞれ前処理を行わなければならず、冗長であった。
【００２７】
そこで、本実施形態では、複数の特徴抽出器における前処理を共通化することで、複数の特徴空間を扱うシステムの利便性をより向上させることを可能とする。
【００２８】
具体的には、モダリティ毎に所定のデータ形式へ変換するルールを定義付け、情報処理装置１０においてオブジェクトのモダリティの定義に従って変換した変換データ（以下、「entity」とも称す）を、当該モダリティに対応する１以上の特徴管理サーバ２０（特徴抽出器の一例である特徴抽出部２０２を有するサーバ装置）に出力する。
【００２９】
また、一般的なプログラミングの型として扱えない一部のデータに関し、モダリティの定義を規定しておくことで、処理の難しいデータも読み込める上、データの前処理を統一することが可能となる。
【００３０】
例えば以下のようなデータでの需要が想定される。
（パターン１：形式間の変換／抽出）
・ベクタデータ（通常テキストファイル）を他の画像と同様に扱うためにレンダリング（描画）する
・ＰＤＦ、オフィス文書等をテキストとして扱うためにテキストを抜き出す
・ｉＣａｌｅｎｄａｒ（スケジュールの標準フォーマット）から予定の名前と日程、参加者のみを抽出する
（パターン２：形式の統一）
手書きデータなどは、各社が異なるフォーマットを提唱しており、標準のフォーマットが存在しない。そういったデータの共通項を取り出し、処理可能な形式に変換する。
（パターン３：特殊なデータの読み込み）
血圧や心拍数等、まだあまりデジタルで扱われていないデータは、テキスト等の一般的なデータで記述される場合が多い。それらを読み込み、処理しやすい（例えば整数列などの）データ形式に変換する。
（パターン４：データの取得）
・ＵＲＬから画像を取得する
・ＩＤを入力とし、外部の特定のデータベースからデータを引き出す
【００３１】
また、複数の特徴空間を扱って検索データベース（以下、検索ＤＢ）への登録を行う場合、特徴空間毎にデータを保存すると、同じデータが複数のデータベースに登録されてしまい、冗長である。そこで検索ＤＢとは別に、データを格納し、ＩＤからデータを取り出せるデータベースを用意し、検索ＤＢにはＩＤのみを格納することが考えられる。この際、ユーザがデータと共に任意にＩＤを入力するようにすると、以下のような問題が生じる可能性があり、ユーザ側でケアしなければならない。
・同じデータに対して複数のＩＤを関連付けることが可能であること
・複数のデータに対して同じＩＤを関連付けることが可能であること
・データを一部の検索ＤＢのみに保存する場合、異なる検索ＤＢに保存されているＩＤが同一のデータを指す保証がない（検索結果の比較やまとめができない）
・結果として、ＩＤから元のデータを取り出せる保証がされない
【００３２】
そこで、本実施形態では、情報処理装置１０において、上記前処理の共通化と共に、登録オブジェクトの変換データに複数の特徴抽出器に共通する一意の（ユニークな）ＩＤ（識別情報）を付与すると共に、登録オブジェクトを保存することで上記問題を解決し、複数の特徴空間を扱うシステムの利便性をさらに向上させることを可能とする。
【００３３】
以上説明したように、本実施形態による情報処理システムでは、オブジェクトのモダリティごとに統一的に変換すると共に、複数の特徴空間に共通する一意のＩＤでオブジェクトを管理することで、複数の特徴空間を扱うシステムの利便性をより向上させることを可能とする。
【００３４】
このような本実施形態による情報処理システムに含まれる情報処理装置１０および特徴管理サーバ２０の構成について、以下説明する。
【００３５】
＜＜２．構成＞＞
＜２−１．情報処理装置１０の構成＞
図１に示すように、本実施形態による情報処理装置１０は、制御部１００、通信部１２０、出力部１３０、および記憶部１４０を有する。情報処理装置１０は、例えばユーザに利用されるスマートフォン、タブレット端末、またはＰＣ等のローカル端末である。
【００３６】
（制御部１００）
制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。
【００３７】
また、本実施形態による制御部１００は、特徴空間管理部１０１（Feature  Space  Manager）およびモダリティ管理部１０２（Modality  Manager）としても機能する。
【００３８】
特徴空間管理部１０１は、扱う特徴空間の管理（１以上の特徴管理サーバ２０のＩＤの取得など）や、オブジェクトの登録処理、検索処理等を行う。ここで、図２に、本実施形態による情報処理システムの主な機能ブロック（特徴空間管理部１０１、モダリティ管理部１０２、および特徴管理部２０１）における処理内容の一例を示す。図２に示すように、例えば本実施形態による特徴空間管理部１０１は、下記のような処理を行い得る。
・Get  Manager(space  ID:  string):  Feature  Manager
・Register  Manager(manager:  Feature  Manager)
・Get  Vector(space  ID:  string,  obj:  object,  modality:  string):  vector
・Register  Object(obj:  object,  modality:  string,  space  ID:  string=ANY)
・Search(query:  object,  query  Modality:  string,  target  Modality:  string=ANY):  Search  Result
【００３９】
より具体的には、例えば特徴空間管理部１０１は、登録要求情報が入力された際、登録要求情報に含まれるオブジェクトおよびモダリティをモダリティ管理部１０２に出力し、モダリティ管理部１０２においてモダリティの定義に従って変換された変換データ（entity）およびＩＤを取得し、当該entityおよびＩＤを特徴管理サーバ２０に出力する。この際、特徴空間管理部１０１は、オブジェクトのモダリティに対応する１以上の特徴管理サーバ２０に出力し得る。「モダリティに対応する特徴管理サーバ２０」とは、当該モダリティを扱うことが可能な特徴管理サーバ２０である。特徴空間管理部１０１は、各特徴空間がどのような情報を扱っているかを特徴管理サーバ２０のＩＤ（space  ID:  stringなど）から把握することが可能である。従って、例えば特徴空間管理部１０１は、modality:  "Text"の場合に、各space  IDを参照し、"Text"を扱う特徴空間を管理している特徴管理サーバ２０を特定することが可能となる。若しくは、特徴空間管理部１０１は、全ての特徴管理サーバ２０に出力するようにしてもよい（この場合、特徴管理サーバ２０側で適宜処理可否が判断され得る）。
【００４０】
また、特徴空間管理部１０１は、検索要求情報が入力された際、検索要求に含まれるオブジェクトおよびモダリティをモダリティ管理部１０２に出力し、モダリティ管理部１０２においてモダリティの定義に従って変換された変換データ（entity）を取得し、当該entityを特徴管理サーバ２０に出力する。この際、特徴空間管理部１０１は、オブジェクトのモダリティに対応する１以上の特徴管理サーバ２０に出力し得る。また、特徴空間管理部１０１は、検索要求に検索条件としてspace  IDが含まれていた場合、指定されたspace  IDに対応する特徴管理サーバ２０に出力するようにしてもよい。若しくは、特徴空間管理部１０１は、全ての特徴管理サーバ２０に出力するようにしてもよい（この場合、特徴管理サーバ２０側で適宜処理可否が判断され得る）。
【００４１】
そして、特徴空間管理部１０１は、特徴管理サーバ２０において検索された１以上のＩＤに基づいて、記憶部１４０から対応するオブジェクト（すなわち元のデータ）を取り出し、検索結果として検索要求元に出力する。なお、検索条件には、追加条件としてフィルター情報がさらに含まれていてもよい。フィルター情報としては、例えば、検索ＤＢ（検索対象の特徴空間に相当）の指定や、検索数の指定等が挙げられる。特徴空間管理部１０１は、例えば検索数が指定されている場合、各検索結果の類似度（各検索結果の、検索オブジェクトの変換データ（entity）の特徴量との類似度合いを示す類似度）に基づいて、上位所定数の検索結果を検索要求元に出力するようにしてもよい。
【００４２】
モダリティ管理部１０２は、モダリティの管理を行う。例えば図２にも示すように、モダリティ管理部１０２は下記のような処理を行い得る。
・Get  Modalities():  string[]
・Register  Modality(modality:  string,  definer:  Modality  Definer)
・Create(obj:  object,  modality:  string):  entity
【００４３】
より具体的には、例えばモダリティ管理部１０２は、モダリティの定義（データ）を登録したり、モダリティ定義部１０３により、特徴空間管理部１０１から入力されたオブジェクト（登録オブジェクト）を当該オブジェクトのモダリティの定義に従って所定のデータ形式に変換し、変換データ（entity）を生成したりする。entityは、特徴抽出部２０２に直接渡すことのできる、整形されたデータである。また、モダリティ定義部１０３は、生成したentityに、複数の特徴空間に共通する一意のＩＤを付与し、entityおよびＩＤを、特徴空間管理部１０１に出力する。さらに、モダリティ定義部１０３は、オブジェクト（登録オブジェクト）と、当該登録オブジェクトのentityに付与したＩＤを関連付けて記憶部１４０に記憶する。かかるＩＤは、同じモダリティを扱う複数の特徴空間にまたがって一意な文字列である。また、同じentityに対しては同じ値を返すよう、ハッシュ値等を用いてもよい。
【００４４】
また、モダリティの定義のデータは、入力データ(obj)として受け取れる形式の定義データ（例えば、ファイル名(string)、OpenCVのMat形式）（複数可）と、出力データ(entity)の形式の定義データ（１つのみ）（例えば、char[3][256][256]）とを有する。モダリティの定義データは、例えば、データ形式毎や、上述したパターン毎（形式間の変換、形式の統一、特殊なデータの読み込み等）に存在し、記憶部１４０に記憶されている。モダリティ管理部１０２は、かかるモダリティの定義データを用いて、登録オブジェクト（入力データ）を変換し、変換データ（entity）を出力する。また、モダリティ定義部１０３は、ＩＤに対応するデータを必要に応じて保存するか、保存されていることを確認する機能と、ＩＤに対応するデータを取り出す機能と、ＩＤに対応するデータを削除する機能を有する。モダリティ定義部１０３は、モダリティ毎に存在する。
【００４５】
（入力部１１０）
入力部１１０は、ユーザによる操作指示を受け付ける操作入力部や、ユーザのよる音声指示を受け付ける音声入力部など、ユーザによる指示内容を受け付ける機能を有し、その指示内容を制御部１００に出力する。操作入力部は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、入力部１１０は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
【００４６】
（通信部１２０）
通信部１２０は、有線または無線により外部装置と接続し、外部装置とデータの送受信を行う。例えば通信部１２０は、有線／無線ＬＡＮ（Local  Area  Network）、またはＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ：Long  Term  Evolution、３Ｇ（第３世代の移動体通信方式））等により、ネットワーク（不図示）に接続し、ネットワークを介して特徴管理サーバ２０とデータの送受信を行い得る。
【００４７】
（出力部１３０）
出力部１３０は、表示部および音声出力部等、ユーザへの情報提示（出力）を行う機能を有する。例えば出力部１３０は、制御部１００の制御に従って、検索画面を出力したり、検索結果を出力したりする。
【００４８】
（記憶部１４０）
記憶部１４０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）により実現される。
【００４９】
例えば、記憶部１４０には、特徴空間の管理情報、モダリティの定義情報、および、一意のＩＤが付与されたオブジェクト（実体データ）が格納される。
【００５０】
以上、本実施形態による情報処理装置１０の構成について具体的に説明した。なお情報処理装置１０の構成は、図１に示す例に限定されない。例えば、情報処理装置１０の制御部１００による各処理を複数の装置で実行するようにしてもよいし、ネットワーク上のサーバで実行するようにしてもよい。
【００５１】
＜２−２．特徴管理サーバ２０の構成＞
図２に示すように、特徴管理サーバ２０は、制御部２００、通信部２１０、および特徴量データベース２２０を有する。なお、本実施形態において、特徴管理サーバ２０は１の特徴抽出部２０２を有するため、各特徴管理サーバ２０はそれぞれ１の特徴空間を管理していると言えるが、本開示は、これに限定されず、例えば特徴管理サーバ２０が複数の特徴抽出部２０２を有していれば、複数の特徴空間を管理することも可能である。
【００５２】
（制御部２００）
制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従って特徴管理サーバ２０内の動作全般を制御する。制御部２００は、例えばＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。
【００５３】
また、本実施形態による制御部２００は、特徴管理部２０１としても機能する。特徴管理部２０１は、情報処理装置１０から送信されたentityに対し、特徴抽出部２０２により特徴抽出（例えば、Ｎ次元ベクトルへの代替処理）を行い、抽出した特徴量を、当該entityのＩＤに関連付けて、特徴量データベース２２０へ登録する処理を行う。特徴量抽出のアルゴリズムは既存の技術を用いることが可能であり、ここでは特に限定しない。また、特徴抽出部２０２は、異なるモダリティを統一的に扱うことが可能である。特徴抽出部２０２で抽出した特徴量は、特徴量データベース２２０に登録されるが、ここで、特徴量データベース２２０は、モダリティ毎に存在する。特徴管理部２０１は、特徴抽出部２０２で抽出した特徴量を、元データ（情報処理装置１０から送信されたentity）のモダリティに対応する特徴量データベース２２０に、上記ＩＤと関連付けて登録する。例えば、色特徴という視点で異なるモダリティ（例えば手書き（Strokes）と画像（Image）等）から特徴量を抽出することができる特徴抽出部２０２ａ（色特徴の特徴空間ａ）が存在したとする。この場合、特徴抽出部２０２ａにより抽出された特徴量は、手書きデータから抽出した場合は手書きデータに対応する特徴量データベース２２０−１に格納され、画像データから抽出した場合は画像データに対応する特徴量データベース２２０−２に格納される。
【００５４】
また、特徴管理部２０１は、特徴空間管理部１０１からの要求に応じて、特徴空間を用いた検索処理（類似検索）を行うことも可能である。特徴量データベース２２０はモダリティ毎に存在するため、特徴管理部２０１は、ターゲットモダリティ（検索対象のモダリティ）に対応する特徴量データベース２２０を用いて類似検索を行えばよい。例えば特徴管理部２０１は、図２に示すように、下記のような処理を行い得る。
・Get  Space  ID():  string
・Register  Database(modality:  string,  database:  Feature  Database)
・Get  Vector(entity:  object,  modality:  string):  vector
・Add(id:  string,  entity:  object,  modality:  string)
・Most  Similar(query:  object,  modality:  string,  target  Modality:  string):  Search  Result[]
【００５５】
（通信部２１０）
通信部２１０は、有線または無線により外部装置と接続し、外部装置とデータの送受信を行う。例えば通信部２１０は、有線／無線ＬＡＮ（Local  Area  Network）、またはＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ：Long  Term  Evolution、３Ｇ（第３世代の移動体通信方式））等により、ネットワーク（不図示）に接続し、ネットワークを介して情報処理装置１０とデータの送受信を行い得る。
【００５６】
（特徴量データベース２２０）
特徴量データベース２２０は、特徴抽出部２０２により抽出された特徴量を蓄積する。各特徴量には、モダリティ管理部１０２により付与された一意のＩＤが関連付けられる。特徴量データベース２２０は、上述したように、モダリティ毎に存在する。
【００５７】
また、特徴量データベース２２０は、特徴管理サーバ２０が有する記憶部（不図示）に記憶される。特徴管理サーバ２０の記憶部は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、および適宜変化するパラメータ等を一時記憶するＲＡＭにより実現される。
【００５８】
以上、本実施形態による特徴管理サーバ２０の構成について具体的に説明した。なお図１に示す特徴管理サーバ２０の構成は一例であって、本実施形態はこれに限定されない。例えば特徴管理サーバ２０の少なくとも一部の構成が外部装置にあってもよい。
【００５９】
ここで、図３に、本実施例による情報処理システムの他の構成例の一例を示す。図３に示すように、例えば特徴抽出部２４０と特徴量データベース２５０を別のサーバ（特徴管理サーバ２４およびデータベースサーバ２５）でそれぞれ管理するようにしてもよい。
【００６０】
＜＜３．動作処理＞＞
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
【００６１】
＜３−１．登録処理＞
図４は、本実施形態による情報処理システムにおけるオブジェクトの登録処理の流れの一例を示すシーケンス図である。
【００６２】
図４に示すように、まず、情報処理装置１０の特徴空間管理部１０１は、ユーザの操作入力等に基づいて登録要求を取得すると（ステップＳ１０３）、登録要求に含まれるオブジェクト（obj）と当該オブジェクトのモダリティ（mdl）の情報と共に、モダリティ管理部１０２に対して、（変換データ（entity）の）生成依頼を行う（ステップＳ１０６）。
【００６３】
次に、モダリティ管理部１０２は、モダリティ定義部１０３により、変換データ（entity）の生成、一意のＩＤの付与、およびobjと一意のＩＤの保存処理を行う（ステップＳ１０９）。具体的には、モダリティ定義部１０３は、モダリティの定義に従って、オブジェクトを所定の形式のデータに変換する処理（共通化した前処理）を行う。処理の具体例として、例えば以下のような例が挙げられる。
・静止画の場合：ＪＰＥＧデータをchar[3][256][256]（多次元配列）に変換し、平滑化処理を実施する。
・音声の場合：mp3データをshort型の任意長配列として読み取る。
・テキストの場合：ＨＴＭＬタグを除去し、全ての大文字を小文字に変換する（形式は変換しない）。
・手書きの場合：点列データを読み取り、char[3][256][256]の黒画像に太さ３の白線で描画する。
【００６４】
次いで、特徴空間管理部１０１は、モダリティ管理部１０２から、少なくともＩＤおよびentityを取得する（ステップＳ１１２）。また、モダリティ管理部１０２からは、IDとobjを保存した旨が通知されてもよい。
【００６５】
次に、特徴空間管理部１０１は、取得したＩＤおよびentityに基づいて、対応する全ての特徴空間（Feature  Space）に対してデータの追加（登録）要求を出力する（ステップＳ１１５）。追加要求には、ＩＤ、entity、モダリティ（mdl）が含まれる。対応する特徴空間とは、当該entityのモダリティを扱い得る特徴空間（特徴管理サーバ２０）である。なお、当該entityのモダリティを扱い得る特徴空間が複数ある場合は、特徴空間毎に、ステップＳ１１５〜Ｓ１２１に示す処理を繰り返す。
【００６６】
次いで、特徴管理部２０１は、特徴抽出部２０２により、特徴量の抽出を行う（ステップＳ１１８）。
【００６７】
そして、特徴管理部２０１は、抽出された特徴量を、上記取得した一意のＩＤと共に、特徴量データベース２２０に追加（登録）する（ステップＳ１２１）。この際、特徴管理部２０１は、抽出元のentityのモダリティに対応する特徴量データベース２２０に登録する。
【００６８】
以上、本実施形態による登録処理について具体的に説明した。このように各特徴空間にデータを入力する前に、モダリティ管理部１０２において、モダリティ毎に所定の変換処理を行うことで、同じデータを特徴抽出器毎に異なるプロセスでそれぞれ前処理を行うといった手間が省け、複数の特徴空間を扱うシステムの利便性を向上させることができる。また、モダリティ管理部１０２と特徴抽出部２０２を個別に管理することで、各機能の責任が軽くなる（例えばエラー時の原因を特定し易くなる）。
【００６９】
また、例えば、ＩＤと特徴ベクトルを保管できる一般的なデータベースを提供すれば、特徴抽出器のみの開発で検索システムが完成し、システムの可用性も上がる。また、検索ＤＢ（すなわち、特徴量データベース２２０）では、ＩＤと特徴量のみ登録し、元データ（データの実体）はモダリティ定義部１０３により別で管理するため、同じデータを複数のデータベースに登録して冗長となることを回避することができる。また、複数の特徴空間にまたがって一意なＩＤを同じデータに付与することで、同じデータに対して複数のＩＤを関連付けてしまうことや、複数のデータに対して同じＩＤを関連付けてしまうこと等を回避することができる。
【００７０】
また、特徴管理部２０１は、モダリティ管理部１０２で元データが保存されている場合のみ特徴量データベース２２０に登録するようにしてもよい。これにより、後述する検索結果取得の際に特徴空間管理部１０１がＩＤから元のデータを取り出せる保証がなされる。
【００７１】
また、所定のデータ形式への前処理が別で管理されるため、特徴空間（検索ＤＢシステム）の開発側としては、入力形式を気にすることなく特徴抽出部２０２の開発を行うことができる。
【００７２】
また、本実施形態による登録処理は、図４に示す例に限定されない。例えば、上記ステップＳ１１５では、モダリティに対応する特徴空間（特徴管理サーバ２０）に追加指示を行う旨を説明したが、本実施形態はこれに限定されず、特徴空間管理部１０１は、全ての特徴空間（特徴管理サーバ２０）に追加指示を行ってもよい。この場合、特徴空間（特徴管理サーバ２０）側で、モダリティに基づき、処理可能なentityであるか否かを判断し得る。
【００７３】
＜３−２．検索処理＞
続いて、上述したように特徴空間を構築する本実施形態による情報処理システムにおける検索処理について、図５を参照して説明する。図５は、本実施形態による情報処理システムにおける検索処理の流れの一例を示すシーケンス図である。
【００７４】
図５に示すように、まず、情報処理装置１０の特徴空間管理部１０１は、ユーザの操作入力等に基づいて検索要求を取得する（ステップＳ１３３）。検索要求には、オブジェクト（obj）と、当該オブジェクトのモダリティ（mdl1）と、検索対象のモダリティを示すターゲットモダリティ（mdl2）とが含まれる。
【００７５】
次いで、特徴空間管理部１０１は、検索要求に含まれるオブジェクト（obj）と当該オブジェクトのモダリティ（mdl1）の情報と共に、モダリティ管理部１０２に対して、（変換データ（entity）の）生成依頼を行う（ステップＳ１３６）。
【００７６】
次に、モダリティ管理部１０２は、モダリティ定義部１０３により、変換データ（entity）の生成、および一意のＩＤの付与を行う（ステップＳ１３９）。具体的には、モダリティ定義部１０３は、モダリティの定義に従って、オブジェクトを所定の形式のデータに変換する処理（共通化した前処理）を行う。
【００７７】
次いで、特徴空間管理部１０１は、モダリティ管理部１０２から、ＩＤおよびentityを取得する（ステップＳ１４２）。
【００７８】
次に、特徴空間管理部１０１は、取得したentityに基づいて、対応する全ての特徴空間（Feature  Space）に対して検索要求を出力する（ステップＳ１４５）。検索要求には、entity、mdl1（元データのモダリティ）、mdl2（ターゲットモダリティ）が含まれる。対応する特徴空間とは、mdl1およびmdl2を扱い得る特徴空間（特徴管理サーバ２０）である。なお、mdl1およびmdl2を扱い得る特徴空間が複数ある場合は、特徴空間毎に、ステップＳ１４５〜Ｓ１５７に示す処理を繰り返す。
【００７９】
次いで、特徴管理部２０１は、特徴抽出部２０２により、特徴量の抽出を行う（ステップＳ１４８）。
【００８０】
続いて、特徴管理部２０１は、抽出された特徴量に基づいて、特徴量データベース２２０から、類似している特徴量の検索を行う（ステップＳ１５１）。この際、特徴管理部２０１は、要求されたターゲットモダリティ（mdl2）に対応する特徴量データベース２２０から検索する。特徴量データベース２２０では、特徴量に、上記一意のＩＤが関連付けられており、特徴管理部２０１は、検索要求されたentityの特徴量と類似する特徴量を特徴量データベース２２０から検索し、類似する特徴量に関連付けられたＩＤと、当該特徴量の類似度：sim（検索要求されたentityの特徴量との類似度であって、例えばＮ次元ベクトルの距離）を取得する。なお、ターゲットモダリティ（mdl2）が複数ある場合は、特徴量データベース２２０毎に、ステップＳ１５１〜Ｓ１５４に示す処理を繰り返す。
【００８１】
次に、特徴空間管理部１０１は、特徴管理部２０１から、検索結果（検索した特徴量のＩＤ、検索したモダリティ：mdl、および検索した特徴量の類似度：sim）を取得する（ステップＳ１５７）。検索結果には、複数のID、mdl、およびsimが含まれていてもよい。検索結果として単数が求められている場合、特徴空間管理部１０１は、例えば類似度が最も高い特徴量のＩＤを特定する。検索結果として所定数が求められている場合、特徴空間管理部１０１は、例えば類似度に基づいて上位所定数の特徴量のＩＤを特定する。
【００８２】
次いで、特徴空間管理部１０１は、特定したＩＤおよび対応するモダリティの情報と共に、モダリティ管理部１０２に対して元データの要求を行う（ステップＳ１６０）。
【００８３】
次に、モダリティ管理部１０２は、モダリティ定義部１０３により、ＩＤに関連付けられた元データ（すなわち、オブジェクト）を取得し（ステップＳ１６３）、特徴空間管理部１０１に出力する（ステップＳ１６６）。かかるステップＳ１６０〜Ｓ１６６に示す処理は、出力する検索結果数分行い得る。元データの取得ができなかった場合、特徴空間管理部１０１は、レコード（ID,mdl,sim）の削除を行う。
【００８４】
そして、特徴空間管理部１０１は、検索結果（オブジェクト、モダリティ、および類似度）を、検索要求元に出力する（ステップＳ１６９）。例えば特徴空間管理部１０１は、検索結果を示す画面を、出力部１３０で表示し、ユーザに提示してもよい。
【００８５】
以上、本実施形態による検索処理について具体的に説明した。このように、本実施形態により構築した特徴空間を、異なるモダリティを扱う複数の特徴空間における横断的な検索に利用することができる。
【００８６】
上記最後の例に示したように、検索に用いる特徴空間（検索ＤＢ）を特定してもよい。特定した特徴空間は、space  IDとして、上記ステップＳ１１３の検索要求に含まれる。例えば、「○○社が作成した検索ＤＢを利用したい」、「○○検索サイトを利用したい」等が想定される。
【００８７】
ここで、図６に、本実施形態における検索画面の一例を示す。図６に示す検索画面３０は、例えば出力部１３０で提示される。ユーザは、検索オブジェクト３０１を入力し、検索対象を選択し（モダリティに相当。例えば、「写真」、「イラスト」、「書類」等）、何が似ているものを検索したいのかその特徴量を選択し（例えば、「形」、「色」、「意味」等であって、各特徴空間に相当する。例えば、形の特徴に基づいて構築された特徴空間、色の特徴に基づいて構築された特徴空間等である）、検索ボタン３０２を選択すると、検索結果として取得された検索オブジェクト３０１に似ているオブジェクトが提示される。例えば検索対象として「イラスト」を選択し、特徴量として「形」（space  ID1）、「色」（space  ID2）、および「意味」（space  ID3）を選択した場合、検索結果として、検索オブジェクト３０１と、形、色、および／または意味が似ているイラストが取得され（例えば、形の特徴に基づいて構築された特徴空間を扱う特徴管理サーバ２０が保有する「モダリティ：イラスト」の特徴量データベース２２０から検索され）、提示される。特徴量の検索条件のand/orはユーザが任意に選択できるようにしてもよいし、orをデフォルトにしてもよい。
【００８８】
＜＜４．応用例＞＞
続いて、本実施形態による情報処理システムの応用例について説明する。
【００８９】
＜４−１．第１の応用例：モダリティの包含関係の定義＞
まず、第１の応用例として、モダリティの包含関係の定義について説明する。本実施形態によるモダリティ定義部１０３は、モダリティ同士に親子関係（包含関係）を定義してもよい。具体例として下記が挙げられる。
【００９０】
・モダリティ「ＲＧＢ画像」は、モダリティ「グレースケール画像」を子として持つ
・モダリティ「メール」は、モダリティ「テキスト」、「ユーザ」、「日付」を子として持つ
【００９１】
本応用例によれば、新規にモダリティを定義する際、子モダリティを定義すれば、容易に既存の特徴空間に組込むことができる。また、新しいモダリティに対しても、複数の特徴抽出器（特徴空間、特徴抽出部２０２）を組み合わせることによって特徴抽出を行うことが可能となる。
【００９２】
例えば、既存モダリティを含むモダリティを定義するユースケースが想定される。より具体的には、“テキスト”というモダリティが既に存在し、“テキスト”を扱う特徴空間Ａ（特徴抽出部２０２Ａ）があるとする。ここに、テキスト（本文）とユーザ（送信者）を含む“メール”というモダリティと、“メール”を扱える特徴空間Ｂ（特徴抽出部２０２Ｂ）を追加した場合を想定する。この場合、第１の効果として、「同時に複数の特徴空間に登録できる」ということが挙げられる。すなわち、メールからはテキストが取得できるため、同じＩＤとオブジェクトのペアで、特徴空間Ｂだけでなく、特徴空間Ａにも登録できる。すなわち、特徴空間Ａには、テキストだけに着目した場合の特徴量が、特徴空間Ｂには、テキストとユーザに着目した場合の特徴量が格納される。また、他のテキストと横断的に検索が可能となる（この場合、ＩＤは、同じモダリティだけではなく、全てのモダリティにまたがって一意なＩＤを付与する必要がある）。
【００９３】
また、第２の効果として、「既存の特徴抽出器（特徴抽出部２０２）を再利用することで、容易に新規の特徴抽出器（特徴抽出部２０２）を構築できる」ということが挙げられる。すなわち、特徴空間Ｂは、特徴空間Ａを利用してテキストの特徴抽出を行うことができるため、特徴空間Ｂではユーザの特徴抽出のみを行えばよく、実装が容易となる。また、既存の特徴抽出器をモジュール化して利用することも可能である。図７は、特徴抽出器のモジュール化について説明する図である。
【００９４】
図７左に示すように、例えばメールの特徴抽出を行う際には、メールと包含関係が定義されている文章、およびユーザといったモダリティをそれぞれ扱うことが可能な各特徴抽出器を用いて各モダリティの特徴量を抽出することで、図７右に示すように、文章特徴量（内容）、およびユーザ特徴量（送信者）を含むメール特徴量を取得することが可能となる。
【００９５】
以下、本応用例における登録処理と検索処理について、図８および図９を参照してそれぞれ順次説明する。
【００９６】
（モダリティの包含関係の定義を考慮した登録処理）
図８は、本実施形態による第１の応用例の登録処理の一例を示すシーケンス図である。
【００９７】
図８に示すように、まず、情報処理装置１０の特徴空間管理部１０１は、ユーザの操作入力等に基づいて登録要求を取得すると（ステップＳ２０３）、登録要求に含まれるオブジェクト（obj）と当該オブジェクトのモダリティ（mdl）の情報（例えば、「Mail」）と共に、モダリティ管理部１０２に対して、（entityの）生成依頼を行う（ステップＳ２０６）。
【００９８】
次に、モダリティ管理部１０２は、モダリティ定義部１０３により、変換データ（entity）の生成、一意のＩＤの付与、およびobjと一意のＩＤの保存処理を行うと共に、objのモダリティと包含関係を有するモダリティ（sub  mdl）の定義に基づいて、sub  entityの生成を行う（ステップＳ２０９）。例えばオブジェクトのモダリティが「Mail」であって、これと包含関係を有するモダリティ（sub  mdl）が「Text」の場合、モダリティ定義部１０３は、「Text」の定義に従って、メールデータ（obj）のうちテキストのデータを所定のデータ形式に変換し、sub  entityとして生成する処理を行う。
【００９９】
次いで、特徴空間管理部１０１は、モダリティ管理部１０２から、少なくともＩＤ、entity、およびsub  entityを取得する（ステップＳ２１２）。また、モダリティ管理部１０２からは、IDとobjを保存した旨が通知されてもよい。
【０１００】
次に、特徴空間管理部１０１は、取得したＩＤおよびentity（例えばMail  Entity）に基づいて、対応する全ての特徴空間（例えば特徴空間Ｂ）に対してデータの追加（登録）要求を出力する（ステップＳ２１５）。続くステップＳ２１８〜Ｓ２２１に示す特徴量の抽出に関する処理については、図４に示すステップＳ１１８〜Ｓ１２１と同様であるため、詳細な説明は省略するが、例えばメールを扱う特徴空間Ｂには、メールの特徴量（Mail  Vector）を登録するが、この際、メールの特徴量のうち、テキスト（Text  Vector）については、次に説明するテキストを扱う特徴空間ＡのGet  Vector（ステップＳ２２７）を利用するようにしてもよい。
【０１０１】
特徴空間管理部１０１は、同ＩＤおよびsub  entity（例えばText  Entity）について、対応する全ての特徴空間（例えば特徴空間Ａ）に対してデータの追加（登録）要求を出力する（ステップＳ２２４〜２３０）。特徴空間Ａは、テキストのみに対応した特徴空間であり、Text  Entityから抽出したテキストの特徴量（Text  Vector）が登録される。
【０１０２】
このように、本変形例では、特徴量の抽出において、包含関係を有する特徴空間を利用することができると共に、当該特徴空間にも特徴量を登録することが可能となる。
【０１０３】
（モダリティの包含関係の定義を考慮した検索処理）
続いて、本変形例による検索処理について図９を参照して説明する。図９は、本実施形態による第１の応用例の検索処理の一例を示すシーケンス図である。
【０１０４】
図９に示すように、まず、情報処理装置１０の特徴空間管理部１０１は、ユーザの操作入力等に基づいて検索要求を取得する（ステップＳ２４３）。検索要求には、オブジェクト（obj）と、当該オブジェクトのモダリティ（mdl1）と、検索対象のモダリティを示すターゲットモダリティ（mdl2）とが含まれる。ここでは、例えばmdl1＝Mail、mdl2=Textとする。
【０１０５】
次いで、特徴空間管理部１０１は、検索要求に含まれるオブジェクト（obj）と当該オブジェクトのモダリティ（mdl1）の情報と共に、モダリティ管理部１０２に対して、（entityの）生成依頼を行う（ステップＳ２４６）。
【０１０６】
次に、モダリティ管理部１０２は、モダリティ定義部１０３により、変換データ（entity）の生成、および一意のＩＤの付与を行うと共に、objのモダリティと包含関係を有するモダリティ（sub  mdl）の定義に基づいて、sub  entityの生成を行う（ステップＳ２４９）。例えばオブジェクトのモダリティが「Mail」であって、これと包含関係を有するモダリティ（sub  mdl）が「Text」の場合、モダリティ定義部１０３は、「Text」の定義に従って、メールデータ（obj）のうちテキストのデータを所定のデータ形式に変換し、sub  entityとして生成する処理を行う。
【０１０７】
次いで、特徴空間管理部１０１は、モダリティ管理部１０２から、ＩＤ、entity、およびsub  entityを取得する（ステップＳ２５２）。
【０１０８】
次に、特徴空間管理部１０１は、取得したentity（例えばMail  Entity）に基づいて、対応する全ての特徴空間（Feature  Space）に対して検索要求を出力する（ステップＳ２５５）。検索要求には、entity、mdl1（元データのモダリティ、例えばMail）、mdl2（ターゲットモダリティ、例えばText）が含まれる。対応する特徴空間とは、mdl1およびmdl2を扱い得る特徴空間（例えば、メールとテキスト双方に対応した特徴空間）である。
【０１０９】
続くステップＳ２５８〜Ｓ２６７に示す特徴量の抽出に関する処理については、図５に示すステップＳ１４８〜Ｓ１５７と同様であるため、詳細な説明は省略する。ここで、対応する特徴空間が存在しない場合も想定される。例えば、メールを扱う特徴空間Ｂと、テキストを扱う特徴空間Ａが存在する場合、いずれも上記メールとテキストの双方を扱う特徴空間ではないため、検索結果は返されないが、次に説明するsub  mdlを用いた場合には、特徴空間Ａから検索結果が返され得る。
【０１１０】
特徴空間管理部１０１は、同ＩＤおよびsub  entity（例えばText  Entity）に基づいて、対応する全ての特徴空間（Feature  Space）に対して検索要求を出力する（ステップＳ２７０）。検索要求には、sub  entity（例えばText  Entity）、mdl1（sub  mdl、例えばText）、mdl2（ターゲットモダリティ、例えばText）が含まれる。対応する特徴空間とは、mdl1およびmdl2を扱い得る特徴空間、ここではmdl1およびmdl2が同じ「Text」であるため、テキストに対応した特徴空間Ａが相当する。特徴空間Ａにおいて検索が行われ（ステップＳ２７３〜Ｓ２７９）、特徴空間管理部１０１は、特徴管理部２０１から、検索結果を取得する（ステップＳ２８２）。
【０１１１】
続いて、特徴空間管理部１０１は、上述した図５に示すステップＳ１６０〜Ｓ１６９と同様に、取得したＩＤおよび対応するモダリティ（例えば、Text）と共に、モダリティ管理部１０２に対して元データの要求を行い（ステップＳ２８５）、モダリティ定義部１０３によりＩＤに基づいて取得されたオブジェクトが（ステップＳ２８８）、モダリティ管理部１０２から特徴空間管理部１０１に出力される（ステップＳ２９１）。
【０１１２】
そして、特徴空間管理部１０１は、検索結果（オブジェクト、モダリティ、および類似度）を、検索要求元に出力する（ステップＳ２９４）。
【０１１３】
以上、本応用例によるモダリティの包含関係を考慮した検索処理について具体的に説明した。
【０１１４】
＜４−２．第２の応用例：検索結果のマージ＞
次に、第２の応用例として、検索結果のマージについて説明する。特徴空間管理部１０１は、各特徴抽出器からの検索結果の類似度と重み付けに基づいて、検索結果を再評価した上で、検索要求元に最終的な検索結果を出力することが可能である。重み付けとは、例えば特徴空間の重み付けである。かかる重み付けは、検索要求元（例えばユーザ）が任意に設定することも可能である。
【０１１５】
図１０は、本応用例における検索画面の一例を示す図である。図１０に示すように、検索画面３２には、検索オブジェクト３２１と、検索対象の選択領域３２２と、何が似ているものを検索したいのかその特徴量を選択する領域３２３と、検索ボタン３２６が表示されている。特徴量を選択する領域３２３では、スライドバー３２４を操作して、選択した特徴量の重み付けを設定することが可能である。例えば、「形特徴」と「色特徴」のうち「色特徴」を優先したい場合は、スライドバー３２４の操作部３２５を「色特徴」の方に動かす。これにより、例えばシステム側で、以下のように重み付け（w）を設定する。ここで、色の特徴空間：space1、形の特徴空間：space2とする。
w(  weights)＝{  space1:  0.8,  space2:  0.2}
【０１１６】
この場合、図１０に示すように、「色特徴」を優先した検索結果（色が似ているイラストが優先された検索結果）が表示される。
【０１１７】
なお、特徴空間の重み付けの設定は、図１０に示す例に限定されず、例えば検索結果からユーザが選択したものに基づいて重み付けを設定し、再度検索結果を提示するようにしてもよい。図１１に一例を示す。例えば、図１１の検索画面３４に提示された検索結果のうち、イラスト３４１が選択されると、システムは、イラスト３４１が、ユーザの意図に近い結果であったとして、イラスト３４１を検索結果として出力した特徴空間（特徴抽出器、すなわち特徴抽出部２０２）を優先するよう重み付けを設定し、再度検索結果を提示するようにしてもよい。
【０１１８】
（動作処理）
次に、本応用例の動作処理について図１２を参照して説明する。図１２は、第２の応用例の検索処理の一例を示すシーケンス図である。
【０１１９】
図１２に示すように、まず、情報処理装置１０の特徴空間管理部１０１は、ユーザの操作入力等に基づいて検索要求を取得する（ステップＳ３０３）。検索要求には、オブジェクト（obj）と、当該オブジェクトのモダリティ（mdl1）と、検索対象のモダリティを示すターゲットモダリティ（mdl2）と、特徴空間の重み付け（ｗ）が含まれる。
【０１２０】
続くステップＳ３１５〜Ｓ３２１では、上述した図５のステップＳ１４５〜１５７に示す処理と同様の検索処理が行われるため、ここでの詳細な説明は省略する。なお、ステップＳ３１８では、図５のステップＳ１４８〜Ｓ１５４に示す処理と同様の処理が行われるが、詳細な図示は省略している。
【０１２１】
次に、特徴空間管理部１０１は、検索結果の類似度と重み付けに応じて、検索結果の順位付け（再評価）を行う（ステップＳ３２４）。具体的には、例えば特徴空間管理部１０１は、検索結果の類似度と、当該検索結果を出力した特徴空間（特徴抽出器、すなわち特徴抽出部２０２）の重みとを乗算し、新たな類似度を算出した上で、再評価を行い得る。下記表１に、再評価の一例を示す。ここで、w  (weights)= {space1:  0.8,  space2:  0.2}とする。
【０１２２】
【表１】
2019176398.tif 000003
【０１２３】
上記表１に示すように、例えば検索結果であるオブジェクトＡが、第１の特徴空間(space1)から検索された際の類似度（sim(space1)：0.9）に第１の特徴空間の重み（space1:0.8）を乗算した値と、第２の特徴空間(space2)から検索された際の類似度（sim(space2)：0.3）に第２の特徴空間の重み（space2:0.2）を乗算した値とを加算した値（sim(new)：0.78）が、新たな類似度として算出される。同じデータに関連付くＩＤが複数の特徴空間に登録されている場合も考えられるためである。また、検索結果が１つの特徴空間からのみ検索された場合も想定される。この場合、上記表１のオブジェクトＣの例のように、例えばオブジェクトＣが、第２の特徴空間(space2)から検索された際の類似度（sim(space2)：0.9）に第２の特徴空間の重み（space2:0.2）を乗算した値（sim(new)：0.18）が、新たな類似度として算出される。
【０１２４】
特徴空間管理部１０１は、新たな類似度に基づいて、例えば上位所定数の検索結果（ＩＤ）を特定する。
【０１２５】
次いで、特徴空間管理部１０１は、上述した図５に示すステップＳ１６０〜Ｓ１６９と同様に、特定したＩＤおよび対応するモダリティと共に、モダリティ管理部１０２に対して元データの要求を行い（ステップＳ３２７）、モダリティ定義部１０３によりＩＤに基づいて取得されたオブジェクトが（ステップＳ３３０）、モダリティ管理部１０２から特徴空間管理部１０１に出力される（ステップＳ３３３）。
【０１２６】
そして、特徴空間管理部１０１は、検索結果（オブジェクト、モダリティ、および類似度）を、検索要求元に出力する（ステップＳ３３６）。
【０１２７】
以上、本応用例による検索結果のマージについて具体的に説明した。
【０１２８】
＜４−３．第３の応用例：サジェストシステム＞
次に、第３の応用例として、サジェストシステムについて図１３〜図１５を参照して説明する。サジェストシステムは、複数のアプリケーションが動作するシステム上で用いることで、各アプリケーションにおけるユーザの操作情報（閲覧しているコンテンツや、操作しているコンテンツ等）に基づいて、状況に合ったコンテンツを検索し、ユーザに提案することを可能とする。
【０１２９】
例えば、ユーザが色々なアプリケーションを用いて旅行計画を立てている場合を想定する。ユーザが、Ｗｅｂブラウザで観光地を探し、地図アプリで現地の地図を検索し、さらにノートアプリに計画をまとめている場合、サジェストシステムは、これらの複数アプリケーションの利用状況に応じて、需要に合ったコンテンツ（Ｗｅｂページやテキスト、画像など）を提案することが可能となる。
【０１３０】
（構成例）
図１３は、本システムの構成の一例を示す機能ブロック図である。図１３に示すように、例えばサジェストシステムは、情報処理装置１０ｘにより実現され得る。情報処理装置１０ｘは、１以上のアプリ１０５と、情報収集部１０６と、サジェスト部１０７と、特徴空間管理部１０１ｘと、モダリティ管理部１０２ｘと、として機能する。これらは、情報処理装置１０の制御部１００により実施され得る。
【０１３１】
アプリ１０５は、Ｗｅｂブラウザ、地図アプリケーション、ノートアプリケーション等の、各種アプリケーションプログラムである。
【０１３２】
情報収集部１０６は、各アプリ１０５の動作を監視し、各アプリ１０５におけるユーザ操作情報（すなわちアプリケーションの利用状況）を収集、蓄積する機能を有する。また、情報収集部１０６には、ＯＳ（Operating  System）を利用してもよい。
【０１３３】
サジェスト部１０７は、情報収集部１０６により収集された操作情報に基づいて検索要求を生成し、特徴空間管理部１０１ｘに対して検索要求を行う。例えばサジェスト部１０７は、情報収集部１０６から各アプリ１０５から取得した閲覧中／編集中のコンテンツのモダリティ(mdl1)と内容(obj)、および必要なコンテンツのモダリティ(mdl2)の要求に基づいて、検索要求を生成し得る。各アプリ１０５から取得されるコンテンツのモダリティと必要なコンテンツのモダリティの要求は、例えば以下のような例が想定される。
・Ｗｅｂブラウザ…閲覧：Ｗｅｂページ、要求：Ｗｅｂページ
・地図アプリ…閲覧：住所、要求：なし
・ノートアプリ…編集：テキスト／画像、要求：テキスト／画像
【０１３４】
特徴空間管理部１０１ｘは、サジェスト部１０７からの要求に応じて、１以上の特徴空間を用いた検索処理を行う。検索処理は、上述した実施形態と同様であり、まず特徴空間管理部１０１ｘがモダリティ管理部１０２ｘによりobjを変換処理したentityを取得し、entity、mdl1（例えばＷｅｂページ、住所、テキスト）、およびmdl2（例えばＷｅｂページ、画像）に基づいて、特徴管理サーバ２０に対して検索要求を行う。そして、特徴空間管理部１０１ｘは、検索結果をサジェスト部１０７に出力する。
【０１３５】
モダリティ管理部１０２ｘは、図１を参照して説明したモダリティ管理部１０２と同様の機能を有し、モダリティ定義部１０３により、objを、mdl1のモダリティの定義に従って所定のデータ形式に変換する処理を行い、生成したentityを特徴空間管理部１０１ｘに出力する。
【０１３６】
以上、本応用例によるサジェストシステムを実行する情報処理装置１０ｘの構成の一例について具体的に説明した。
【０１３７】
（動作処理）
続いて、本応用例によるサジェストシステムの動作処理について図１４を参照して説明する。図１４は、本応用例のサジェストシステムにおける検索処理の流れの一例を示すシーケンス図である。
【０１３８】
図１４に示すように、まず、１以上のアプリ１０５は、ユーザにより操作が行われると（ステップＳ４０３）、扱っているコンテンツの送信(post；obj,mdl1)と、必要なコンテンツの要求(request；mdl2)を、情報収集部１０６に対して行う（ステップＳ４０６）。postの一例としては、例えば、「金閣寺」のＷｅｂページ、「京都市北区・・・１−２−３」という住所、および旅行関連のテキスト等が挙げられる。また、requestとしては、例えば、Ｗｅｂページ、画像が挙げられる。
【０１３９】
次いで、情報収集部１０６は、収集した情報（post、request）を、サジェスト部１０７に出力する（ステップＳ４１２）。
【０１４０】
次に、サジェスト部１０７は、特徴空間管理部１０１ｘに対し、検索要求を行う（ステップＳ４１５）。検索要求には、postに含まれるコンテンツがobj、そのモダリティがmdl1、また、requestに含まれるコンテンツのモダリティがmdl2として含まれる。
【０１４１】
次いで、特徴空間管理部１０１ｘにおいて検索処理が実行される（ステップＳ４１８）。ステップＳ４１８では、図５のステップＳ１３６〜Ｓ１６６と同様の処理（objとmdl1からentityの生成、entityとmdl1とmdl2に基づく検索、検索結果のIDからオブジェクトの取得）が行われるが、ここでの詳細な説明は省略する。
【０１４２】
次に、サジェスト部１０７は、特徴空間管理部１０１ｘから検索結果を取得する（ステップＳ４２１）。
【０１４３】
次いで、サジェスト部１０７は、検索結果の類似度と重み付け（Ｗ）に応じて、検索結果の順位付け（再評価）を行ってもよい（ステップＳ４２４）。例えば、サジェスト部１０７は、入出力毎に下記表２のような重みを設定しておき、類似度に掛け合わせてランキングしてもよい。なお、本応用例において、かかる再評価はスキップされてもよい。
【０１４４】
【表２】
2019176398.tif 000004
【０１４５】
そして、サジェスト部１０７は、検索結果を示す表示画面の作成を行い（ステップＳ４２７）、ユーザに提示する（ステップＳ４３０）。
【０１４６】
また、サジェスト部１０７は、ユーザから利用状況のフィードバックを得た場合は、上記ステップ４２４で用いた重み付け（Ｗ）を更新等してもよい（ステップＳ４３３）。
【０１４７】
なお、サジェスト部１０７によるユーザへのサジェストやユーザからのフィードバックの取得は、アプリ１０５を介して行うようにしてもよい。
【０１４８】
ここで、図１５に、本応用例によるアプリケーションから取得する操作情報と要求情報の一例を示す。本システムでは、各アプリケーションから、図１５の左に示すような操作情報と、図１５の右に示すような要求情報を取得し、操作情報に基づいて、要求された情報をサジェストする。
【０１４９】
＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、複数の特徴空間を扱うシステムの利便性をより向上させることが可能となる。
【０１５０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５１】
例えば、上述した情報処理装置１０、または特徴管理サーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０、または特徴管理サーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【０１５２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１５３】
なお、本技術は以下のような構成も取ることができる。
（１）
登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、
前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、
前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、
を行う制御部を備える、情報処理装置。
（２）
前記モダリティの定義は、モダリティに対応する所定のデータ形式への変換ルールである、前記（１）に記載の情報処理装置。
（３）
前記制御部は、
検索要求に含まれる検索オブジェクトを前記検索オブジェクトのモダリティの定義に従って変換し、検索用の変換データを生成する制御と、
前記検索用の変換データを、前記検索オブジェクトのモダリティと前記検索要求に含まれるターゲットモダリティとに対応する前記特徴抽出器に出力する制御と、
を行う、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、
１以上の前記特徴抽出器において前記検索用の変換データに基づいて検索された第２の識別情報を取得し、
前記第２の識別情報に基づいて、前記記憶部から対応するオブジェクトを取得し、検索結果として出力する、前記（３）に記載の情報処理装置。
（５）
前記制御部は、
前記特徴抽出器から、前記検索用の変換データから抽出された特徴と類似する特徴に関連付けられた前記第２の識別情報と共に、前記特徴の類似度合いを示す類似度を取得する、前記（４）に記載の情報処理装置。
（６）
前記検索要求には、検索条件としてフィルター情報がさらに含まれる、前記（４）または（５）に記載の情報処理装置。
（７）
前記制御部は、
前記登録要求情報が入力された際、前記登録オブジェクトのモダリティと親子関係を有するサブモダリティの定義に従って、前記登録オブジェクトを変換して登録用のサブ変換データを生成する制御と、
前記第１の識別情報と前記サブ変換データを、前記サブモダリティに対応する１以上の特徴抽出器に出力する制御と、
をさらに行う、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記制御部は、
前記検索要求が入力された際、前記検索オブジェクトのモダリティと親子関係を有するサブモダリティの定義に従って、前記検索オブジェクトのうち前記サブモダリティに対応するデータを変換して検索用のサブ変換データを生成する制御と、
前記検索用のサブ変換データを、前記サブモダリティおよび前記ターゲットモダリティに対応する１以上の前記特徴抽出器に出力する制御と、
をさらに行う、前記（３）〜（６）のいずれか１項に記載の情報処理装置。
（９）
前記制御部は、
前記検索要求に基づいて前記特徴抽出器から取得した前記第２の識別情報および類似度と、前記特徴抽出器の重み付けに基づいて、複数の前記第２の識別情報を順位付けする制御と、
上位所定数の前記第２の識別情報を前記検索結果として出力する制御と、
をさらに行う、前記（４）〜（６）のいずれか１項に記載の情報処理装置。
（１０）
前記制御部は、
１以上のアプリケーションから出力されたユーザの操作情報を含む情報に基づいて、前記ユーザに提案するコンテンツを検索する前記検索要求を生成し、
前記特徴抽出器から取得した１以上の前記第２の識別情報を、前記検索結果として出力する、前記（４）〜（６）のいずれか１項に記載の情報処理装置。
（１１）
前記制御部は、
前記情報に含まれる、前記アプリケーションで扱われているコンテンツを前記検索オブジェクトとし、
前記コンテンツのモダリティを、前記検索オブジェクトのモダリティとし、
前記アプリケーションで要求されているコンテンツのモダリティを、前記ターゲットモダリティとして、前記検索要求を生成する、前記（１０）に記載の情報処理装置。
（１２）
前記情報処理装置は、
前記第１の識別情報と前記登録用の変換データを、前記特徴抽出器を有する特徴管理サーバに送信する通信部をさらに備える、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
プロセッサが、
登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、
前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、
前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、
を行うことを含む、情報処理方法。
（１４）
コンピュータを、
登録要求情報に含まれる登録オブジェクトを複数の特徴抽出部に共通する一意の第１の識別情報と関連付けて記憶部に記憶する制御と、
前記登録オブジェクトを前記登録オブジェクトのモダリティの定義に従って変換し、登録用の変換データを生成する制御と、
前記第１の識別情報と前記登録用の変換データを、前記モダリティに対応する複数の特徴抽出器に出力する制御と、
を行う制御部として機能させるための、プログラム。
【符号の説明】
【０１５４】
１０、１０ｘ  情報処理装置
２０、２４  特徴管理サーバ
２５  データベースサーバ
１００  制御部
１０１、１０１ｘ  特徴空間管理部
１０２、１０２ｘ    モダリティ管理部
１０３  モダリティ定義部
１０５  アプリ
１０６  情報収集部
１０７  サジェスト部
１１０  入力部
１２０  通信部
１３０  出力部
１４０  記憶部
２００  制御部
２０１  特徴管理部
２０２  特徴抽出部
２１０  通信部
２２０  特徴量データベース
２４０  特徴抽出部
２５０  特徴量データベース
【図１】
2019176398.tif 000005
【図２】
2019176398.tif 000006
【図３】
2019176398.tif 000007
【図４】
2019176398.tif 000008
【図５】
2019176398.tif 000009
【図６】
2019176398.tif 000010
【図７】
2019176398.tif 000011
【図８】
2019176398.tif 000012
【図９】
2019176398.tif 000013
【図１０】
2019176398.tif 000014
【図１１】
2019176398.tif 000015
【図１２】
2019176398.tif 000016
【図１３】
2019176398.tif 000017
【図１４】
2019176398.tif 000018
【図１５】
2019176398.tif 000019
【国際調査報告】
2019176398.tif 000020
2019176398.tif 000021
2019176398.tif 000022
2019176398.tif 000023