(57)【要約】【課題】任意の種類の情報を任意の他の種類の情報に変換する。【解決手段】変換装置は、入力部と、複数の抽出器と、統合部と、複数の復号器と、選択部と、出力部とを備える。入力部は、１または複数の種類の要素情報を取得する。複数の抽出器は、それぞれが、予め定められた種類の要素情報に対応付けられており、取得した１または複数の種類の要素情報のうちの対応付けられた種類の要素情報から特徴情報を生成する。統合部は、複数の抽出器により生成された複数の特徴情報を統合して予め定められたフォーマットの知識情報を生成する。複数の復号器は、それぞれが、予め定められた種類の要素情報に対応付けられており、知識情報に基づき対応付けられた種類の要素情報を生成する。選択部は、複数の復号器のうちの１または複数の復号器を選択する。出力部は、選択された１または複数の復号器から出力された１または複数の種類の要素情報を出力する。【選択図】図１
2019168793.tif 000002
【特許請求の範囲】
【請求項１】
１または複数の種類の要素情報を取得する入力部と、
それぞれが、予め定められた種類の要素情報に対応付けられており、取得した前記１または複数の種類の要素情報のうちの対応付けられた種類の要素情報から特徴情報を生成する複数の抽出器と、
前記複数の抽出器により生成された複数の特徴情報を統合して、予め定められたフォーマットの知識情報を生成する統合部と、
それぞれが、予め定められた種類の要素情報に対応付けられており、前記知識情報に基づき、対応付けられた種類の要素情報を生成する複数の復号器と、
前記複数の復号器のうちの１または複数の復号器を選択する選択部と、
選択された前記１または複数の復号器から出力された１または複数の種類の要素情報を出力する出力部と、
を備える変換装置。
【請求項２】
前記入力部は、互いに関連する複数の要素情報を含む入力情報を取得する
請求項１に記載の変換装置。
【請求項３】
前記統合部は、前記複数の抽出器に一対一に対応して設けられた複数のサイズ変換部と、合成部とを含み、
前記複数のサイズ変換部のそれぞれは、対応する抽出器により生成された特徴情報を、前記知識情報と同一のフォーマットの中間情報に変換し、
前記合成部は、前記複数のサイズ変換部により生成された複数の中間情報を合成して前記知識情報を生成する
請求項１または２に記載の変換装置。
【請求項４】
前記統合部は、情報変換部を含み、
前記情報変換部は、前記複数の抽出器により生成された複数の特徴情報の全てに基づき、前記知識情報を生成する
請求項１または２に記載の変換装置。
【請求項５】
前記統合部は、複数の個別情報変換部を含み、
前記複数の個別情報変換部のそれぞれは、予め定められた１または複数の種類の要素情報の組に基づき、前記知識情報を生成する
請求項１または２に記載の変換装置。
【請求項６】
前記知識情報は、予め定められたサイズの１つまたは複数のベクトル、行列またはテンソルである
請求項１から５の何れか１項に記載の変換装置。
【請求項７】
選択された復号器から出力された要素情報を、対応する抽出器にフィードバックするフィードバック部と、
順次に実行される１または複数の変換処理の内容を示す変換手順を決定する決定部と、
前記変換手順に示された１または複数の変換処理の実行制御を行う制御部と、
をさらに備え、
前記変換手順は、前記１または複数の変換処理のそれぞれにおいて生成する要素情報の種類を示し、
前記制御部は、
最初の変換処理において、取得した要素情報に対応する抽出器に特徴情報を生成させ、
前記最初の変換処理以外の変換処理において、前記フィードバック部によりフィードバックされた要素情報に対応する抽出器に特徴情報を生成させ、
それぞれの変換処理において、前記統合部に、当該変換処理で生成された特徴情報に基づき前記知識情報を生成させ、
それぞれの変換処理において、前記選択部に、当該変換処理において生成する要素情報の種類に対応する復号器を選択させ、
それぞれの変換処理において、選択された復号器に、当該変換処理で生成された前記知識情報に基づき要素情報を生成させ、
最後の変換処理以外の変換処理において、前記フィードバック部に、選択された復号器から出力された要素情報を対応する抽出器にフィードバックさせ、
前記最後の変換処理において、前記出力部に、選択された復号器から出力された要素情報を出力させる
請求項１から６の何れか１項に記載の変換装置。
【請求項８】
第１の要素情報から第２の要素情報に精度良く変換できるように、前記複数の抽出器のうちの訓練対象抽出器、前記統合部、および、前記複数の復号器のうちの訓練対象復号器のうちの全部または一部を同時に訓練する学習部
をさらに備える請求項１から７の何れか１項に記載の変換装置。
【請求項９】
入力部が、１または複数の種類の要素情報を取得し、
予め定められた種類の要素情報に対応付けられている複数の抽出器のそれぞれが、取得した前記１または複数の種類の要素情報のうちの対応付けられた種類の要素情報から特徴情報を生成し、
統合部が、前記複数の抽出器により生成された複数の特徴情報を統合して、予め定められたフォーマットの知識情報を生成し、
予め定められた種類の要素情報に対応付けられている複数の復号器のそれぞれが、前記知識情報に基づき、対応付けられた種類の要素情報を生成し、
選択部が、前記複数の復号器のうちの１または複数の復号器を選択し、
出力部が、選択された前記１または複数の復号器から出力された１または複数の種類の要素情報を出力する
変換方法。
【請求項１０】
情報処理装置を変換装置として機能させるためのプログラムであって、
前記情報処理装置を、
１または複数の種類の要素情報を取得する入力部と、
それぞれが、予め定められた種類の要素情報に対応付けられており、取得した前記１または複数の種類の要素情報のうちの対応付けられた種類の要素情報から特徴情報を生成する複数の抽出器と、
前記複数の抽出器により生成された複数の特徴情報を統合して、予め定められたフォーマットの知識情報を生成する統合部と、
それぞれが、予め定められた種類の要素情報に対応付けられており、前記知識情報に基づき、対応付けられた種類の要素情報を生成する複数の復号器と、
前記複数の復号器のうちの１または複数の復号器を選択する選択部と、
選択された前記１または複数の復号器から出力された１または複数の種類の要素情報を出力する出力部と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、変換装置、変換方法およびプログラムに関する。
【背景技術】
【０００２】
ある種類の情報を他の種類の情報に変換する変換装置が知られている。例えば、英語のテキストデータを日本語のテキストデータに変換する変換装置が知られている。また複数の種類の情報を対象とした変換装置も知られている。例えば、画像データとテキストデータとの組を、共通のモデルを用いて特定のデータ（カテゴリＩＤ等）に変換する変換装置も知られている。しかしながら、任意の１または複数の種類の情報を任意の他の種類の情報に変換する変換装置は知られていない。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Melvin  Johnson  et  al.，  “Google’s  Multilingual  Neural  Machine  Translation  System:  Enabling  Zero-Shot  Translation”，  arXiv:1611.04558v2,  21  Aug,  2017
【非特許文献２】Lukasz  Kaiser,  Aidan  N.  Gomez,  Noam  Shazeer,  Ashish  Vaswani,  Niki  Parmar,  Llion  Jones,  Jakob  Uszkoreit，  “One  Model  To  Learn  Them  All”，  arXiv:1706.05137v1,  16  Jun,  2017
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、任意の種類の情報を任意の他の種類の情報に変換することにある。
【課題を解決するための手段】
【０００５】
実施形態の変換装置は、入力部と、複数の抽出器と、統合部と、複数の復号器と、選択部と、出力部と、を備える。前記入力部は、１または複数の種類の要素情報を取得する。前記複数の抽出器は、それぞれが、予め定められた種類の要素情報に対応付けられており、取得した前記１または複数の種類の要素情報のうちの対応付けられた種類の要素情報から特徴情報を生成する。前記統合部は、前記複数の抽出器により生成された複数の特徴情報を統合して、予め定められたフォーマットの知識情報を生成する。前記複数の復号器は、それぞれが、予め定められた種類の要素情報に対応付けられており、前記知識情報に基づき、対応付けられた種類の要素情報を生成する。前記選択部は、前記複数の復号器のうちの１または複数の復号器を選択する。前記出力部は、選択された前記１または複数の復号器から出力された１または複数の種類の要素情報を出力する。
【図面の簡単な説明】
【０００６】
【図１】実施形態に係る変換装置の構成を示す図。
【図２】要素情報の種類と、抽出器または復号器との対応関係を示す図。
【図３】統合部での統合処理を示す図。
【図４】統合部の構成の第１例を示す図。
【図５】統合部の構成の第２例を示す図。
【図６】統合部の構成の第３例を示す図。
【図７】実施形態に係る変換装置の処理の流れを示すフローチャート。
【図８】第１変形例に係る変換装置の構成を示す図。
【図９】変換手順の一例を示す図。
【図１０】第１変形例に係る制御部の処理の流れを示すフローチャート。
【図１１】第２変形例に係る変換装置の構成を示す図。
【図１２】変換装置のハードウェア構成の一例を示す図。
【発明を実施するための形態】
【０００７】
（実施形態）
以下、図面を参照しながら実施形態に係る変換装置１０について詳細に説明する。変換装置１０は、任意の種類の情報を任意の他の種類の情報に変換することを目的とする。
【０００８】
例えば、変換装置１０は、動画像データおよび音声データを含む入力情報を、動画像データおよび音声データの内容を簡易に説明するテキストデータ（キャプション）に変換する。また、例えば、変換装置１０は、英語のテキストデータを日本語の音声データに変換する。また、例えば、変換装置１０は、人物を撮像した静止画像データを、人物に対して割り当てられたＩＤデータに変換する。
【０００９】
図１は、実施形態に係る変換装置１０の構成を示す図である。図２は、要素情報の種類と、抽出器４０または復号器５０との対応関係を示す図である。
【００１０】
変換装置１０は、入力部２２と、抽出部２４と、統合部２６と、復号部２８と、選択部３０と、出力部３２とを備える。入力部２２は、１または複数の種類の要素情報を含む入力情報を取得する。
【００１１】
要素情報は、例えば、図２に示すように、静止画像データ、動画像データ、音声データ、テキストデータまたは数値データ等の、意味のあるデータである。例えば、変換装置１０は、静止画像データと、動画像データと、音声データと、テキストデータと、数値データとを、異なる種類の要素情報として区別する。また、変換装置１０は、ユーザの設定によっては、静止画像データの中で、例えば、カラー画像データとモノクローム画像データと赤外線画像データとを異なる種類の要素情報として区別してもよい。また、変換装置１０は、ユーザの設定によっては、カラー画像データをフォーマット毎に異なる種類の要素情報として区別してもよい。
【００１２】
また、変換装置１０は、テキストデータを、言語毎に異なる種類の要素情報として区別してもよい。例えば、変換装置１０は、英語のテキストデータと、ドイツ語のテキストデータと、日本語のテキストデータとを異なる種類の要素情報として区別してもよい。また、変換装置１０は、言語音データと、機械音データとを異なる種類の要素情報として区別してもよい。例えば、変換装置１０は、英語の言語音データと、ドイツ語の言語音データと、日本語の言語音データとを異なる種類の要素情報として区別してもよい。
【００１３】
また、変換装置１０は、アドレスデータおよびＩＤデータ等の数値データを、要素情報として取り扱ってもよい。この場合、変換装置１０は、緯度経度、住所情報およびネットワークアドレス等を異なる種類の要素情報として区別してもよい。このように、変換装置１０は、何らかの意味のあるデータを要素情報として取り扱うことができる。さらに、変換装置１０は、内容またはフォーマット等が異なるデータを、異なる種類の要素情報として取り扱うことができる。
【００１４】
また、入力情報は、複数の種類の要素情報を含むことができる。１つの入力情報には、互いに関連する複数の要素情報が含まれる。例えば、入力情報は、同一の場所および同一の時刻に記録した動画像データおよび音声データを含む。また、例えば、入力情報は、人物を撮像した静止画像データと当該人物が入力デバイスを操作することにより入力したＩＤデータとを含む。また、例えば、入力情報は、テキストデータと、そのテキストデータを実際の人物が読んだ音声データとを含む。
【００１５】
抽出部２４は、複数の抽出器４０を有する。複数の抽出器４０は、それぞれが、予め定められた種類の要素情報に対応付けられている。例えば、図２に示すように、第１の抽出器４０−＃１は、カラーの静止画像データに対応付けられており、第２の抽出器４０−＃２は、モノクロームの静止画像データに対応付けられており、第３の抽出器４０−＃３は、赤外線の静止画像データに対応付けられている。
【００１６】
複数の抽出器４０は、それぞれが、入力部２２から、入力情報に含まれる１または複数の種類の要素情報のうちの対応付けられた種類の要素情報を受け取る。複数の抽出器４０は、それぞれが、受け取った種類の要素情報から、特徴情報を生成する。特徴情報は、要素情報の特徴を表す１または複数の値を含み、所定の次元数のベクトル、行列、またはテンソルで定義される。
【００１７】
例えば、抽出器４０は、カラーの静止画像データから、予め定められた種類の特徴を表す１または複数の値を抽出し、抽出した１または複数の値を含む特徴情報を生成する。また、例えば、抽出器４０は、静止画像データおよび動画像データから、物体認識をするために用いられる複数の値を抽出し、抽出した複数の値を含む特徴情報を生成する。また、抽出器４０は、人物を撮像した静止画像データおよび動画像データから、人物を特定するために用いられる複数の値を抽出し、抽出した複数の値を含む特徴情報を生成する。また、抽出器４０は、音声データおよび手書き入力した文字を撮像した静止画像データから、文字を特定するために用いられる複数の値を抽出し、抽出した複数の値を含む特徴情報を生成する。また、抽出器４０は、日本語のテキストデータから、言語翻訳をするために用いられる複数の値を抽出し、抽出した複数の値を含む特徴情報を生成する。
【００１８】
抽出器４０は、要素情報から特徴情報を生成するために、どのような処理を実行してもよい。抽出器４０は、例えばサイズが不定の画像データを要素情報として取得した場合、取得した画像データを所定のサイズに変換し、変換後の画像データを、例えばＣｏｎｖｏｌｕｔｉｏｎａｌニューラルネットワークに与えて、特徴情報を生成してもよい。また、抽出器４０は、例えば長さが不定のテキストデータまたは音声データを要素情報として取得した場合、取得したテキストデータまたは音声データをＲｅｃｕｒｒｅｎｔニューラルネットワークに与えて、特徴情報を生成してもよい。
【００１９】
複数の抽出器４０は、それぞれが、異なるサイズの特徴情報を生成してもよい。ただし、複数の抽出器４０のそれぞれが生成する特徴情報は、サイズおよび値の配置が予め定められている。入力部２２から要素情報が入力されなかった種類に対応する抽出器４０については、全て要素がゼロの特徴情報を生成してもよいし、後述する統合部２６に情報を送らなくてもよい。
【００２０】
統合部２６は、複数の抽出器４０により生成された複数の特徴情報を統合して、予め定められたフォーマットの知識情報を生成する。知識情報は、予め定められたサイズのベクトルである。また、知識情報は、複数のベクトルで構成されていてもよいし、予め定められたサイズの行列またはテンソルであってもよい。知識情報は、入力された要素情報の種類、出力する要素情報の種類には依存せず、情報の持つ内容のみに依存する。つまり、元となる情報の種類によらず、全く同じ内容を表す２つの知識情報は、全て同じ配置で同じ値を含む。また、意味的に近い内容の２つの知識情報は、含まれる値が、空間上における距離が近くなるように可能な限り配置される。知識情報は、別のデータベース等に記録、保存することもできる。予め定められた距離尺度によって２つの知識情報の間の距離を計算することによって、２つの知識情報の持つ内容の類似性を測ることもできる。統合部２６による統合処理については、詳細を図３〜図６を参照して後述する。
【００２１】
復号部２８は、複数の復号器５０を有する。複数の復号器５０は、それぞれが、予め定められた種類の要素情報に対応付けられている。例えば、図２に示すように、第１の復号器５０−＃１は、カラーの動画像データに対応付けられており、第２の復号器５０−＃２は、モノクロームの動画像データに対応付けられており、第３の復号器５０−＃３は、英語の言語音データに対応付けられている。
【００２２】
複数の復号器５０は、それぞれが、知識情報に基づき、対応付けられた種類の要素情報を生成する。例えば、図２に示すように、第１の復号器５０−＃１は、知識情報に基づき、カラーの動画像データを生成する。また、第２の復号器５０−＃２は、知識情報に基づき、モノクロームの動画像データを生成する。また、第３の復号器５０−＃３は、知識情報に基づき、英語の言語音データを生成する。
【００２３】
復号器５０は、知識情報に基づき要素情報を生成するために、どのような処理を実行してもよい。例えば、復号器５０は、ニューラルネットワークにより知識情報を要素情報に変換する。また、復号器５０は、データベースまたは辞書データ等を参照して、知識情報に基づき要素情報を生成してもよい。
【００２４】
また、復号器５０は、１つの知識情報に基づき、複数の種類の要素情報を出力してもよい。例えば、復号器５０は、１つの知識情報に基づき、音声データとテキストデータとを同時に生成してもよい。また、復号器５０は、複数の候補の要素情報を出力してもよい。この場合、復号器５０は、複数の候補の要素情報に順位を付加してもよいし、尤度を付加してもよい。例えば、復号器５０は、カテゴリを表す複数のＩＤデータを、尤度順に出力してもよい。
【００２５】
選択部３０は、複数の復号器５０のうちの１または複数の復号器５０を選択する。選択部３０は、選択した１または複数の復号器５０に、知識情報を与える。復号部２８は、選択部３０により選択された１または複数の復号器５０のそれぞれに、要素情報を出力させる。
【００２６】
例えば、選択部３０は、ユーザにより指定された種類に基づき、何れかの復号器５０を選択してもよい。例えば、選択部３０は、要素情報の種類と復号器５０との対応関係を示したテーブル等を参照して、指定された種類に対応する復号器５０を選択する。
【００２７】
出力部３２は、選択された１または複数の復号器５０から出力された１または複数の種類の要素情報を含む出力情報を出力する。例えば、出力部３２は、１つの種類の要素情報について、複数の候補が出力された場合、適切な１つの要素情報を選択して出力する。例えば、出力部３２は、最も順位の高い１つの候補の要素情報を出力する。
【００２８】
図３は、統合部２６での統合処理を示す図である。統合部２６は、複数の抽出器４０のそれぞれから出力された異なるサイズおよびフォーマットの複数の特徴情報を、予め定められたフォーマットのベクトル、行列またはテンソルである知識情報に変換する。ここでは、特徴情報と知識情報が両方ベクトルで表現されている場合を例として説明する。
【００２９】
例えば、統合部２６は、所定の抽出器４０から出力された特徴情報の所定の位置の値を、知識情報における所定の位置に配置する。例えば、図３の例においては、統合部２６は、第１の特徴情報の１番目の値であるａ１を、知識情報における１番目の要素であるａ０としている。また、図３の例においては、統合部２６は、第１の特徴情報の２番目の値であるｂ１を、知識情報における２番目の要素であるｂ０としている。また、図３の例においては、統合部２６は、第２の特徴情報の２番目の値であるｄ２を、知識情報における４番目の要素であるｄ０としている。また、図３の例においては、統合部２６は、第３の特徴情報の２番目の値であるｆ３を、知識情報における６番目の要素であるｆ０としている。
【００３０】
また、統合部２６は、同一または異なる特徴情報に含まれる互いに関連する２以上の値を合成し、合成した値を知識情報における所定の位置に配置してもよい。例えば、図３の例においては、統合部２６は、第１の特徴情報の３番目の値であるｃ１と、第２の特徴情報の１番目の値であるｃ２とを合成して、知識情報における３番目の要素であるｃ０としている。また、例えば、図３の例においては、統合部２６は、第２の特徴情報の３番目の値であるｅ２と、第３の特徴情報の１番目の値であるｅ３とを合成して、知識情報における５番目の要素であるｅ０としている。
【００３１】
なお、統合部２６は、複数の値を合成する場合に、複数の値を加算してもよい。また、統合部２６は、複数の値を合成する場合に、複数の値を平均化してもよい。また、統合部２６は、複数の値を合成する場合に、複数の値のそれぞれに重み付けをして加算をしたり、予め定められた関数演算をして加算したりしてもよい。
【００３２】
図４は、統合部２６の構成の第１例を示す図である。第１例に係る統合部２６は、複数のサイズ変換部６２と、合成部６４とを含む。
【００３３】
複数のサイズ変換部６２は、複数の抽出器４０に一対一に対応して設けられる。それぞれのサイズ変換部６２は、対応する抽出器４０により生成された特徴情報を、知識情報と同一のフォーマットの中間情報に変換する。この場合、サイズ変換部６２は、特徴情報に含まれるそれぞれの値を、中間情報における対応する位置に配置する。
【００３４】
合成部６４は、複数のサイズ変換部６２から出力された複数の中間情報を合成して、知識情報を生成する。例えば、合成部６４は、複数の中間情報を加算して、知識情報を生成する。また、合成部６４は、複数の中間情報のそれぞれに重み付けをし、重み付けをされた複数の中間情報を加算してもよい。また、合成部６４は、加算に代えて、予め定められた関数演算により、複数の中間情報を合成してもよい。
【００３５】
図５は、統合部２６の構成の第２例を示す図である。第２例に係る統合部２６は、情報変換部６６を含む。
【００３６】
情報変換部６６は、複数の抽出器４０の全てから出力された複数の特徴情報を取得する。そして、情報変換部６６は、複数の特徴情報に対して一括して演算処理をして１つの知識情報を出力する。
【００３７】
情報変換部６６は、例えば、ニューラルネットワークを含む。情報変換部６６は、ニューラルネットワークにより複数の特徴情報から１つの知識情報を生成する。
【００３８】
また、情報変換部６６は、プロセッサとメモリとを含む演算装置により実現されてもよい。この場合、情報変換部６６は、特徴情報を順次に取得し、予めインストールされたプログラムを実行する。そして、情報変換部６６は、実行結果として、１つの知識情報を出力する。
【００３９】
図６は、統合部２６の構成の第３例を示す図である。第３例に係る統合部２６は、複数の個別情報変換部６８と、出力選択部７０とを含む。複数の個別情報変換部６８のそれぞれは、予め定められた１または複数の種類の要素情報の組に基づき知識情報を生成する。
【００４０】
例えば、個別情報変換部６８は、選択された１または複数の抽出器４０から出力された１または複数の特徴情報を取得する。そして、個別情報変換部６８は、取得した１または複数の特徴情報から、１つの知識情報を出力する。
【００４１】
出力選択部７０は、入力情報に含まれる１または複数の種類の要素情報に応じて、何れか１つの個別情報変換部６８を選択する。例えば、出力選択部７０は、選択された１または複数の抽出器４０から出力された１または複数の特徴情報の全てを取得することができる１つの個別情報変換部６８を選択する。そして、出力選択部７０は、選択した個別情報変換部６８に変換処理を実行させる。
【００４２】
それぞれの個別情報変換部６８は、例えば、ニューラルネットワークを含む。個別情報変換部６８は、ニューラルネットワークにより、与えられた１または複数の特徴情報から１つの知識情報を生成する。
【００４３】
また、個別情報変換部６８は、プロセッサとメモリとを含む演算装置により実現されてもよい。この場合、個別情報変換部６８は、与えられた１または複数の特徴情報を順次に取得し、予めインストールされたプログラムを実行する。そして、個別情報変換部６８は、実行結果として、１つの知識情報を出力する。
【００４４】
図７は、実施形態に係る変換装置１０の処理の流れを示すフローチャートである。実施形態に係る変換装置１０は、図７に示す流れで処理を実行する。
【００４５】
まず、ステップＳ１１において、変換装置１０は、出力する要素情報の種類の指定を受け付ける。続いて、ステップＳ１２において、変換装置１０は、１または複数の種類の要素情報を含む入力情報を取得する。
【００４６】
続いて、変換装置１０は、入力情報に含まれる要素情報毎に、ステップＳ１４〜Ｓ１５の処理を実行する（ステップＳ１３とステップＳ１６との間のループ処理）。ステップＳ１４において、変換装置１０は、複数の抽出器４０のうち、処理対象の要素情報に対応する１つの抽出器４０を選択する。続いて、ステップＳ１５において、変換装置１０は、選択した抽出器４０を用いて、処理対象の要素情報から特徴情報を生成する。変換装置１０は、入力情報に含まれる全ての要素情報について、ステップＳ１４〜Ｓ１５の処理を終えると、処理をステップＳ１７に進める。
【００４７】
ステップＳ１７において、変換装置１０は、入力情報に含まれる１または複数の種類の要素情報について生成した１または複数の特徴情報を統合して、１つの知識情報を生成する。
【００４８】
続いて、変換装置１０は、ステップＳ１１で指定された要素情報の種類毎に、ステップＳ１９〜Ｓ２０の処理を実行する（ステップＳ１８とステップＳ２１との間のループ処理）。ステップＳ１９において、変換装置１０は、複数の復号器５０のうち、処理対象の要素情報に対応する１つの復号器５０を選択する。続いて、ステップＳ２０において、変換装置１０は、選択した復号器５０を用いて、知識情報から要素情報を生成する。変換装置１０は、指定された全ての要素情報の種類について、ステップＳ１９〜Ｓ２０の処理を終えると、処理をステップＳ２２に進める。
【００４９】
そして、ステップＳ２２において、変換装置１０は、生成した１または複数の種類の要素情報を含む出力情報を出力する。
【００５０】
このような変換装置１０は、例えば、静止画像データ、動画像データまたはテキストデータ等の様々な種類の要素情報を、予め定められたフォーマットの知識情報に変換する。そして、変換装置１０は、知識情報を、静止画像データ、動画像データまたはテキストデータ等の様々な種類の要素情報に再変換する。これにより、変換装置１０は、任意の種類の要素情報を任意の他の種類の要素情報に変換することができる。
【００５１】
（第１変形例）
つぎに、第１変形例に係る変換装置１０について説明する。第１変形例に係る変換装置１０は、第１実施形態と略同一の機能および構成を有するので、同一の機能および構成を有する装置およびブロックについては同一の符号を付け、相違点を除き詳細な説明を省略する。第２変形例以降も同様である。
【００５２】
図８は、第１変形例に係る変換装置１０の構成を示す図である。図９は、変換手順の一例を示す図である。第１変形例に係る変換装置１０は、フィードバック部８２と、決定部８４と、制御部８６とをさらに備える。
【００５３】
フィードバック部８２は、選択された復号器５０から出力された要素情報を、当該要素情報に対応する抽出器４０にフィードバックする。例えば、フィードバック部８２は、復号器５０から出力されたカラーの動画像データを、カラーの動画像データに対応付けられた抽出器４０に与える。これにより、抽出器４０は、復号器５０から出力された要素情報から、再度、特徴情報を生成することができる。
【００５４】
決定部８４は、入力情報に含まれる要素情報の種類と、出力情報に含まれる要素情報の種類との組の指定を受け付ける。決定部８４は、この組に基づき、順次に実行される１または複数の変換処理の内容を示す変換手順を決定する。変換手順は、１または複数の変換処理のそれぞれにおいて生成する要素情報の種類を示す。
【００５５】
例えば、決定部８４は、図９に示すようなテーブルを記憶している。テーブルには、入力情報に含まれる要素情報の種類と出力情報に含まれる要素情報の種類とに対応付けて、変換手順が登録されている。例えば、図９のテーブルの１行目には、入力情報に含まれる要素情報として“日本語”のテキストデータが登録され、出力情報に含まれる要素情報として“英語”のテキストデータが登録され、変換手順として“日本語→英語”が登録されている。従って、入力情報に日本語のテキストデータが含まれ、出力情報に英語のテキストデータを含める場合、変換装置１０は、取得した日本語のテキストデータを英語のテキストデータに直接変換する。
【００５６】
また、図９のテーブルの２行目には、入力情報に含まれる要素情報として“日本語”のテキストデータが登録され、出力情報に含まれる要素情報として“ドイツ語”のテキストデータが登録され、変換手順として“日本語→カラー画像データ→ドイツ語”が登録されている。従って、入力情報に日本語のテキストデータが含まれ、出力情報にドイツ語のテキストデータを含める場合、変換装置１０は、取得した日本語のテキストデータをカラー画像データに変換し、続いて、カラー画像データをドイツ語のテキストデータに変換し、最後に得られたドイツ語のテキストデータを出力する。
【００５７】
制御部８６は、変換手順に示された１または複数の変換処理に従って、複数の抽出器４０、統合部２６、選択部３０、複数の復号器５０、出力部３２およびフィードバック部８２の実行制御を行う。
【００５８】
図１０は、第１変形例に係る変換装置１０の制御部８６の処理の流れを示すフローチャートである。第１変形例に係る変換装置１０は、図１０に示す流れで処理を実行する。
【００５９】
まず、ステップＳ３１において、決定部８４は、入力情報に含まれる要素情報の種類と、出力情報に含まれる要素情報の種類との組の指定を受け付ける。続いて、ステップＳ３２において、決定部８４は、受け付けた情報に基づき変換手順を決定する。具体的には、決定部８４は、図９に示すテーブルを参照して、入力情報に含まれる要素情報の種類と出力情報に含まれる要素情報の種類との組に対応する変換手順を決定する。
【００６０】
続いて、ステップＳ３３において、制御部８６は、決定された変換手順に示された最初の変換処理を特定する。続いて、ステップＳ３４において、入力部２２は、入力情報を取得する。
【００６１】
続いて、ステップＳ３５において、制御部８６は、複数の抽出器４０のうち、入力情報に含まれる要素情報に対応する抽出器４０を選択する。続いて、ステップＳ３６において、制御部８６は、選択した抽出器４０に、入力情報に含まれる要素情報から特徴情報を生成させる。これにより、変換手順に示された最初の変換処理において、制御部８６は、入力情報に含まれる要素情報に対応する抽出器４０に、特徴情報を生成させることができる。
【００６２】
続いて、ステップＳ３７において、制御部８６は、統合部２６に、ステップＳ３６で生成した特徴情報に基づき知識情報を生成させる。これにより、変換手順に示されたそれぞれの変換処理において、制御部８６は、統合部２６に、当該変換処理で抽出器４０により生成された特徴情報に基づき、知識情報を生成させることができる。
【００６３】
続いて、ステップＳ３８において、制御部８６は、選択部３０に、特定された変換手順に示された要素情報の種類に対応する復号器５０を選択させる。これにより、変換手順に示されたそれぞれの変換処理において、制御部８６は、選択部３０に、当該変換処理において生成する要素情報の種類に対応する復号器５０を選択させることができる。
【００６４】
続いて、ステップＳ３９において、制御部８６は、ステップＳ３８で選択した復号器５０に、ステップＳ３７で生成した知識情報に基づき要素情報を生成させる。これにより、変換手順に示されたそれぞれの変換処理において、制御部８６は、選択された復号器５０に、当該変換処理で生成された知識情報に基づき、要素情報を生成させることができる。
【００６５】
続いて、ステップＳ４０において、制御部８６は、当該変換処理が、変換手順に示された最後の変換処理であるか否かを判定する。
【００６６】
最後の変換処理ではない場合（Ｓ４０のＮｏ）、制御部８６は、処理をステップＳ４１に進める。ステップＳ４１において、制御部８６は、フィードバック部８２に、ステップＳ３９で生成した要素情報を、当該要素情報に対応する抽出器４０にフィードバックさせる。これにより、最後の変換処理以外の変換処理において、制御部８６は、フィードバック部８２に、選択された復号器５０から出力された要素情報を、当該要素情報に対応する抽出器４０にフィードバックさせることができる。
【００６７】
続いて、ステップＳ４２において、制御部８６は、変換手順に示された次の変換処理を特定する。続いて、ステップＳ４３において、制御部８６は、複数の抽出器４０のうち、要素情報がフィードバックされた抽出器４０に、フィードバックされた要素情報から特徴情報を生成させる。これにより、変換手順に示された最初の変換処理以外の変換処理において、制御部８６は、フィードバックされた要素情報に対応する抽出器４０に、特徴情報を生成させることができる。そして、以後、制御部８６は、ステップＳ３７から処理を繰り返す。
【００６８】
最後の変換処理である場合（Ｓ４０のＹｅｓ）、制御部８６は、処理をステップＳ４４に進める。ステップＳ４４において、制御部８６は、出力部３２に、ステップＳ３９で生成した要素情報を含む出力情報を出力させる。これにより、制御部８６は、最後の変換処理において、出力部３２に、選択された復号器５０から出力された要素情報を含む出力情報を出力させることができる。
【００６９】
図１に示す構成の変換装置１０でも、任意の要素情報を出力情報に含めることが可能である。しかし、入力情報に含まれる要素情報から出力情報に含める要素情報を直接生成する復号器５０が、最適ではない可能性がある。例えば、静止画像からドイツ語のキャプションを生成する場合について検討する。
【００７０】
知識情報からドイツ語のテキストデータを生成する復号器５０（以下、ドイツ語復号器５０Ｄという。）を用いて、静止画像から変換された知識情報から、ドイツ語のキャプションを生成した場合の品質を第１の品質とする。一方、知識情報からカラー動画像データを生成する復号器５０（以下、カラー動画像復号器５０Ｅという。）を用いて、静止画像から変換された知識情報に基づきカラー動画像データを生成し、続いて、ドイツ語復号器５０Ｄを用いてカラー動画像データから変換された知識情報に基づきドイツ語のキャプションを生成した場合の品質を第２の品質とする。
【００７１】
そして、カラー動画像復号器５０Ｅを、静止画像から生成した知識情報に基づき十分に訓練していたとする。また、ドイツ語復号器５０Ｄを、カラー動画像データに基づき生成した知識情報に基づき十分に訓練していたとする。しかし、ドイツ語復号器５０Ｄを、静止画像から生成した知識情報に基づき、十分な訓練をしていなかったとする。
【００７２】
このような場合、第１の品質よりも第２の品質の方が良くなる可能性が高い。第１変形例に係る変換装置１０は、このように複数の変換処理を実行した方が品質を良くすることができる場合に、適切な復号器５０を組み合わせて複数の変換処理を実行することができる。従って、本変形例に係る変換装置１０によれば、より品質の良い変換処理を実行することができる。
【００７３】
なお、本変形例においては、予めテーブル等に変換手順を登録しておく例を示したが、入力情報に含まれる要素情報の種類と、出力情報に含まれる要素情報の種類とを受け付ける毎に、決定部８４が、適切な変換手順を見つけ出す構成であってもよい。
【００７４】
例えば、決定部８４は、複数の復号器５０のそれぞれについて、与えられた要素情報の種類毎の品質を示すパラメータを記憶する。そして、決定部８４は、入力情報に含まれる要素情報の種類と、出力情報に含まれる要素情報の種類とを受け付ける毎に、パラメータを参照して最も品質が良くなる組み合わせの変換手順を見つけ出してもよい。
【００７５】
また、決定部８４は、変換処理の回数が所定数より多くなる場合または処理時間が所定値より長くなった場合には、途中で変換処理を打ち切ってもよい。この場合、制御部８６は、途中で打ち切られた後に、出力情報に含める種類の要素情報を出力する復号器５０を用いて、要素情報を生成する。これにより、変形例に係る変換装置１０は、演算コストを抑制しつつ、品質の良い変換をすることができる。また、決定部８４は、複数の復号器５０のそれぞれに予め優先度を設定しておき、より高い優先度の復号器５０を優先的に用いて変換処理を実行してもよい。
【００７６】
（第２変形例）
つぎに、第２変形例に係る変換装置１０について説明する。
【００７７】
図１１は、第２変形例に係る変換装置１０の構成を示す図である。第２変形例に係る変換装置１０は、学習部８８をさらに備える。
【００７８】
学習部８８は、第１の要素情報から第２の要素情報に精度良く変換できるように、抽出部２４に含まれる複数の抽出器４０のうちの訓練対象抽出器、統合部２６および復号部２８に含まれる複数の復号器５０のうちの訓練対象復号器における全部または一部を同時に訓練する。例えば、学習部８８は、教師データとなる第１の要素情報を訓練対象の抽出器４０に与え、訓練対象の復号器５０から適切な第２の要素情報が出力されるように、訓練対象の抽出器４０、統合部２６および訓練対象の復号器５０における内部のパラメータ等を同時に調整する。これにより、学習部８８は、訓練対象の抽出器４０、統合部２６および訓練対象の復号器５０の変換品質をより良くすることができる。
【００７９】
なお、学習部８８は、複数の抽出器４０、統合部２６および複数の復号器５０のそれぞれを個別に訓練してもよい。また、学習部８８は、１つの種類の要素情報から生成された知識情報を複数の復号器５０に与えて、複数の復号器５０を並行して訓練してもよい。これにより、学習部８８は、例えば、１つの教師データにより、複数の復号器５０を訓練することができるので、非常に効率良く複数の復号器５０の変換品質を良くすることができる。
【００８０】
（ハードウェア構成）
図１２は、変換装置１０のハードウェア構成の一例を示す図である。変換装置１０は、例えば図１２に示すような構成により実現することができる。
【００８１】
変換装置１０は、通常のコンピュータと同様の構成をしている。すなわち、変換装置１０は、プロセッシング回路３１０と、ＲＯＭ３１２と、ＲＡＭ３１４と、記憶装置３１６と、通信装置３１８と、マイクロフォン３２０と、カメラ３２２とを有する。プロセッシング回路３１０、ＲＯＭ３１２、ＲＡＭ３１４、記憶装置３１６、通信装置３１８、マイクロフォン３２０およびカメラ３２２は、バスにより接続されている。
【００８２】
プロセッシング回路３１０は、記憶装置３１６に記憶されたプログラムをＲＡＭ３１４に展開して実行し、各部を制御して入出力を行ったり、データの加工を行ったりする。ＲＯＭ３１２には、オペレーティングシステムの起動用プログラムを記憶装置３１６からＲＡＭ３１４に読み出すスタートプログラムが記憶されている。ＲＡＭ３１４は、プロセッシング回路３１０の作業領域としてデータを記憶する。
【００８３】
記憶装置３１６は、例えば、ハードディスクドライブまたはフラッシュメモリ等である。記憶装置３１６は、ネットワーク上の他のコンピュータ（サーバ）等に実現されていてもよい。記憶装置３１６は、オペレーティングシステム、アプリケーションプログラムおよびデータを記憶している。これらのプログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録メディアに記録して配布される。また、プログラムは、サーバからダウンロードすることにより配布されてもよい。通信装置３１８は、ネットワークに接続するためのインターフェイス装置である。マイクロフォン３２０は、音声を収集して音声データを生成する。カメラ３２２は、被写体を撮像して静止画像または動画像を生成する。
【００８４】
変換装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、本実施形態の変換装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の変換装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態のプログラムを、ＲＯＭ３１２等に予め組み込んで提供するように構成してもよい。
【００８５】
変換装置１０により実行されるプログラムは、入力モジュールと、抽出モジュールと、統合モジュールと、復号モジュールと、選択モジュールと、出力モジュールとを備える。
【００８６】
変換装置１０は、プロセッシング回路３１０が記憶装置３１６からプログラムを読み出して実行することにより各モジュールがＲＡＭ３１４上にロードされる。そして、プロセッシング回路３１０は、入力部２２、複数の抽出器４０を有する抽出部２４、統合部２６、複数の復号器５０を有する復号部２８、選択部３０および出力部３２として機能する。なお、入力部２２、複数の抽出器４０を有する抽出部２４、統合部２６、複数の復号器５０を有する復号部２８、選択部３０および出力部３２は、一部または全部がプロセッサ以外のハードウェアにより実現されてもよい。
【００８７】
本発明のいくつかの実施形態および変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８８】
１０  変換装置
２２  入力部
２４  抽出部
２６  統合部
２８  復号部
３０  選択部
３２  出力部
４０  抽出器
５０  復号器
６２  サイズ変換部
６４  合成部
６６  情報変換部
６８  個別情報変換部
７０  出力選択部
８２  フィードバック部
８４  決定部
８６  制御部
８８  学習部
【図１】
2019168793.tif 000003
【図２】
2019168793.tif 000004
【図３】
2019168793.tif 000005
【図４】
2019168793.tif 000006
【図５】
2019168793.tif 000007
【図６】
2019168793.tif 000008
【図７】
2019168793.tif 000009
【図８】
2019168793.tif 000010
【図９】
2019168793.tif 000011
【図１０】
2019168793.tif 000012
【図１１】
2019168793.tif 000013
【図１２】
2019168793.tif 000014