(57)【要約】【課題】ユーザの視覚体験をより正確に可視化した画像を生成する装置及び方法を提供する。【解決手段】  脳の活動データDを脳活動特徴ベクトルVbに変換する変換切替部３と、画像データDGから画像特徴ベクトルを生成し、キャプションデータDL(DT)からキャプション特徴ベクトルを生成し、画像特徴ベクトルとキャプション特徴ベクトルに応じて共通特徴ベクトルVcを生成する画像認識用深層ニューラルネットワーク部２と、共通特徴ベクトルVcに応じて生成画像データを創出する画像生成用敵対ニューラルネットワーク部４を備えた画像生成装置１を提供する。【選択図】  図１
2018205885.tif 000002
【特許請求の範囲】
【請求項１】
画像データから画像特徴ベクトルを生成する画像特徴ベクトル生成手段と、
画像に対応するテキストデータからキャプション特徴ベクトルを生成するキャプション特徴ベクトル生成手段と、
前記キャプション特徴ベクトルと前記画像特徴ベクトルに応じて共通特徴ベクトルを生成する共通特徴ベクトル生成手段と、
前記共通特徴ベクトルに応じて生成画像データを創出する画像生成手段と、
脳の活動データを脳活動特徴ベクトルに変換する変換手段と、
前記脳活動特徴ベクトルを前記画像特徴ベクトル生成手段により生成されるベクトル及び前記共通特徴ベクトルと比較して、最も相関が高いベクトルを生成するチャネルへ選択的に前記脳活動特徴ベクトルを供給する選択手段とを備えた画像生成装置。
【請求項２】
前記画像特徴ベクトル生成手段は深層ニューラルネットワークにより構成され、
前記画像生成手段は敵対ニューラルネットワークにより構成された、請求項１に記載の画像生成装置。
【請求項３】
前記キャプション特徴ベクトル生成手段は、言語間の類似度を加味して前記キャプション特徴ベクトルを生成する、請求項１に記載の画像生成装置。
【請求項４】
前記画像生成手段は、さらに、前記キャプション特徴ベクトルに応じて、前記生成画像データを創出する、請求項１に記載の画像生成装置。
【請求項５】
前記画像特徴ベクトル生成手段は深層ニューラルネットワークにより構成され、
前記画像生成手段は、敵対ニューラルネットワークにより構成された、請求項４に記載の画像生成装置。
【請求項６】
画像データから画像特徴ベクトルを生成する第一のステップと、
前記画像データに対応する言語データからキャプション特徴ベクトルを生成する第二のステップと、
前記画像特徴ベクトルと前記キャプション特徴ベクトルに応じて共通特徴ベクトルを生成する第三のステップと、
前記共通特徴ベクトルに応じて生成画像データを創出する第四のステップとを有する画像生成方法。
【請求項７】
前記第二のステップでは、単語間の類似度を加味して前記キャプション特徴ベクトルを生成する、請求項６に記載の画像生成方法。
【請求項８】
前記第四のステップでは、さらに、前記画像データと言語データに基づいて、前記生成画像データを創出する、請求項６に記載の画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を生成する技術に関するものである。
【背景技術】
【０００２】
近年においては、非特許文献１及び２に示されるように、キャプション文（説明文）を基に、敵対ニューラルネットワークを用いて画像を生成する手法が提案されている。
【０００３】
なお、非特許文献３及び４には、画像認識用の深層ニューラルネットと画像生成用の敵対ニューラルネットを同時学習する手法が提案されている。
【０００４】
一方、特許文献においては、例えば特許文献１には、ニューラルネットワークを利用した画像レイアウト装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２７４１３９号公報
【非特許文献】
【０００６】
【非特許文献１】S. Reed, Z. Akata, X. Yan, L. Logeswaran, B. Schiele, and H. Lee, “Generative Adversarial Text to Image Synthesis”, arXiv:1605.05396, 2016
【非特許文献２】H. Zhang, T. Xu, H. Li, S. Zhang, X. Huang, X. Wang, D. Metacas, “StackGAN:Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks”, arXiv:1612.03242, 2016
【非特許文献３】V. Dumoulin, I. Belghazi, B. Poole, O. Mastropietro, A. Lamb, M. Arjovsky, A. Courville, “Adversarially Learned Inference”, arXiv:1606.00704, 2016
【非特許文献４】J. Donahue, P. Krahenbuhl, and T. Darell, “Adversarial Feature Learning”, arXiv:1605.09782, 2016
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１及び２に記載された手法は、自然な言語表現（文章）の入力を想定しているが、必ずしも入力された文章に対して一義的に対応した情報を利用することはできないため、脳の活動による視覚関連情報を映像として可視化する場合、被検体の視覚体験を十分に再現できないという問題がある。
【０００８】
本発明は、このような問題を解決するためになされたもので、被検体の視覚体験をより正確に可視化した画像を生成する装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、画像データから画像特徴ベクトルを生成する画像特徴ベクトル生成手段と、画像に対応するテキストデータからキャプション特徴ベクトルを生成するキャプション特徴ベクトル生成手段と、キャプション特徴ベクトルと画像特徴ベクトルに応じて共通特徴ベクトルを生成する共通特徴ベクトル生成手段と、共通特徴ベクトルに応じて生成画像データを創出する画像生成手段と、脳の活動データを脳活動特徴ベクトルに変換する変換手段と、脳活動特徴ベクトルを画像特徴ベクトル生成手段により生成されるベクトル及び共通特徴ベクトルと比較して、最も相関が高いベクトルを生成するチャネルへ選択的に脳活動特徴ベクトルを供給する選択手段とを備えた画像生成装置を提供する。
【００１０】
また、上記課題を解決するため、本発明は、画像データから画像特徴ベクトルを生成する第一のステップと、画像データに対応する言語データからキャプション特徴ベクトルを生成する第二のステップと、画像特徴ベクトルとキャプション特徴ベクトルに応じて共通特徴ベクトルを生成する第三のステップと、共通特徴ベクトルに応じて生成画像データを創出する第四のステップとを有する画像生成方法を提供する。
【発明の効果】
【００１１】
本発明によれば、ユーザの視覚体験をより正確に可視化した画像を生成する装置及び方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る画像生成装置１の構成を示すブロック図である。
【図２】図１に示された画像認識用深層ニューラルネットワーク部２の構成を示すブロック図である。
【図３】図１に示された画像生成用敵対ニューラルネットワーク部４の構成を示すブロック図である。
【図４】本発明の実施の形態１に係る画像生成方法を示す第一のフローチャートである。
【図５】本発明の実施の形態１に係る画像生成方法を示す第二のフローチャートである。
【図６】本発明の実施の形態１に係る画像生成方法を示す第三のフローチャートである。
【図７】図４に示されたステップＳ１２におけるキャプション特徴ベクトルの生成方法を示す図である。
【図８】本発明の実施の形態２に係る画像生成装置１０の構成を示すブロック図である。
【図９】図８に示された画像符号化用深層ニューラルネットワーク部１２の構成を示すブロック図である。
【図１０】図８に示された画像復号化用深層ニューラルネットワーク部１４の構成を示すブロック図である。
【図１１】本発明の実施の形態３に係る画像生成装置２０の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
【００１４】
本発明の実施の形態に係る画像生成装置及び画像生成方法は、ユーザの脳神経活動により認識される視覚体験を可視化した画像を生成するものである。本画像の生成においては、視覚要素を示す単純な情報を網羅的に抽出し、抽出された情報に関連する言語情報が補助的に利用される。すなわち、ユーザにより認識される画像をクエリ―として、言語情報を援用しながら、似た画像を自動的に生成する。以下において、本画像生成装置及び画像生成方法について詳しく説明する。
【００１５】
［実施の形態１］
図１は、本発明の実施の形態１に係る画像生成装置１の構成を示すブロック図である。図１に示されるように、画像生成装置１は、画像認識用深層ニューラルネットワーク部２と、変換切替部３と、画像生成用敵対ニューラルネットワーク部４と、乱数生成部５と、表示部６と、記憶部７を備える。
【００１６】
画像認識用深層ニューラルネットワーク部２は変換切替部３に接続され、画像生成用敵対ニューラルネットワーク部４は画像認識用深層ニューラルネットワーク部２及び乱数生成部５に接続される。また、表示部６は画像生成用敵対ニューラルネットワーク部４及び記憶部７に接続され、記憶部７はさらに画像生成用敵対ニューラルネットワーク部４に接続される。
【００１７】
ここで、画像認識用深層ニューラルネットワーク部２は、入力される画像データDGと画像に対応するキャプションデータDL（ならびにその他のテキストデータDT）に応じて言語・画像共通特徴ベクトルVcを生成する。また、変換切替部３は、入力された画像観察時における脳の活動データDを脳活動特徴ベクトルVbに変換すると共に、画像認識用深層ニューラルネットワーク部２から供給された回帰結果信号Rに応じて脳の活動データDとの相関が最も高いチャネルを選択して、当該チャネルへ脳活動特徴ベクトルVbを供給する。
【００１８】
また、画像生成用敵対ニューラルネットワーク部４は、画像データDGと言語・画像共通特徴ベクトルVc及び乱数ベクトルVrに応じて生成画像を創出する。
【００１９】
また、乱数生成部５は乱数ベクトルVrを生成し、表示部６は画像生成用敵対ニューラルネットワーク部４により創出され若しくは記憶部７に記憶された生成画像を表示する。また、記憶部７は画像生成用敵対ニューラルネットワーク部４により創出された生成画像を記憶する。
【００２０】
図２は、図１に示された画像認識用深層ニューラルネットワーク部２の構成を示すブロック図である。図２に示されるように、画像認識用深層ニューラルネットワーク部２は画像認識用深層ニューラルネットワーク２１とキャプション特徴ベクトル生成部２２と共通特徴ベクトル生成部２３を備える。
【００２１】
画像認識用深層ニューラルネットワーク２１は変換切替部３に接続され、共通特徴ベクトル生成部２３は画像認識用深層ニューラルネットワーク２１、キャプション特徴ベクトル生成部２２及び変換切替部３に接続される。
【００２２】
ここで、画像認識用深層ニューラルネットワーク２１は、畳込演算層と全結合層から構成されるｎ個の層Ｌｖ１〜Ｌｖｎからなるニューラルネットワークであり、画像特徴ベクトルVgを生成する。キャプション特徴ベクトル生成部２２は、キャプションデータDLからキャプション特徴ベクトルVsを生成する。共通特徴ベクトル生成部２３は、画像に対応したキャプション特徴量が表現されるベクトル空間と画像特徴量が表現されるベクトル空間が一致するような変換を予め機械学習することで、言語・画像共通特徴ベクトルVcの生成が可能となる。
【００２３】
そして、図１に示された変換切替部３は、回帰や正準相関解析等の手法を適用することにより上記各層Ｌｖ１〜Ｌｖｎからの出力、画像認識用深層ニューラルネットワーク２１により生成された画像特徴ベクトルVg、及び共通特徴ベクトル生成部２３により生成された言語・画像共通特徴ベクトルVcと、脳活動特徴ベクトルVbとの間でそれぞれ算出された回帰結果を示す回帰結果信号Rに応じて、回帰結果の成績が最も良い、すなわち脳の活動データDとの相関度が最も高いベクトルを生成するチャネルを選択し、後述する実行フェーズ時に当該チャンネルに直接脳活動特徴ベクトルVbを供給し、脳活動データDから共通特徴ベクトルVcの生成を可能にする。
【００２４】
従って、例えば、脳の活動データDと層Ｌｖ２からの出力との相関度が最も高い場合には、変換切替部３は層Ｌｖ２を最適チャネルとし、脳の活動データDと言語・画像共通特徴ベクトルVcとの相関度が最も高い場合には、変換切替部３は共通特徴ベクトル生成部２３を最適チャネルとし、脳活動特徴ベクトルVbを供給する。
【００２５】
図３は、図１に示された画像生成用敵対ニューラルネットワーク部４の構成を示すブロック図である。図３に示されるように、画像生成用敵対ニューラルネットワーク部４は画像生成用深層ニューラルネットワーク４１と、判別用深層ニューラルネットワーク４２と、誤差検出器４３を備える。
【００２６】
画像生成用深層ニューラルネットワーク４１は、共通特徴ベクトル生成部２３と乱数生成部５及び誤差検出器４３に接続される。また、判別用深層ニューラルネットワーク４２は、共通特徴ベクトル生成部２３と画像生成用深層ニューラルネットワーク４１及び誤差検出器４３に接続される。
【００２７】
ここで、画像生成用深層ニューラルネットワーク４１は、ｎ′個の層Ｌｇ１〜Ｌｇｎ′からなるニューラルネットワークであり、各層は畳込演算層と全結合層から構成される。この画像生成用深層ニューラルネットワーク４１においては、言語・画像共通特徴ベクトルVcの情報を利用しながら乱数ベクトルVrを元に画像が合成される。
【００２８】
一方、判別用深層ニューラルネットワーク４２は、ｎ″個の層Ｌｄ１〜Ｌｄｎ″からなるニューラルネットワークであり、各層は畳込演算層と全結合層から構成される。この判別用深層ニューラルネットワーク４２においては、画像データベース等にある画像データ（実画像）DG及び画像生成用深層ニューラルネットワーク４１が創出した生成画像が入力され、入力された画像が実画像であるか生成画像であるかに応じて判別信号が出力される。
【００２９】
また、誤差検出器４３は、判別用深層ニューラルネットワーク４２が、実画像を入力したのに生成画像を示す判別信号を出力し、若しくは生成画像を入力したのに実画像を示す判別信号を出力した場合、判別用深層ニューラルネットワーク４２により誤った判別信号が生成されたものとみなし、画像生成用深層ニューラルネットワーク４１及び判別用深層ニューラルネットワーク４２に対して、当該演算で用いる重み係数を修正するための信号errを供給する。
【００３０】
このようにして、画像生成用敵対ニューラルネットワーク部４では、画像生成用深層ニューラルネットワーク４１は判別用深層ニューラルネットワーク４２にとって、実画像と区別できないような生成画像を出力するように学習し、判別用深層ニューラルネットワーク４２は実画像と生成画像を正しく区別できるように学習する。
【００３１】
図４から図６は、本発明の実施の形態１に係る画像生成方法を示すフローチャートである。なお、後に詳しく説明するように、図４は画像データDGと画像のキャプションデータDLから画像認識用深層ニューラルネットワーク部２の最適化学習を行う第一の学習フェーズを示し、図５は画像データDGと脳活動データDを使って変換切り替え部３の最適化学習を行う第二の学習フェーズを示す。また、図６は脳活動データDのみを用いる実行フェーズを示す。
【００３２】
以下においては、図１に示された画像生成装置１を用いて図４から図６に示された画像生成方法を実行する場合を一例として説明するが、本方法は図１に示された画像生成装置１を用いて行う場合に限られず、他の手段を用いて実行されても良いことは言うまでもない。
【００３３】
図４に示された最初のステップＳ１１において、画像認識用深層ニューラルネットワーク２１は、脳により認識される画像データDGに基づいて画像特徴ベクトルVgを生成する。なお、画像特徴ベクトルVgは、例えばコンピュータビジョン研究でよく用いられるＶＧＧ１９（”Very Deep Convolutional Networks for Large-Scale Image Recognition”, K.Simonyan, A.Zisserman, arXiv:1409.1556）を使用することにより生成される。
【００３４】
次のステップＳ１２においては、キャプション特徴ベクトル生成部２２が当該画像に対応するキャプションデータDLからキャプション特徴ベクトルVsを生成する。以下においては、キャプション特徴ベクトルVsの生成方法を、図７を参照しつつ詳しく説明する。
【００３５】
なお、図７においては、画像データDGに対応したキャプションデータDLに基づいて、キャプション特徴ベクトルVｓを生成する場合が示されている。
【００３６】
図７に示されるように、まずは、画像に対応したキャプションデータDLと予め用意された単語リストＷとを照合し、リストアップされた各単語ｗ１〜ｗkを抽出して出現回数をカウントし、リスト単語出現回数ベクトルw_oを生成する。
【００３７】
一方、画像に関係ないテキストデータDTに対しても上記単語リストＷと照合し、全リスト単語の特徴ベクトルの集合であるリスト単語特徴行列Ａを生成する。なお、このリスト単語特徴行列Ａは、テキストデータから各単語の出現関係を機械学習することによって各単語をベクトル表現する手法であるワードトゥベック（Word2vec）などの自然言語処理により生成される。そして、生成されたリスト単語特徴行列Ａに基づいて、リスト単語の類似度行列Ｃが算出される。
【００３８】
次に、上記のリスト単語出現回数ベクトルにリスト単語の類似度行列Ｃを乗じることによって、リスト単語出現重みベクトルw_o’を生成する。
【００３９】
ここで、リスト単語出現回数ベクトルにリスト単語の類似度行列Ｃを乗じることは、キャプションに直接出現しない単語の寄与を、他のテキストとの間における言語間の類似度を利用して加味することを意味する。
【００４０】
次に、リスト単語出現重みベクトルw_o’にリスト単語特徴行列Ａを乗じることにより、キャプション特徴ベクトルVsを生成する。
【００４１】
その後、ステップＳ１３において、共通特徴ベクトル生成部２３は、変換切替部３により生成された脳活動特徴ベクトルVbと画像認識用深層ニューラルネットワーク２１により生成された画像特徴ベクトルVgとキャプション特徴ベクトル生成部２２により生成されたキャプチョン特徴ベクトルVsに応じて、言語・画像共通特徴ベクトルVcを生成する。
【００４２】
ここで、共通特徴ベクトル生成部２３は、回帰解析や正準相関解析の他、自然言語処理で広く用いられる公知論文（”Unifying visual semantic embedings with multimodal neural language models”, Kiros, Salakhutdinov, Zemel, arXiv:1411.2539）に記載された方法を用いて画像特徴ベクトルとキャプション特徴ベクトルが一致するベクトルに変換されるよう予め学習させたものとされる。
【００４３】
次に、ステップＳ１４において、画像生成用敵対ニューラルネットワーク部４は、言語・画像共通特徴ベクトルVcと乱数ベクトルVrに応じて、生成画像データを創出する。なお、創出された生成画像データは、ユーザの操作に応じて表示部６に表示され、又は記憶部７に記憶される。
【００４４】
第二の学習フェーズでは、図５に示されたステップＳ２１において、脳の各領域（部位）を対象として脳・神経活動計測装置を用いて計測したデータから構成される脳活動データDを取得する。
【００４５】
次に、ステップＳ２２において、変換切替部３は脳活動データDを変換して脳活動特徴ベクトルVbを生成する。
【００４６】
次に、ステップＳ２３において、変換切替部３は、画像認識用深層ニューラルネットワーク２１の各層の出力ベクトルならびに、共通特徴ベクトルVcと、脳活動特徴ベクトルVbを比較し、最も回帰結果の良い変換に応じて最適化学習を行うとともに、脳活動特徴ベクトルVbと最も相関の高いベクトルを生成するチャネルを最適チャネルとして選択する。
【００４７】
実行フェーズにおいては、図６に示されたステップＳ３１において脳活動データDを取得し、ステップＳ３２で変換切替部３は脳活動データDを脳活動特徴ベクトルVbに変換した後、ステップＳ３３で変換切替部３が脳活動特徴ベクトルVbを画像認識用深層ニューラルネットワーク部２の最適チャネルに供給する。
【００４８】
そして、ステップＳ３４では、画像生成用敵対ニューラルネットワーク部４は、画像認識用深層ニューラルネットワーク部２によって脳活動特徴ベクトルVbに基づき生成された言語・画像共通特徴ベクトルVcに応じて生成画像データを創出する。
【００４９】
以上より、本発明の実施の形態１に係る画像生成装置１によれば、視覚のみならず言語情報の特徴量表現も利用して画像を生成するため、ユーザの視覚体験をより正確に可視化した画像を創出することができる。
【００５０】
［実施の形態２］
以下においては、実施の形態１との相違点のみにつき説明し、共通点については説明を省略する。
【００５１】
図８は、本発明の実施の形態２に係る画像生成装置１０の構成を示すブロック図である。図８に示されるように、実施の形態２に係る画像生成装置１０は実施の形態１に係る画像生成装置１と同様な構成を有するが、画像認識用深層ニューラルネットワーク部２と画像生成用敵対ニューラルネットワーク部４の替わりに、画像に対応したキャプションデータなどの言語データDLが供給され、キャプション特徴ベクトルVsを生成するキャプション特徴ベクトル生成部２２と、画像符号化用深層ニューラルネットワーク部１２と、画像データDGとキャプション特徴ベクトルVsが供給される画像復号化用深層ニューラルネットワーク部１４が備えられたものである。
【００５２】
また、図８に示された変換切替部１３は、図１に示された変換切替部３と同様な機能を有するが、各層Ｌｅ１〜Ｌｅｎからの出力、ベクトル生成部１６により生成された推定乱数ベクトルEVr、推定キャプション特徴ベクトルEVsと、脳活動特徴ベクトルVbとの間でそれぞれ算出された回帰結果を示す回帰結果信号Rに応じて、回帰結果の成績が最も良い、すなわち相関度が最も高いベクトルを生成するチャネルを選択し、実行フェーズ時に脳活動特徴ベクトルVbを選択したチャネルへ供給する。
【００５３】
図９は、図８に示された画像符号化用深層ニューラルネットワーク部１２の構成を示すブロック図である。図９に示されるように、画像符号化用深層ニューラルネットワーク部１２は画像符号化用深層ニューラルネットワーク１５とベクトル生成部１６を備える。
【００５４】
画像符号化用深層ニューラルネットワーク１５は変換切替部１３と誤差検出器１７に接続され、ベクトル生成部１６は画像符号化用深層ニューラルネットワーク１５及び変換切替部１３に接続される。
【００５５】
ここで、画像符号化用深層ニューラルネットワーク１５は、畳込演算層と全結合層から構成されるｎ個の層Ｌｅ１〜Ｌｅｎからなるニューラルネットワークであり、画像特徴ベクトルVgを生成する。また、ベクトル生成部１６は、画像特徴ベクトルVgを入力し、推定キャプション特徴ベクトルEVs及び推定乱数ベクトルEVrを出力する。
【００５６】
図１０は、図８に示された画像復号化用深層ニューラルネットワーク部１４の構成を示すブロック図である。図１０に示されるように、画像復号化用深層ニューラルネットワーク部１４は図３に示された画像生成用敵対ニューラルネットワーク部４と同様な構成を有するが、画像復号化用深層ニューラルネットワーク１８は、乱数ベクトルVrとキャプション特徴ベクトル生成部２２が生成するキャプション特徴ベクトルVsを入力して画像を生成する。
【００５７】
また、判別用深層ニューラルネットワーク１９は、キャプション特徴ベクトルVs、乱数ベクトルVr、及び生成画像（以下「生成画像関連データ」という。）か、若しくは推定乱数ベクトルEVr及びベクトル生成部１６で生成された推定キャプション特徴ベクトルEVsと、画像データDG（以下「実画像関連データ」という。）を入力とし、入力されたデータが生成画像関連データか実画像関連データかを判別する。
【００５８】
ここで、上記のように推定キャプション特徴ベクトルEVs及び推定乱数ベクトルEVrを利用する画像生成装置１０の実装は、公知論文（”Adversarial Feature Learning”, Jeff Donahue, Philipp Krahenbuhl, Trevor Darrell, arXiv:1605.09782や”Adversarially Learned Inference”, Vincent Dumoulin, Ishmael Belghazi, Ben Poole, Olivier Mastropietro, Alex Lamb, Martin Arjovsky, Aaron Courville, arXiv:1606.00704）に示された方法により実現できる。
【００５９】
以上のような本発明の実施の形態２に係る画像生成装置１０によれば、画像データDGのみならず画像に対応したキャプションデータDLなどの言語データをも参照して画像を生成するため、かかる言語データが使用できる環境においては、脳により認識される実画像により近い画像を創出することができる。
【００６０】
［実施の形態３］
図１１は、本発明の実施の形態３に係る画像生成装置２０の構成を示すブロック図である。図１１に示されるように、画像生成装置２０は、上記実施の形態２に係る画像生成装置１０においてさらに、上記実施の形態１に係る画像認識用深層ニューラルネットワーク部２を追加した構成を有する。ただし、画像復号化用深層ニューラルネットワーク部１４には、キャプション特徴ベクトル生成部２２が生成するキャプション特徴ベクトルVsの代わりに、画像認識用深層ニューラルネットワーク部２において生成される言語・画像共通特徴ベクトルVcが入力される。
【００６１】
このような構成を有する本発明の実施の形態３に係る画像生成装置２０によれば、一つの装置において、上記実施の形態１に係る画像生成装置１と上記実施の形態２に係る画像生成装置１０の双方の機能を実現することができる。
【符号の説明】
【００６２】
１，１０，２０  画像生成装置
２  画像認識用深層ニューラルネットワーク部
３，１３  変換切替部
４  画像生成用敵対ニューラルネットワーク部
１２  画像符号化用深層ニューラルネットワーク部
１４  画像復号化用深層ニューラルネットワーク部
１５  画像符号化用深層ニューラルネットワーク
１６  ベクトル生成部
１８  画像復号化用深層ニューラルネットワーク
２１  画像認識用深層ニューラルネットワーク
２２  キャプション特徴ベクトル生成部
２３  共通特徴ベクトル生成部
４１  画像生成用深層ニューラルネットワーク
１９，４２  判別用深層ニューラルネットワーク
１７，４３  誤差検出器
【図１】
2018205885.tif 000003
【図２】
2018205885.tif 000004
【図３】
2018205885.tif 000005
【図４】
2018205885.tif 000006
【図５】
2018205885.tif 000007
【図６】
2018205885.tif 000008
【図７】
2018205885.tif 000009
【図８】
2018205885.tif 000010
【図９】
2018205885.tif 000011
【図１０】
2018205885.tif 000012
【図１１】
2018205885.tif 000013