(57)【要約】      （修正有）【課題】実際の世界に仮想世界を結合する過程において、３次元情報を用いずに拡張性の高い映像の回転、並進及び変形処理を含む相互作用処理の方法及び装置を提供する。【解決手段】映像の相互作用処理装置は、エンコーダを用いて入力映像から入力特徴を抽出し、入力映像に適用するための相互作用に基づいて入力特徴を第２特徴に変換し、デコーダを用いて第２特徴から結果映像を生成する。【選択図】図３
2019114227.tif 000002
【特許請求の範囲】
【請求項１】
エンコーダにより、入力映像から入力特徴を抽出するステップと、
前記入力映像に適用するための相互作用に基づいて、前記入力特徴を第２特徴に変換するステップと、
デコーダにより、前記第２特徴から結果映像を生成するステップと、
を含む映像の相互作用処理方法。
【請求項２】
前記入力特徴を前記第２特徴に変換するステップは、
前記相互作用に対応する特徴マップを前記入力特徴に結合するステップと、
変換網を用いて、前記特徴マップが結合された前記入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップと、
を含む、請求項１に記載の映像の相互作用処理方法。
【請求項３】
前記特徴マップに含まれた少なくとも１つの値は前記相互作用に対応する、請求項２に記載の映像の相互作用処理方法。
【請求項４】
ユーザ入力から前記入力映像に適用するための相互作用を識別するステップをさらに含み、
前記入力特徴を第２特徴に変換するステップは、前記識別された相互作用に対応する少なくとも１つの値を用いて、前記入力特徴に結合するための特徴マップを生成するステップをさらに含む、請求項２に記載の映像の相互作用処理方法。
【請求項５】
前記入力特徴を第２特徴に変換するステップは、
第１相互作用に対応する第１特徴マップ及び第２相互作用に対応する第２特徴マップを前記入力特徴に結合するステップと、
前記第１特徴マップ及び前記第２特徴マップが結合された前記入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップと、
を含む、請求項１に記載の映像の相互作用処理方法。
【請求項６】
前記入力特徴を第２特徴に変換するステップは、
相互作用にそれぞれ対応して定義された変換網のうち、前記相互作用に対応する変換網を選択するステップと、
前記選択された変換網を用いて、前記入力特徴を第２特徴に変換するステップと、
を含む、請求項１に記載の映像の相互作用処理方法。
【請求項７】
ユーザ入力から前記入力映像に適用するための相互作用を識別するステップをさらに含み、
前記入力特徴を第２特徴に変換するステップは、前記変換網のうち前記識別された相互作用に対応する変換網が存在するか否かを判断するステップをさらに含む、請求項６に記載の映像の相互作用処理方法。
【請求項８】
前記入力映像及び前記結果映像は単一チャネルの２次元映像であり、
前記入力特徴は、前記入力映像よりも空間サイズが小さい特徴マップを含み、
前記第２特徴は、前記結果映像よりも空間サイズが小さい特徴マップを含む、請求項１ないし７のうち何れか一項に記載の映像の相互作用処理方法。
【請求項９】
前記入力映像の空間サイズは、前記結果映像の空間サイズと同一である、請求項１ないし８のうち何れか一項に記載の映像の相互作用処理方法。
【請求項１０】
前記エンコーダは、単一チャネルの２次元映像から多チャネルの特徴を生成するためのＣＮＮを含み、
前記デコーダは、多チャネルの特徴から単一チャネルの２次元映像を生成するためのＣＮＮを含む、請求項１ないし９のうち何れか一項に記載の映像の相互作用処理方法。
【請求項１１】
前記相互作用は、前記入力映像に含まれたオブジェクトの回転、並進、及び変形のうち少なくとも１つを含む、請求項１ないし１０のうち何れか一項に記載の映像の相互作用処理方法。
【請求項１２】
エンコーダにより、トレーニング入力映像からトレーニング入力特徴を抽出するステップと、
前記トレーニング入力映像に適用するための相互作用に基づいて、前記トレーニング入力特徴を変換網を介して第２特徴に変換するステップと、
デコーダにより、前記第２特徴からトレーニング結果映像を生成するステップと、
前記トレーニング結果映像が前記トレーニング入力映像に前記相互作用が適用された映像と同一になるように、前記変換網を学習させるステップと、
を含む映像の相互作用処理のための学習方法。
【請求項１３】
前記トレーニング入力特徴を前記第２特徴に変換するステップは、
前記相互作用に対応する特徴マップを前記トレーニング入力特徴に結合するステップと、
前記変換網を用いて、前記特徴マップが結合された前記トレーニング入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップと、
を含む、請求項１２に記載の映像の相互作用処理のための学習方法。
【請求項１４】
前記トレーニング入力特徴を前記第２特徴に変換するステップは、
第１相互作用に対応する第１特徴マップ及び第２相互作用に対応する第２特徴マップを前記トレーニング入力特徴に結合するステップと、
前記変換網を用いて、前記第１特徴マップ及び前記第２特徴マップが結合された前記トレーニング入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップと、
を含む、請求項１２に記載の映像の相互作用処理のための学習方法。
【請求項１５】
前記トレーニング入力特徴を前記第２特徴に変換するステップは、
前記相互作用が存在しないものに対応する特徴マップに応答して、第１特徴マップに加重値を適用するステップと、
前記変換網を用いて、前記第１特徴マップが結合された前記トレーニング入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップと、
を含む、請求項１２に記載の映像の相互作用処理のための学習方法。
【請求項１６】
前記トレーニング入力特徴を前記第２特徴に変換するステップは、
前記相互作用が存在しないものに対応する特徴マップに応答して、第１特徴マップを第２特徴マップと結合し、結合された特徴マップを取得するステップと、
前記変換網を用いて、前記結合された特徴マップが結合された前記トレーニング入力特徴を前記デコーダの入力に適切な前記第２特徴に変換するステップと、
を含む、請求項１２に記載の映像の相互作用処理のための学習方法。
【請求項１７】
前記トレーニング入力特徴を前記第２特徴に変換するステップは、
相互作用にそれぞれ対応して定義された変換網のうち前記相互作用に対応する変換網を選択するステップと、
前記選択された変換網を用いて前記トレーニング入力特徴を第２特徴に変換するステップと、
を含む、請求項１２に記載の映像の相互作用処理のための学習方法。
【請求項１８】
前記トレーニング結果映像が前記トレーニング入力映像に前記相互作用が適用された映像と同一になるよう、前記エンコーダ及び前記デコーダを学習させるステップをさらに含む、請求項１２ないし１７のうち何れか一項に記載の映像の相互作用処理のための学習方法。
【請求項１９】
トレーニング入力映像から前記エンコーダによってトレーニング入力特徴が抽出され、
前記トレーニング入力特徴から前記デコーダによってトレーニング結果映像が生成され、
前記エンコーダ及び前記デコーダは、前記トレーニング入力映像と前記トレーニング結果映像とが同一になるよう予め学習される、請求項１２に記載の映像の相互作用処理のための学習方法。
【請求項２０】
請求項１〜１９のうち何れか一項に記載の方法を装置のコンピュータに実行させるコンピュータプログラム。
【請求項２１】
エンコーダを用いて入力映像から入力特徴を抽出し、
前記入力映像に適用するための相互作用に基づいて、前記入力特徴を第２特徴に変換し、
デコーダを用いて、前記第２特徴から結果映像を生成するプロセッサと、
を含む映像の相互作用処理装置。
【請求項２２】
前記プロセッサは、前記相互作用に対応する特徴マップを前記入力特徴に結合し、変換網を用いて前記特徴マップが結合された前記入力特徴を、前記デコーダの入力に適した第２特徴に変換する、請求項２１に記載の映像の相互作用処理装置。
【請求項２３】
前記プロセッサは、第１相互作用に対応する第１特徴マップ及び第２相互作用に対応する第２特徴マップを前記入力特徴に結合し、前記第１特徴マップ及び前記第２特徴マップが結合された前記入力特徴を、前記デコーダの入力に適した第２特徴に変換する、請求項２１に記載の映像の相互作用処理装置。
【請求項２４】
前記プロセッサは、相互作用にそれぞれ対応して定義された変換網のうち前記相互作用に対応する変換網を選択し、前記選択された変換網を用いて前記入力特徴を第２特徴に変換する、請求項２１に記載の映像の相互作用処理装置。
【請求項２５】
前記入力映像及び前記結果映像は単一チャネルの２次元映像であり、前記入力特徴は、前記入力映像よりも空間サイズが小さい特徴マップを含み、前記第２特徴は、前記結果映像よりも空間サイズが小さい特徴マップを含む、請求項２１ないし２４のうち何れか一項に記載の映像の相互作用処理装置。
【請求項２６】
前記エンコーダは、単一チャネルの２次元映像から多チャネルの特徴を生成するためのＣＮＮを含み、
前記デコーダは、多チャネルの特徴から単一チャネルの２次元映像を生成するためのＣＮＮを含む、請求項２１ないし２５のうち何れか一項に記載の映像の相互作用処理装置。
【請求項２７】
前記相互作用は、前記入力映像に含まれたオブジェクトの回転、並進、及び変形のうち少なくとも１つを含む、請求項２１ないし２６のうち何れか一項に記載の映像の相互作用処理装置。
【請求項２８】
エンコーダを用いて、トレーニング入力映像からトレーニング入力特徴を抽出し、
前記トレーニング入力映像に適用するための相互作用に基づいて、前記トレーニング入力特徴を変換網を介して第２特徴に変換し、
デコーダを用いて、前記第２特徴からトレーニング結果映像を生成し、
前記トレーニング結果映像が前記トレーニング入力映像に前記相互作用が適用された映像と同一になるように、前記変換網を学習させるプロセッサと、
を含む映像の相互作用処理のための学習装置。
【請求項２９】
前記プロセッサは、前記相互作用に対応する特徴マップを前記トレーニング入力特徴に結合し、前記変換網を用いて、前記特徴マップが結合された前記トレーニング入力特徴を、前記デコーダの入力に適した第２特徴に変換する、請求項２８に記載の映像の相互作用処理のための学習装置。
【請求項３０】
前記プロセッサは、第１相互作用に対応する第１特徴マップ及び第２相互作用に対応する第２特徴マップを前記トレーニング入力特徴に結合し、前記変換網を用いて、前記第１特徴マップ及び前記第２特徴マップが結合された前記トレーニング入力特徴を、前記デコーダの入力に適した第２特徴に変換する、請求項２８に記載の映像の相互作用処理のための学習装置。
【請求項３１】
前記プロセッサは、相互作用にそれぞれ対応して定義された変換網のうち前記相互作用に対応する変換網を選択し、前記選択された変換網を用いて前記トレーニング入力特徴を第２特徴に変換する、請求項２８に記載の映像の相互作用処理のための学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像の相互作用処理の技術分野に関連する。
【背景技術】
【０００２】
映像に相互作用を適用するための映像処理方式が提案されている。拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ；ＡＲ）を実現するために、実際の世界に仮想世界を結合する過程で映像の相互作用処理が求められる。映像のオブジェクトにユーザの相互作用を適用して体験感を高め、より実感のあるＡＲを実現するための方式が提案されている。
【０００３】
映像の相互作用処理のために２Ｄ（２次元）映像から３Ｄ（３次元）情報を抽出し、３Ｄ映像を復元して相互作用を適用するために、３Ｄ映像のレンダリング後２Ｄ映像を生成する方式が多く活用されている。また、神経網基盤の相互作用処理方式の研究も盛んに行われている。しかし、３Ｄ情報を用いる方式は多くの情報の要求によりエラーが多く、使用性が優れておらず、神経網基盤の相互作用処理に関する研究は定められた相互作用の処理に制限されるという制約があり、その拡張性が低い。従って、映像の相互作用処理の良好な性能を保障して拡張性の高い映像の相互作用処理技術が求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、映像の相互作用処理に関する技術を提供することにある。
【課題を解決するための手段】
【０００５】
一実施形態に係る映像の相互作用処理方法は、エンコーダにより、入力映像から入力特徴を抽出するステップと、前記入力映像に適用するための相互作用に基づいて、前記入力特徴を第２特徴に変換するステップと、デコーダにより、前記第２特徴から結果映像を生成するステップとを含む。
【０００６】
一実施形態によれば、前記入力特徴を前記第２特徴に変換するステップは、前記相互作用に対応する特徴マップを前記入力特徴に結合するステップと、変換網を用いて、前記特徴マップが結合された前記入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップとを含み得る。
【０００７】
一実施形態によれば、前記特徴マップに含まれた少なくとも１つの値は前記相互作用に対応し得る。
【０００８】
一実施形態に係る映像の相互作用処理方法は、ユーザ入力から前記入力映像に適用するための相互作用を識別するステップをさらに含み、前記入力特徴を第２特徴に変換するステップは、前記識別された相互作用に対応する少なくとも１つの値を用いて、前記入力特徴に結合するための特徴マップを生成するステップをさらに含み得る。
【０００９】
一実施形態によれば、前記入力特徴を第２特徴に変換するステップは、第１相互作用に対応する第１特徴マップ及び第２相互作用に対応する第２特徴マップを前記入力特徴に結合するステップと、前記第１特徴マップ及び前記第２特徴マップが結合された前記入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップとを含み得る。
【００１０】
一実施形態によれば、前記入力特徴を第２特徴に変換するステップは、相互作用にそれぞれ対応して定義された変換網のうち、前記相互作用に対応する変換網を選択するステップと、前記選択された変換網を用いて、前記入力特徴を第２特徴に変換するステップとを含み得る。
【００１１】
一実施形態に係る映像の相互作用処理方法は、ユーザ入力から前記入力映像に適用するための相互作用を識別するステップをさらに含み、前記入力特徴を第２特徴に変換するステップは、前記変換網のうち前記識別された相互作用に対応する変換網が存在するか否かを判断するステップをさらに含み得る。
【００１２】
一実施形態によれば、前記入力映像及び前記結果映像は単一チャネルの２次元映像であり、前記入力特徴は、前記入力映像よりも空間サイズが小さい特徴マップを含み、前記第２特徴は、前記結果映像よりも空間サイズが小さい特徴マップを含み得る。
【００１３】
一実施形態によれば、前記入力映像の空間サイズは、前記結果映像の空間サイズと同一であり得る。
【００１４】
一実施形態によれば、前記エンコーダは、単一チャネルの２次元映像から多チャネルの特徴を生成するためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を含み、前記デコーダは、多チャネルの特徴から単一チャネルの２次元映像を生成するためのＣＮＮを含み得る。
【００１５】
一実施形態によれば、前記相互作用は、前記入力映像に含まれたオブジェクトの回転、並進、及び変形のうち少なくとも１つを含み得る。
【００１６】
一実施形態に係る相互作用処理のための学習方法は、エンコーダを用いて、トレーニング入力映像からトレーニング入力特徴を抽出するステップと、前記トレーニング入力映像に適用するための相互作用に基づいて、前記トレーニング入力特徴を変換網を介して第２特徴に変換するステップと、デコーダを用いて、前記第２特徴からトレーニング結果映像を生成するステップと、前記トレーニング結果映像が前記トレーニング入力映像に前記相互作用が適用された映像と同一になるよう前記変換網を学習させるステップとを含む。
【００１７】
一実施形態によれば、前記トレーニング入力特徴を前記第２特徴に変換するステップは、前記相互作用に対応する特徴マップを前記トレーニング入力特徴に結合するステップと、前記変換網を用いて、前記特徴マップが結合された前記トレーニング入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップとを含み得る。
【００１８】
一実施形態によれば、前記トレーニング入力特徴を前記第２特徴に変換するステップは、第１相互作用に対応する第１特徴マップ及び第２相互作用に対応する第２特徴マップを前記トレーニング入力特徴に結合するステップと、前記変換網を用いて、前記第１特徴マップ及び前記第２特徴マップが結合された前記トレーニング入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップとを含み得る。
【００１９】
一実施形態によれば、前記トレーニング入力特徴を前記第２特徴に変換するステップは、前記相互作用が存在しないものに対応する特徴マップに応答して、第１特徴マップに加重値を適用するステップと、前記変換網を用いて、前記第１特徴マップが結合された前記トレーニング入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップとを含み得る。
【００２０】
一実施形態によれば、前記トレーニング入力特徴を前記第２特徴に変換するステップは、前記相互作用が存在しないものに対応する特徴マップに応答して、第１特徴マップを第２特徴マップと結合し、結合された特徴マップを取得するステップと、前記変換網を用いて、前記結合された特徴マップが結合された前記トレーニング入力特徴を、前記デコーダの入力に適した第２特徴に変換するステップとを含み得る。
【００２１】
一実施形態によれば、前記トレーニング入力特徴を前記第２特徴に変換するステップは、相互作用にそれぞれ対応して定義された変換網のうち前記相互作用に対応する変換網を選択するステップと、前記選択された変換網を用いて前記トレーニング入力特徴を第２特徴に変換するステップとを含み得る。
【００２２】
一実施形態に係る映像の相互作用処理のための学習方法は、前記トレーニング結果映像が前記トレーニング入力映像に前記相互作用が適用された映像と同一になるよう、前記エンコーダ及び前記デコーダを学習させるステップをさらに含み得る。
【００２３】
一実施形態によれば、トレーニング入力映像から前記エンコーダによってトレーニング入力特徴が抽出され、前記トレーニング入力特徴から前記デコーダによってトレーニング結果映像が生成され、前記エンコーダ及び前記デコーダは、前記トレーニング入力映像と前記トレーニング結果映像とが同一になるよう予め学習され得る。
【００２４】
一実施形態に係る映像の相互作用処理装置は、エンコーダを用いて入力映像から入力特徴を抽出し、前記入力映像に適用するための相互作用に基づいて、前記入力特徴を第２特徴に変換し、デコーダを用いて、前記第２特徴から結果映像を生成するプロセッサとを含む。
【００２５】
一実施形態に係る映像の相互作用処理のための学習装置、エンコーダを用いて、トレーニング入力映像からトレーニング入力特徴を抽出し、前記トレーニング入力映像に適用するための相互作用に基づいて、前記トレーニング入力特徴を変換網を介して第２特徴に変換し、デコーダを用いて、前記第２特徴からトレーニング結果映像を生成し、前記トレーニング結果映像が前記トレーニング入力映像に前記相互作用が適用された映像と同一になるよう前記変換網を学習させるプロセッサとを含む。
【図面の簡単な説明】
【００２６】
【図１】一実施形態に係る映像の相互作用処理方法を説明するための概念図である。
【図２】映像の相互作用処理方法を説明するためのフローチャートである。
【図３】一実施形態に係る特徴の変換動作を説明するための図である。
【図４】一実施形態に係る映像の相互作用処理方法を説明するための図である。
【図５】一実施形態に係る特徴の変換動作を説明するための図である。
【図６】一実施形態に係る特徴の変換動作を説明するための図である。
【図７】一実施形態に係る映像の相互作用処理方法を説明するための図である。
【図８】一実施形態に係る映像の相互作用処理方法を説明するための図である。
【図９】一実施形態に係る映像の相互作用処理のための学習方法を説明するための概念図である。
【図１０】映像の相互作用処理のための学習方法を説明するためのフローチャートである。
【図１１】一実施形態に係る映像の相互作用処理のための学習方法を説明するための図である。
【図１２】一実施形態に係る装置の構成の例示図である。
【発明を実施するための形態】
【００２７】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更されてもよい。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【００２８】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
【００２９】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００３０】
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００３１】
以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
【００３２】
一実施形態によれば、映像の相互作用処理装置（以下、映像処理装置と称する）は映像の相互作用を処理する装置として、例えば、ソフトウェアモジュール、ハードウェアモジュール、又はその組み合せにより実現される。映像処理装置は、映像の相互作用に関する動作、演算、及び命令などを生成又は処理する。映像処理装置は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、テレビ、ウェアラブル装置、セキュリティーシステム、スマートホームシステムなどの様々なコンピューティング装置及び／又はシステムに搭載される。映像処理装置は、予め構築されたデータベースからエンコーダ、変換網、及びデコーダに関する情報をロードし、データベースは、映像処理装置に含まれたメモリに具現されてもよいし、映像処理装置と有線、無線、又はネットワークなどに接続可能なサーバなどの外部装置として実現されてもよい。
【００３３】
映像の相互作用は、ユーザの入力、システムの内部又は外部の入力、又は設定に応じて映像に適用される効果として、映像内のオブジェクト又は対象の特性に応じて映像視点の変化、映像に含まれたオブジェクトの回転、並進（又は移動）及び変形を含む。例えば、ユーザの入力に反応して、映像内のオブジェクトが回転したり歪んだりした形態で相互作用が実行される。
【００３４】
一実施形態によれば、映像処理装置は、映像の３Ｄ情報を推定したり、３Ｄ映像を復元したりすることなく、映像から抽出された特徴を変換する方式により映像の相互作用を処理することが可能である。２Ｄ映像に相互作用を処理するために、映像の３Ｄ情報を推定したり、３Ｄ映像を復元したりする動作は多くの演算量を要求する一方、演算過程でエラーが累積する可能性が高い。しかしながら、映像処理装置は、３Ｄ情報を推定することなく、相互作用の適用のために映像から抽出された特徴を直接変換するため、相互作用処理、映像の理解度、及びオブジェクトの認識性能を高めることができる。映像処理装置は、２Ｄ映像でオブジェクトの特性を認識して映像に相互作用を適用して新しい映像を生成し得る。
【００３５】
以下、図１及び図２を参照して映像の相互作用処理方法の全般的な内容が説明される。図３〜図８を参照して映像の相互作用処理方法の実施形態が説明され、図９〜図１１を参照して映像の相互作用処理のための学習方法の内容が説明される。図１２を参照して、映像の相互作用処理装置と学習装置の構成が説明される。
【００３６】
図１は、一実施形態に係る映像の相互作用処理方法を説明するための概念図であり、図２は、映像の相互作用処理方法を説明するためのフローチャートである。
【００３７】
一実施形態によれば、映像処理装置は、入力映像１０１を取得する。入力映像１０１は、相互作用の適用のための少なくとも１つのオブジェクトを含み、２次元映像であり得る。映像処理装置は、エンコーダ１０２、変換網（図示せず）、及びデコーダ１０５のうち少なくとも１つを外部モジュールとして用いてもよいし、或いは内部モジュールとして含んでもよい。エンコーダ１０２は、入力されたデータを符号化して特徴を抽出する動作を行い、デコーダ１０５は、入力された特徴を復号化して映像を復元する動作を行う。
【００３８】
エンコーダ１０２は、ニューラルネットワークの一種として、入力されたデータを符号化して入力されたデータを表現する特徴を探すためのニューラルネットワークである。デコーダ１０５は、ニューラルネットワークの一種として、入力された特徴を復号化して入力された特徴が表現する映像を探すためのニューラルネットワークである。エンコーダ１０２とデコーダ１０５は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、ＬＳＴＭ（Ｌｏｎｇ  Ｓｈｏｒｔ  Ｔｅｒｍ  Ｍｅｍｏｒｙ）、及びＧＲＵ（Ｇａｔｅｄ  Ｒｅｃｕｒｒｅｎｔ  Ｕｎｉｔ）のうち少なくとも１つによって実現される。
【００３９】
一実施形態によれば、エンコーダ１０２とデコーダ１０５は１つのセットであるネットワークとして、互いに対称的な構造として実現される。例えば、エンコーダ１０２は、映像から特徴を抽出する分類モデルに具現され、デコーダ１０５は、特徴から映像を生成する生成モデルに具現される。１つのセットであるエンコーダ１０２ないしデコーダ１０５のネットワークは、入力レイヤ、隠しレイヤ、及び出力レイヤを含み、ここで、入力レイヤのノード数と出力レイヤのノード数は同一であってもよい。
【００４０】
入力レイヤから隠しレイヤにノードが活性化する過程を符号化又は埋め込みという。隠しレイヤから出力レイヤにノードが活性化する過程を復号化又は再構成という。入力レイヤ→隠しレイヤの構造と隠しレイヤ→出力レイヤの構造は互いに対称である。
【００４１】
一実施形態に係るエンコーダ１０２、デコーダ１０５ネットワークは、入力レイヤのノード数に対応する入力データを符号化して隠しレイヤのノード数に対応する特徴を生成し、生成された特徴を復号化して出力レイヤのノード数に対応する出力データを生成する。例えば、入力データ、生成された特徴、及び出力データのサイズは、エンコーダ１０２−デコーダ１０５ネットワークの入力レイヤ、隠しレイヤ、及び出力レイヤによって決定され、ここで、入力データと出力データのサイズは互いに同一である。
【００４２】
ただし、エンコーダ１０２とデコーダ１０５の構造は、互いに対称的な構造であるように制限される必要はない。エンコーダ１０２とデコーダ１０５は、それぞれ入力レイヤ、隠しレイヤ、及び出力レイヤを含んでもよく、互いに対称的な構造は設計意図、システム効率、及び採用された学習、及び認識方式の類型に応じて様々に応用又は変形され得る。エンコーダ１０２とデコーダ１０５は、それぞれ特徴の抽出動作と映像の生成動作を行うニューラルネットワークとして様々な方式が採用されて実現され得る。
【００４３】
映像処理装置は、エンコーダ１０２を用いて入力映像１０１から入力特徴１０３を抽出する（Ｓ２０１）。一実施形態によれば、エンコーダ１０２は、入力映像１０１の空間サイズを減少する代わりに、チャネル数を増加させる符号化を行い、符号化結果として入力映像１０１の埋め込みデータである入力特徴１０３を生成する。エンコーダ１０２により抽出された特徴は、映像を分類したり識別したりするために活用され、この場合、エンコーダ１０２は分類モデルとして採用される。
【００４４】
映像処理装置は、入力映像１０１に適用するための相互作用に基づいて、入力特徴（即ち、第１特徴）１０３を第２特徴１０４に変換する（Ｓ２０２）。一実施形態によれば、映像処理装置は、相互作用に対応する値又は関数を入力特徴１０３に適用し、相互作用が反映された第２特徴１０４を生成する。映像処理装置は、デコーダ１０５の入力に適するよう第２特徴１０４を生成するが、特徴の変換動作に関する詳しい内容については、図３〜図７を参照して後述する。
【００４５】
映像処理装置は、デコーダ１０５を用いて第２特徴１０４から結果映像１０６を生成する（Ｓ２０３）。一実施形態によれば、デコーダ１０５は、第２特徴１０４の空間サイズを増加させる代わりにチャネル数を減少させる復号化を行って、復号化の結果として第２特徴１０４の復元データである結果映像１０６を生成する。デコーダ１０５は特徴から映像を復元するために活用され、この場合にデコーダ１０５は生成モデルとして採用され得る。
【００４６】
映像処理装置は、エンコーダ１０２から抽出された入力特徴１０３に相互作用を適用する方式によって入力特徴１０３を第２特徴１０４に変換し、デコーダ１０５を用いて変換された第２特徴１０４から結果映像１０６を復元するため、入力映像１０１に相互作用（例えば、反時計回りにオブジェクトを回転）が適用された結果映像１０６を生成し得る。映像処理装置は、３Ｄ情報推定の中間過程なしに特徴変換動作を行うため、相互作用の処理性能を高めることができ、ディープランニング基盤のエンコーダ１０２、変換網（図示せず）、及びデコーダ１０５を活用することから、学習を介して認識の性能を改善することができる。
【００４７】
図３は、一実施形態に係る特徴の変換動作を説明するための図である。
【００４８】
図３を参照すれば、映像処理装置は、エンコーダによって生成された入力特徴３０１を取得し、相互作用に対応する特徴マップ３０２を入力特徴３０１に結合する。映像処理装置は、変換網を用いて特徴マップ３０２が結合された入力特徴３０３をデコーダの入力に適するよう第２特徴３０４に変換する。ここで、特徴マップ３０２は、相互作用に対応する少なくとも１つの値を含んでもよい。
【００４９】
一実施形態によれば、入力特徴３０１を生成するエンコーダは、単一チャネルの２次元映像から多チャネルの特徴を生成するためのＣＮＮを含み、第２特徴３０４から映像を復元するデコーダは、多チャネルの特徴から単一チャネルの２次元映像を生成するためのＣＮＮを含んでもよい。特徴マップ３０２が結合された入力特徴３０３を第２特徴３０４に変換する変換網はＣＮＮを含んでもよい。ただし、一実施形態に係るエンコーダは多チャネルの多次元映像から特徴を生成し、デコーダは、エンコーダから生成された特徴から多チャネルの多次元映像を生成し、エンコーダとデコーダが処理する映像のチャネル及び次元は実施形態によって様々に変形され得る。
【００５０】
機械学習（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）において、神経網（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の一種であるＣＮＮは、畳み込み演算を行うよう設計された畳み込みレイヤを含む。ＣＮＮを構成している畳み込みレイヤは、少なくとも１つのカーネルを用いて入力に関する畳み込み演算を行う。ＣＮＮが複数の畳み込みレイヤを含む場合、映像処理装置は、ＣＮＮで具現されたエンコーダを用いて入力映像の畳み込み演算を行い、ＣＮＮで具現された変換網を用いて特徴マップ３０２が結合された入力特徴３０３の畳み込み演算を行い、ＣＮＮで具現されたデコーダを用いて第２特徴３０４の畳み込み演算を行うことができる。各畳み込みレイヤの入力、少なくとも１つのカーネル、及び出力のサイズは、該当の畳み込みレイヤが設計された態様に応じて定義される。
【００５１】
入力映像が単一チャネルの２次元映像であり、エンコーダの畳み込みレイヤのカーネルの数がＣである場合、エンコーダから生成される入力特徴３０１の入力特徴マップの数はＣであるため、ここで入力特徴３０１のチャネル数はＣである。例えば、入力特徴３０１の入力特徴マップの幅と高さがＷ×Ｈである場合、入力特徴マップのサイズはＷ×Ｈであり、入力特徴３０１のサイズはＷ×Ｈ×Ｃに表現される。ここで、入力特徴３０１の空間サイズはＷ×Ｈであるが、エンコーダによる符号化過程を経て入力特徴３０１の空間サイズは、入力映像の空間サイズよりも小さくなることがある。入力映像の空間サイズがＡ×Ｂであると仮定すれば、エンコーダの畳み込みレイヤのカーネルの空間サイズ、畳み込み演算のためのスライドストライド（ｓｔｒｉｄｅ）のサイズ、パッド（ｐａｄ）のサイズに応じて、Ｗ×ＨはＡ×Ｂよりも小さくなる。入力特徴３０１のチャネルは、単一チャネルの入力映像とは異なって、エンコーダの畳み込みレイヤのカーネル数に応じて多チャネルであり得る。
【００５２】
入力特徴３０１に結合される特徴マップ３０２の空間サイズは、入力特徴３０１の空間サイズと同一に設定され、特徴マップ３０２内に含まれた値は相互作用に対応する値と表現される。例えば、サイズがＷ×Ｈである特徴マップ３０２は、剛体のような（ｒｉｇｉｄ）物体の映像に力を加える相互作用（移動又は並進）に対応する値を含んでもよいし、ソフトな物体の映像に力を加える相互作用（物体の形状が変形）に対応する値を含んでもよい。特徴マップ３０２が結合された入力特徴３０３は、サイズがＷ×Ｈである特徴マップ３０２を含んでいるため、特徴マップ３０２が結合された入力特徴３０３のサイズはＷ×Ｈ×（Ｃ＋１）のように表現される。特徴マップ３０２に含まれた値の組合せは相互作用に応じて定義され、その値を定義する方式として、設計意図、学習、及びシステムの効率と性能を考慮して様々な方式が適用され得る。
【００５３】
映像処理装置は、ＣＮＮを含む変換網を用いて特徴マップ３０２が結合された入力特徴３０３をデコーダの入力に適するよう第２特徴３０４に変換し得る。一実施形態によれば、映像処理装置は、特徴マップ３０２が結合された入力特徴３０３をデコーダのＣＮＮの入力ノードに対応するよう第２特徴３０４に変換する。デコーダがエンコーダの対称構造に設計され、特徴マップ３０２が結合された入力特徴３０３のサイズがＷ×Ｈ×（Ｃ＋１）である場合、ＣＮＮを含む変換網の入力レイヤと出力レイヤはそれぞれのサイズがＷ×Ｈ×（Ｃ＋１）である特徴と、サイズがＷ×Ｈ×Ｃである特徴に適するよう設計される。映像処理装置は、特徴マップ３０２が結合された入力特徴３０３の次元、又はサイズを本来のエンコーダ及びデコーダに処理する形態に変換し得る。特徴マップ３０２が結合された入力特徴３０３を変換することは、デコーダを介して映像を復元するためである。
【００５４】
映像処理装置は、デコーダのＣＮＮに適するよう変換された第２特徴３０４からデコーダのＣＮＮを用いて結果映像を生成する。一実施形態によれば、エンコーダのＣＮＮの構造とデコーダのＣＮＮの構造は互いに対称であり、入力特徴３０１のサイズと第２特徴３０４のサイズは互いに同一であり、結果映像の空間サイズは入力映像の空間サイズと同一であり得る。例えば、映像処理装置は、復号化を用いてサイズがＷ×Ｈ×Ｃである第２特徴３０４からサイズがＡ×Ｂである結果映像を復元する。ただし、エンコーダ、変換網、及びデコーダのＣＮＮの構造は上述した例示に制限されることなく、相互作用を通した映像処理のために入力特徴３０１を変換させる動作の範囲で様々な方式により変形され得る。
【００５５】
図４は、一実施形態に係る映像の相互作用処理方法を説明するための図である。
【００５６】
図４を参照すれば、映像処理装置は、ユーザ入力から入力映像に適用するための相互作用を識別する。一実施形態によれば、映像に含まれたオブジェクト４０１を回転させるために、ユーザは、ユーザインタフェースを用いて端末にユーザ命令を入力する。映像処理装置は、ユーザから入力されたユーザ入力からオブジェクト４０１を回転させる相互作用を識別し、識別された相互作用に対応する少なくとも１つの値を用いてエンコーダから生成された入力特徴に結合するための特徴マップを取得又は生成する。一実施形態によれば、映像処理装置は、回転に対応する相互作用を識別し、ユーザ入力による回転角度に対応する値の組合せにより特徴マップを生成し、生成された特徴マップを入力特徴に結合する。
【００５７】
一実施形態によれば、エンコーダ、変換網、及びデコーダは、入力映像から入力映像に相互作用が適用された結果映像を出力するよう学習されたＣＮＮに実現され、学習に関する詳しい内容については後述する。映像処理装置は、学習されたデータのみならず、学習されたデータに該当しない相互作用に対応する処理も補間を通して行うことができる。映像処理装置は、相互作用の処理のために予め学習されたエンコーダ、変換網、及びデコーダを用いて、相互作用は特徴マップ内含まれた値に基づいて定義されるため、学習データベースに含まれていない任意のオブジェクト又は任意の相互作用に関する結果映像を補間により生成し得る。
【００５８】
図４を参照すれば、回転角度が０度、＋１５度（時計回り）、−１５度（反時計回り）の回転の相互作用に関するデータを用いて、エンコーダ、変換網デコーダが学習された場合にも、映像処理装置は、その間の角度の回転の相互作用に対応する結果映像を生成し得る。＋１５度（時計回り）の回転の相互作用に対応する特徴マップは１を含み、−１５度（反時計回り）の回転の相互作用に対応する特徴マップは−１を含み、無回転の相互作用に対応する特徴マップは０を含むよう特徴マップが定義され、０度、＋１５度（時計回り）、−１５度（反時計回り）の回転の相互作用を行うように、エンコーダ、変換網デコーダが学習されたものと仮定する。この場合、映像処理装置は、入力映像４０１に無回転の相互作用を適用した結果映像４０２、入力映像４０１に＋１５度（時計回り）の回転の相互作用を適用した結果映像４０３、及び入力映像４０１に−１５度（反時計回り）の回転の相互作用を適用した結果映像４０４を生成する。学習データベースに記録されていない回転角度に関する相互作用についても、映像処理装置は、０度と＋１５度（時計回り）の間の回転の相互作用を適用した結果映像４０５、及び０度と−１５度（反時計回り）の間の回転の相互作用を適用した結果映像４０６を補間を通して生成することができる。
【００５９】
図５は、一実施形態に係る特徴の変換動作を説明するための図である。
【００６０】
映像処理装置は、複数の相互作用に対応する特徴マップを入力特徴に結合し、特徴マップが結合された入力特徴を変換網を用いて第２特徴に変換し、デコーダを用いて第２特徴から結果映像を復元する。映像処理装置は、複数の特徴マップを用いた特徴変換方式を用いて複数の相互作用が適用された結果映像を生成する。
【００６１】
図５を参照すれば、映像処理装置は、変換のための入力特徴５０１を取得する。映像処理装置は、第１相互作用に対応する第１特徴マップ５０２及び第２相互作用に対応する第２特徴マップ５０３を入力特徴５０１に結合する。映像処理装置は、変換網を用いて第１特徴マップ５０２及び第２特徴マップ５０３が結合された入力特徴５０４をデコーダの入力に適するよう第２特徴５０５に変換する。例えば、映像処理装置は、回転及び移動の相互作用に対応するユーザ入力を識別し、回転の相互作用に対応する第１特徴マップ５０２と移動の相互作用に対応する第２特徴マップ５０３とを入力特徴５０１に結合する。ただし、複数の相互作用に対応する特徴マップを定義する方式や入力特徴５０１に特徴マップを結合する順序又は位置は多様に変形され得る。
【００６２】
一実施形態によれば、映像処理装置は、サイズがＷ×Ｈ×Ｃである入力特徴５０１にサイズがＷ×Ｈである第１特徴マップ５０２及び第２特徴マップ５０３をそれぞれ結合し、サイズがＷ×Ｈ×（Ｃ＋２）の特徴５０４を生成する。映像処理装置は、変換網を用いてデコーダに適するようＷ×Ｈ×（Ｃ＋２）の特徴５０４をサイズがＷ×Ｈ×Ｃである第２特徴５０５に変換する。映像処理装置は、特徴マップを入力特徴５０１に結合し、変換を行う方式によって複数の相互作用が適用された結果映像を生成することができる。
【００６３】
図６は、一実施形態に係る特徴の変換動作を説明するための図である。
【００６４】
図６を参照すれば、映像処理装置は、エンコーダによって生成された入力特徴６０１を取得し、相互作用にそれぞれ対応して定義された変換網６０２のうち、特定相互作用に対応する変換網６０３を選択する。映像処理装置は、選択された変換網６０３を用いて入力特徴６０１を第２特徴６０４に変換する。ここで、変換網６０２は、複数の相互作用に対応するＣＮＮであり得る。例えば、第１変換網は、＋１５度（時計回り）の回転の相互作用に対応するＣＮＮに具現され、第２変換網は、−１５度（反時計回り）の回転の相互作用に対応するＣＮＮに具現され、第３変換網は、移動の相互作用に対応するＣＮＮに実現する。
【００６５】
映像処理装置は、適用のための相互作用を識別し、予め学習された変換網６０２のうち識別された相互作用に対応する変換網６０３を選択し得る。ここで、映像処理装置は、サイズがＷ×Ｈ×Ｃである入力特徴６０１を変換網６０３に入力してサイズがＷ×Ｈ×Ｃである第２特徴６０４を生成する。一実施形態によれば、映像処理装置は、サイズの変化なしに変換網６０３を用いて入力特徴６０１を第２特徴６０４に変換し得る。この場合、変換網６０３の入力レイヤ及び出力レイヤは、サイズがＷ×Ｈ×Ｃである特徴に適するよう設計されて学習され得る。
【００６６】
映像処理装置は、識別された相互作用を適用するために変換網６０２のうち複数の変換網を選択し、選択された変換網を組み合わせて加重値を適用し、第２特徴６０４を生成する。一実施形態によれば、映像処理装置は、与えられた相互作用に対応する変換網が変換網６０２に含まれていない場合、与えられた相互作用に対応する変換網に近づくよう、複数の変換網を結合して加重値を適用する。予め学習された変換網６０２のうち、複数の変換網の組合せを活用する実施形態には様々な方式が採用されて活用され得る。
【００６７】
図７は、一実施形態に係る映像の相互作用処理方法を説明するための図である。
【００６８】
映像処理装置は、ユーザ入力から入力映像に適用するための相互作用を識別する。一実施形態によれば、映像処理装置は、予め学習された変換網に対応する相互作用のいずれか１つの選択が入力され、受信された入力に基づいて入力映像に適用するための相互作用を識別する。映像処理装置は、予め学習された変換網のうち識別された相互作用に対応する変換網が存在するか否かを判断する。図７を参照すれば、映像処理装置は、回転角度に対応する回転の相互作用のいずれか１つの選択を受信し、受信された選択入力に基づいて相互作用を識別し、識別された相互作用に対応する変換網を用いて映像の相互作用を処理し得る。
【００６９】
図８は、一実施形態に係る映像の相互作用処理方法を説明するための図である。
【００７０】
図８を参照すれば、映像処理装置は、分類モデル８０１に対応するエンコーダと生成モデル８０２に対応するデコーダのネットワークを用いて映像の相互作用を処理する。映像処理装置は、分類モデル８０１を用いて２次元の入力映像８０３の空間サイズを減らしつつ、チャネル数を増加させる方式により中間特徴８０４を生成し、入力特徴８０５を生成する。上述したように、映像処理装置は、相互作用の処理のために入力特徴８０５を変換し、生成モデル８０２を用いて変換された入力特徴８０５の空間サイズを増やしつつ、チャネル数を減少させる方式により中間特徴８０６を生成し、結果映像８０７を生成する。映像処理装置は、エンコーダ−デコーダのネットワークを介して生成された特徴に相互作用を適用して映像の相互作用を処理し得る。
【００７１】
図９は、一実施形態に係る映像の相互作用処理のための学習方法を説明するための概念図であり、図１０は、映像の相互作用処理のための学習方法を説明するためのフローチャートである。
【００７２】
一実施形態によれば、学習装置は、映像の相互作用処理のための学習を行う装置として、例えば、ソフトウェアモジュール、ハードウェアモジュール、又はその組合せにより実現される。学習装置は、エラーなしで映像の相互作用を処理するよう映像処理装置９０１を学習させることができ、例えば、トレーニング入力映像、トレーニング入力映像に相互作用が適用された映像、及びトレーニング入力映像による結果映像を用いて映像処理装置９０１のエンコーダ９０３、変換網９０５、及びデコーダ９０７を繰り返し学習させ得る。ここで、トレーニング入力映像は学習のために用いられる映像であり、結果映像は映像処理装置９０１によって生成された映像である。トレーニング入力映像に相互作用が適用された映像は、映像処理装置９０１によって生成が求められる映像であって、学習装置は、結果映像がトレーニング入力映像に相互作用が適用された映像に近づくよう映像処理装置９０１を学習させることができる。
【００７３】
学習装置は、エンコーダ９０３を用いてトレーニング入力映像９０２からトレーニング入力特徴９０４を抽出する（Ｓ１００１）。
【００７４】
学習装置は、トレーニング入力映像９０２に適用するための相互作用に基づいて、トレーニング入力特徴９０４を変換網を介して第２特徴９０６に変換する（Ｓ１００２）。一実施形態によれば、学習装置は、相互作用に対応する特徴マップをトレーニング入力特徴９０４に結合し、変換網９０５を用いて特徴マップが結合されたトレーニング入力特徴をデコーダ９０７の入力に適するよう第２特徴９０６に変換する。一実施形態によれば、学習装置は、第１相互作用に対応する第１特徴マップ及び第２相互作用に対応する第２特徴マップをトレーニング入力特徴９０４に結合し、変換網９０５を用いて第１特徴マップ及び第２特徴マップが結合されたトレーニング入力特徴をデコーダ９０７の入力に適するよう第２特徴９０６に変換する。一実施形態によれば、学習装置は、相互作用にそれぞれ対応して定義された変換網のうち、特定相互作用に対応する変換網９０５を選択し、選択された変換網９０５を用いてトレーニング入力特徴を第２特徴９０６に変換する。
【００７５】
学習装置は、デコーダ９０７を用いて第２特徴９０６からトレーニング結果映像９０８を生成する（Ｓ１００３）。学習装置は、トレーニング結果映像９０８がトレーニング入力映像に相互作用が適用された映像９０９と同一になるよう変換網９０５を学習させる（Ｓ１００４）。学習装置は、トレーニング結果映像９０８がトレーニング入力映像に相互作用が適用された映像９０９と同一になるようエンコーダ９０３及びデコーダ９０７を学習させる。学習装置は、トレーニング結果映像９０８及びトレーニング入力映像に相互作用が適用された映像９０９の間の差により定義された損失関数（ｌｏｓｓ  ｆｕｎｃｔｉｏｎ）を用いて学習を実行し、ここで、学習に関する方式の類型は制限されることはない。例えば、損失関数は、トレーニング結果映像９０８及びトレーニング入力映像に相互作用が適用された映像９０９間のピクセル値の差に基づいて定義される。一実施形態によれば、学習装置は、エンコーダ９０３及びデコーダ９０７のネットワークを特徴抽出及び映像復元の動作を行うよう予め学習させることができ、予め学習されたエンコーダ９０３及びデコーダ９０７に変換網９０５を付加して相互作用処理のための学習を行う。エンコーダ９０３によってトレーニング入力映像からトレーニング入力特徴が抽出され、抽出されたトレーニング入力特徴からデコーダ９０７によりトレーニング結果映像が生成され、エンコーダ９０３及びデコーダ９０７は、トレーニング入力映像とトレーニング結果映像とが同一になるよう予め学習されることができる。
【００７６】
図１１は、一実施形態に係る映像の相互作用処理のための学習方法を説明するための図である。
【００７７】
図１１を参照すれば、学習装置は学習の性能を高めるためにＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）による区別網（Ｄｉｓｃｒｉｍｉｎａｔｏｒ  Ｎｅｔｗｏｒｋ）１１０２を用いる。上述したように、学習装置は、映像処理装置１１０１を用いてトレーニング入力映像１１０３からトレーニング結果映像１１０４を生成する。学習の性能を高めるために、学習装置は、トレーニング結果映像１１０４とトレーニング入力映像に相互作用が適用された映像１１０５を用いて映像処理装置１１０１を学習させながら、区別網１１０２を学習させ得る。学習装置は、区別網１１０２がトレーニング結果映像１１０４を模造（ｆａｋｅ）映像として判断し、トレーニング入力映像に相互作用が適用された映像１１０５を原本（ｒｅａｌ）映像として判断するよう、区別網１１０２を学習させ得る。区別網１１０２の学習と共に、学習装置は、映像処理装置１１０１を学習させ得る。学習装置は、区別網１１０２がトレーニング結果映像１１０４を模造映像ではない原本映像として判断するよう、トレーニング結果映像１１０４とトレーニング入力映像に相互作用が適用された映像１１０５を用いて映像処理装置１１０１を学習させ得る。上述したように、学習装置は、映像処理装置１１０１と区別網１１０２を同時に学習させることで、映像処理装置１１０１と区別網１１０２の認識性能を高め、結果映像のブラー現象（ｂｌｕｒ）を改善することができる。
【００７８】
一実施形態によれば、学習装置は、予め学習された区別網１１０２を用いて映像処理装置１１０１を学習させ得る。区別網１１０２は、トレーニング結果映像１１０４を模造映像として判断し、トレーニング入力映像に相互作用が適用された映像１１０５を原本映像として判断するよう予め学習されている。学習装置は、予め学習された区別網１１０２がトレーニング結果映像１１０４を模造映像ではない原本映像として判断するよう、映像処理装置１１０１を学習させることができる。
【００７９】
図１２は、一実施形態に係る装置の構成の例示図である。
【００８０】
図１２を参照すれば、装置１２０１は、プロセッサ１２０２及びメモリ１２０３を含む。一実施形態に係る装置１２０１は、上述した映像処理装置又は学習装置であり得る。プロセッサ１２０２は、図１〜図１１を参照して前述した少なくとも１つの装置を含んでもよいし、図１〜図１１を参照して前述した少なくとも１つの方法を実行してもよい。メモリ１２０３は、上述した映像の相互作用処理方法又は映像の相互作用処理方法に関する情報を格納し、上述した学習方法又は学習方法に関する情報を格納し、映像の相互作用処理方法又は学習方法が具現されたプログラムを格納する。メモリ１２０３は、揮発性メモリ又は不揮発性メモリであってもよい。
【００８１】
プロセッサ１２０２はプログラムを実行し、装置１２０１を制御する。プロセッサ１２０２により実行されるプログラムのコードは、メモリ１２０３に格納される。装置１２０１は、入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続され、データを交換する。
【００８２】
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【００８３】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【００８４】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【００８５】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されてもよいし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が、説明された方法と異なる形態で結合又は組み合わせられ、他の構成要素又は均等物によって置き換えられ、或いは置換されたとしても、適切な結果を達成することができる。
【００８６】
したがって、他の具現化された手段、他の実施形態、及び特許請求の範囲と均等なものも特許請求の範囲に属する。
【図１】
2019114227.tif 000003
【図２】
2019114227.tif 000004
【図３】
2019114227.tif 000005
【図４】
2019114227.tif 000006
【図５】
2019114227.tif 000007
【図６】
2019114227.tif 000008
【図７】
2019114227.tif 000009
【図８】
2019114227.tif 000010
【図９】
2019114227.tif 000011
【図１０】
2019114227.tif 000012
【図１１】
2019114227.tif 000013
【図１２】
2019114227.tif 000014