(57)【要約】【課題】映像処理装置が開示される。【解決手段】少なくとも一つの命令語を保存するメモリと、メモリと電気的に接続されたプロセッサとを含み、プロセッサは、命令語を実行することで、入力映像を学習ネットワークモデルに適用して入力映像に含まれたピクセルブロックに対応するテクスチャパッチをピクセルブロックに適用して出力映像を獲得し、学習ネットワークモデルは、映像の特性に基づいて分類された複数のクラスのそれぞれに対応するテクスチャパッチを保存し、入力映像に基づいて複数のクラスのそれぞれに対応するテクスチャパッチを学習する。【選択図】図２
2020170515.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの命令語を保存するメモリと、
前記メモリと電気的に接続されたプロセッサと
を含み、
前記プロセッサは、
前記命令語を実行することで、
入力映像を学習ネットワークモデルに適用して前記入力映像に含まれたピクセルブロックに対応するテクスチャパッチを前記ピクセルブロックに適用して出力映像を獲得し、
前記学習ネットワークモデルは、
映像の特性に基づいて分類された複数のクラスのそれぞれに対応するテクスチャパッチを保存し、
前記入力映像に基づいて前記複数のクラスのそれぞれに対応するテクスチャパッチを学習する、映像処理装置。
【請求項２】
前記学習ネットワークモデルは、
前記ピクセルブロックの特性に基づいて前記複数のクラスのうちいずれか一つを識別し、前記識別されたクラスに対応するテクスチャパッチを出力し、
前記ピクセルブロックと前記識別されたクラスとの間の第１類似度、及び前記テクスチャパッチと前記識別されたクラスとの間の第２類似度を比較し、前記テクスチャパッチをアップデートするか否かを識別することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記学習ネットワークモデルは、
前記第１及び第２類似度に基づいて、前記識別されたクラスに対応するテクスチャパッチを前記ピクセルブロックに代替するか、前記ピクセルブロックを前記識別されたクラスに対応するテクスチャパッチに追加することを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記学習ネットワークモデルは、
前記比較結果に基づいて、前記第１類似度が前記第２類似度より小さい値である場合、前記識別されたクラスに対応する前記テクスチャパッチを維持し、
前記比較結果に基づいて、前記第１類似度が前記第２類似度より大きい値である場合、前記ピクセルブロックに基づいて前記テクスチャパッチをアップデートすることを特徴とする請求項２に記載の映像処理装置。
【請求項５】
前記学習ネットワークモデルは、
前記識別されたクラスに対応するテクスチャパッチが複数である場合、前記ピクセルブロック及び前記複数のテクスチャパッチのそれぞれの相関関係（ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、前記複数のテクスチャパッチのうちいずれか一つを識別することを特徴とする請求項２に記載の映像処理装置。
【請求項６】
前記学習ネットワークモデルは、
前記複数のクラスのそれぞれに対応するテクスチャパッチの保存時期又は前記テクスチャパッチの適用頻度のうちいずれか一つに基づいて前記テクスチャパッチを学習することを特徴とする請求項１に記載の映像処理装置。
【請求項７】
前記学習ネットワークモデルは、
前記ピクセルブロックの特性に基づいて、前記ピクセルブロックが前記複数のクラスのうちいずれか一つに対応していないと識別されると、前記ピクセルブロックの特性に基づいて、新規クラスを生成して前記新規クラスに前記ピクセルブロックをマッピングして保存することを特徴とする請求項１に記載の映像処理装置。
【請求項８】
前記学習ネットワークモデルは、
前記入力映像に含まれた複数のピクセルブロックのそれぞれに対応するクラスを識別し、
前記複数のクラスのそれぞれの識別頻度に基づいて、前記複数のクラスのうち少なくともいずれか一つに対応する前記メモリの保存空間の大きさを変更することを特徴とする請求項１に記載の映像処理装置。
【請求項９】
前記学習ネットワークモデルは、
前記識別頻度に基づいて、予め設定された回数未満で識別されたクラスに対応するテクスチャパッチを前記メモリから削除し、前記テクスチャパッチの削除によって確保された保存空間を残りのクラスに割り当てることを特徴とする請求項８に記載の映像処理装置。
【請求項１０】
前記複数のクラスは、
平均ピクセル値、ピクセル座標、分散、エッジ強度、エッジ方向又は色のうち、少なくとも一つを基準に区分されることを特徴とする請求項１に記載の映像処理装置。
【請求項１１】
前記プロセッサは、
前記獲得されたテクスチャパッチ及び前記ピクセルブロックの間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、前記テクスチャパッチに対する加重値を獲得し、
前記加重値の適用されたテクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得することを特徴とする請求項１に記載の映像処理装置。
【請求項１２】
前記出力映像は、
４Ｋ  ＵＨＤ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）映像又は８Ｋ  ＵＨＤ映像であることを特徴とする請求項１に記載の映像処理装置。
【請求項１３】
映像処理装置の映像処理方法において、
入力映像を学習ネットワークモデルに適用して前記入力映像に含まれたピクセルブロックに対応するテクスチャパッチを前記ピクセルブロックに適用して出力映像を獲得するステップを含み、
前記学習ネットワークモデルは、
映像の特性に基づいて分類された複数のクラスのそれぞれに対応するテクスチャパッチを保存し、
前記入力映像に基づいて前記複数のクラスのそれぞれに対応するテクスチャパッチを学習する、映像処理方法。
【請求項１４】
前記学習ネットワークモデルは、
前記ピクセルブロックの特性に基づいて前記複数のクラスのうちいずれか一つを識別し、前記識別されたクラスに対応するテクスチャパッチを出力し、
前記ピクセルブロックと前記識別されたクラスとの間の第１類似度、及び前記テクスチャパッチと前記識別されたクラスとの間の第２類似度を比較し、前記テクスチャパッチをアップデートするか否かを識別することを特徴とする請求項１３に記載の映像処理方法。
【請求項１５】
前記学習ネットワークモデルは、
前記第１及び第２類似度に基づいて、前記識別されたクラスに対応するテクスチャパッチを前記ピクセルブロックに代替するか、前記ピクセルブロックを前記識別されたクラスに対応するテクスチャパッチに追加することを特徴とする請求項１４に記載の映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置及びその制御方法に関し、より詳細には、入力映像のテクスチャ成分を復元する映像処理装置及びその映像処理方法に関する。
【０００２】
なお、本発明は、学習ネットワークモデルを活用して人間頭脳の認知、判断などの機能を模倣する人工知能（Ａｒｔｉｆｉｃａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）システム及びその応用に関する。
【背景技術】
【０００３】
電子技術の発達により、様々な電子機器が開発及び普及されている。特に、家庭、事務所、公共の場など、多様な場所で用いられる映像処理装置は、ここ数年間発展を続けている。
【０００４】
近代、４Ｋ  ＵＨＤ  ＴＶなどの高解像度のディスプレイパネルが発売され、広く普及されている。しかし、まだ高品質の高解像度のコンテンツは、かなり不足している状況である。それに、低解像度のコンテンツから高解像度のコンテンツを生成するための様々な技術が求められる状況である。更に、ＭＰＥＧ／Ｈ.２６４／ＨＥＶＣなどの映像圧縮によってコンテンツのテクスチャ損失が発生するおそれがあり、それによって損失されたテクスチャ成分を復元するための技術が求められている。
【０００５】
なお、最近は、人間レベルの知能を実現する人工知能システムが多様な分野において用いられている。人工知能システムは、従来のルール（ｒｕｌｅ）基盤のスマートシステムと違って、機械が自ら学習して判断して賢くなるシステムである。人工知能システムは、使えば使うほど、認識率が向上し、ユーザの好みをより正確に理解することができるようになり、従来のルール基盤のスマートシステムは、次第にディープラーニング基盤の人工知能システムに置き換えられている。
【０００６】
人工知能技術は、機械学習（例えば、ディープラーニング）及び機械学習を活用した要素技術で構成される。
【０００７】
機械学習は、入力データの特徴を自ら分類／学習するアルゴリズム技術であり、要素技術は、ディープラーニングなどの機械学習アルゴリズムを活用して人間頭脳の認知、判断などの機能を模倣する技術として、言語的な理解、視覚的な理解、推論／予測、知識表現、動作制御などの技術分野で構成される。
【０００８】
人工知能技術が応用される多様な分野は、次の通りである。言語的な理解は、人間の言語／文字を認識して応用／処理する技術として、自然語処理、機械翻訳、対話システム、質疑応答、音声認識／合成などを含む。視覚的な理解は、モノを人間の視覚のように認識して処理する技術として、オブジェクト認識、オブジェクト追跡、映像検索、人間認識、場面理解、空間理解、映像改善などを含む。推論予測は、情報を判断して論理的に推論して予測する技術として、知識／確率基盤の推論、最適化予測、好み基盤の計画、おすすめなどを含む。知識表現は、人間の経験情報を知識データとして自動化処理する技術として、知識構築（データ生成／分類）、知識管理（データ活用）などを含む。動作制御は、車の自律走行、ロボットの動きを制御する技術として、動作制御（航法、衝突、走行）、操作制御（行動制御）などを含む。
【０００９】
一方、従来の映像処理装置は、損失されたテクスチャ成分を復元するために固定されたテクスチャパッチを適用したり、映像との適合性が低下するテクスチャパッチを適用するという問題があった。そこで、映像に適するようにテクスチャを生成する技術に対する要求があった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】韓国特許第１３４６０８４号
【特許文献２】韓国特開第２０１４−０１２１６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、入力映像の特性に基づいて学習されたテクスチャパッチを用いて入力映像の細密感（ｄｅｔａｉｌ）を向上させる映像処理装置及びその映像処理方法を提供することにある。
【課題を解決するための手段】
【００１２】
以上のような目的を達成するための本発明の一実施形態に係る映像処理装置は、少なくとも一つの命令語を保存するメモリと、前記メモリと電気的に接続されたプロセッサとを含み、前記プロセッサは、前記命令語を実行することで、入力映像を学習ネットワークモデルに適用して前記入力映像に含まれたピクセルブロックに対応するテクスチャパッチを獲得し、前記ピクセルブロックに前記獲得されたテクスチャパッチを適用して出力映像を獲得し、前記学習ネットワークモデルは、映像の特性に基づいて分類された複数のクラスのそれぞれに対応するテクスチャパッチを保存し、前記入力映像に基づいて前記複数のクラスのそれぞれに対応するテクスチャパッチを学習する。
【００１３】
ここで、前記学習ネットワークモデルは、前記ピクセルブロックの特性に基づいて前記複数のクラスのうちいずれか一つを識別し、前記識別されたクラスに対応するテクスチャパッチを出力し、前記ピクセルブロックと前記識別されたクラスとの間の第１類似度、及び前記テクスチャパッチと前記識別されたクラスとの間の第２類似度を比較し、前記テクスチャパッチをアップデートするか否かを識別してよい。
【００１４】
なお、前記学習ネットワークモデルは、前記第１及び第２類似度に基づいて、前記識別されたクラスに対応するテクスチャパッチを前記ピクセルブロックに代替するか、前記ピクセルブロックを前記識別されたクラスに対応するテクスチャパッチに追加してよい。
【００１５】
なお、前記学習ネットワークモデルは、前記比較結果に基づいて、前記第１類似度が前記第２類似度より小さい値である場合、前記識別されたクラスに対応する前記テクスチャパッチを維持し、前記比較結果に基づいて、前記第１類似度が前記第２類似度より大きい値である場合、前記ピクセルブロックに基づいて前記テクスチャパッチをアップデートしてよい。
【００１６】
なお、前記学習ネットワークモデルは、前記識別されたクラスに対応するテクスチャパッチが複数である場合、前記ピクセルブロック及び前記複数のテクスチャパッチのそれぞれの相関関係（ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、前記複数のテクスチャパッチのうちいずれか一つを識別してよい。
【００１７】
なお、前記学習ネットワークモデルは、前記複数のクラスのそれぞれに対応するテクスチャパッチの保存時期又は前記テクスチャパッチの適用頻度のうちいずれか一つに基づいて前記テクスチャパッチを学習してよい。
【００１８】
なお、前記学習ネットワークモデルは、前記ピクセルブロックの特性に基づいて、前記ピクセルブロックが前記複数のクラスのうちいずれか一つに対応していないと識別されると、前記ピクセルブロックの特性に基づいて、新規クラスを生成して前記新規クラスに前記ピクセルブロックをマッピングして保存してよい。
【００１９】
なお、前記複数のクラスは、平均ピクセル値、ピクセル座標、分散、エッジ強度、エッジ方向又は色のうち、少なくとも一つを基準に区分されてよい。
【００２０】
なお、前記プロセッサは、前記獲得されたテクスチャパッチ及び前記ピクセルブロックの間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、前記テクスチャパッチに対する加重値を獲得し、前記加重値の適用されたテクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得してよい。
【００２１】
なお、前記出力映像は、４Ｋ  ＵＨＤ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）映像又は８Ｋ  ＵＨＤ映像であってよい。
【００２２】
一方、本発明の一実施形態に係る映像処理装置の映像処理方法は、入力映像を学習ネットワークモデルに適用して前記入力映像に含まれたピクセルブロックに対応するテクスチャパッチを獲得するステップと、前記ピクセルブロックに前記獲得されたテクスチャパッチを適用して出力映像を獲得するステップとを含み、前記学習ネットワークモデルは、映像の特性に基づいて分類された複数のクラスのそれぞれに対応するテクスチャパッチを保存し、前記入力映像に基づいて前記複数のクラスのそれぞれに対応するテクスチャパッチを学習する。
【００２３】
ここで、前記学習ネットワークモデルは、前記ピクセルブロックの特性に基づいて前記複数のクラスのうちいずれか一つを識別し、前記識別されたクラスに対応するテクスチャパッチを出力し、前記ピクセルブロックと前記識別されたクラスとの間の第１類似度、及び前記テクスチャパッチと前記識別されたクラスとの間の第２類似度を比較し、前記テクスチャパッチをアップデートするか否かを識別してよい。
【００２４】
ここで、前記学習ネットワークモデルは、前記第１及び第２類似度に基づいて、前記識別されたクラスに対応するテクスチャパッチを前記ピクセルブロックに代替するか、前記ピクセルブロックを前記識別されたクラスに対応するテクスチャパッチに追加してよい。
【００２５】
なお、前記学習ネットワークモデルは、前記比較結果に基づいて、前記第１類似度が前記第２類似度より小さい値である場合、前記識別されたクラスに対応する前記テクスチャパッチを維持し、前記比較結果に基づいて、前記第１類似度が前記第２類似度より大きい値である場合、前記ピクセルブロックに基づいて前記テクスチャパッチをアップデートしてよい。
【００２６】
なお、前記学習ネットワークモデルは、前記識別されたクラスに対応するテクスチャパッチが複数である場合、前記ピクセルブロック及び前記複数のテクスチャパッチのそれぞれの相関関係（ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、前記複数のテクスチャパッチのうちいずれか一つを識別してよい。
【００２７】
なお、前記学習ネットワークモデルは、前記複数のクラスのそれぞれに対応するテクスチャパッチの保存時期又は前記テクスチャパッチの適用頻度のうちいずれか一つに基づいて前記テクスチャパッチを学習してよい。
【００２８】
なお、前記学習ネットワークモデルは、前記ピクセルブロックの特性に基づいて、前記ピクセルブロックが前記複数のクラスのうちいずれか一つに対応していないと識別されると、前記ピクセルブロックの特性に基づいて、新規クラスを生成して前記新規クラスに前記ピクセルブロックをマッピングして保存してよい。
【００２９】
なお、前記学習ネットワークモデルは、前記入力映像に含まれた複数のピクセルブロックのそれぞれに対応するクラスを識別し、前記複数のクラスのそれぞれの識別頻度に基づいて、前記複数のクラスのうち少なくともいずれか一つに対応する前記メモリの保存空間の大きさを変更してよい。
【００３０】
ここで、前記学習ネットワークモデルは、前記識別頻度に基づいて、予め設定された回数未満で識別されたクラスに対応するテクスチャパッチを前記メモリから削除し、前記テクスチャパッチの削除によって確保された保存空間を残りのクラスに割り当ててよい。
【００３１】
なお、前記複数のクラスは、平均ピクセル値、ピクセル座標、分散、エッジ強度、エッジ方向又は色のうち、少なくとも一つを基準に区分されてよい。
【００３２】
なお、前記出力映像を獲得するステップは、前記獲得されたテクスチャパッチ及び前記ピクセルブロックの間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、前記テクスチャパッチに対する加重値を獲得するステップと、前記加重値の適用されたテクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得するステップとを含んでよい。
【００３３】
なお、前記出力映像は、４Ｋ  ＵＨＤ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）映像又は８Ｋ  ＵＨＤ映像であってよい。
【００３４】
なお、本発明の一実施形態に係る映像処理装置のプロセッサによって実行される場合、前記映像処理装置が動作するようにするコンピュータ命令を保存する非一時的なコンピュータ読み取り可能な媒体において、前記動作は、入力映像を学習ネットワークモデルに適用して前記入力映像に含まれたピクセルブロックに対応するテクスチャパッチを獲得するステップと、前記ピクセルブロックに前記獲得されたテクスチャパッチを適用して出力映像を獲得するステップとを含み、前記学習ネットワークモデルは、映像の特性に基づいて分類された複数のクラスのそれぞれに対応するテクスチャパッチを保存し、前記入力映像に基づいて前記複数のクラスのそれぞれに対応するテクスチャパッチを学習する。
【発明の効果】
【００３５】
以上説明したように、本発明によれば、映像の特性に基づいて学習されたテクスチャパッチを用いたテクスチャ生成を通じて映像全体の細密感を向上させることができるようになる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態に係る映像処理装置の実現例を説明するための図である。
【図２】本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。
【図３】本発明の一実施形態に係るピクセルブロックを説明するための図である。
【図４】本発明の一実施形態に係るテクスチャパッチを説明するための図である。
【図５】本発明の一実施形態に係る学習ネットワークモデルを説明するための図である。
【図６】本発明の一実施形態に係るクラス及びテクスチャパッチを説明するための図である。
【図７】本発明の一実施形態に係る入力映像を学習するモデルを説明するための図である。
【図８】本発明の別の実施形態に係るクラスを説明するための図である。
【図９】本発明の一実施形態に係る学習結果を説明するための図である。
【図１０】本発明の別の実施形態に係るクラスを説明するための図である。
【図１１】図２に示す電子装置の細部構成を示すブロック図である。
【図１２】本発明の一実施形態に係る学習ネットワークモデルを学習して利用するための映像処理装置の構成を示すブロック図である。
【図１３】本発明の一実施形態に係る映像処理方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００３７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００３８】
本発明の実施形態で使われる用語は、本発明における機能を考慮しつつ可能な限り、現在広く使われる一般的な用語を選択しているが、それは、当分野に携わる技術者の意図又は判例、新たな技術の出現などによって変わることがある。なお、特定の場合は、出願人が任意に選定した用語もあり、この場合は、該当する発明の説明部分で詳細にその意味を記載する。よって、本発明で使われる用語は、単なる用語の名称ではなく、その用語のもつ意味と本発明の全般に亘る内容に基づいて定義されるべきである。
【００３９】
本明細書において、「有する」、「有してよい」、「含む」又は「含んでよい」などの表現は、当該特徴（例えば、数値、機能、動作又は部品などの構成要素）の存在を指し、更なる特徴の存在を排除するものではない。
【００４０】
Ａ又は／及びＢのうち少なくとも一つという表現は、「Ａ」又は「Ｂ」、又は「Ａ及びＢ」のうちいずれか一つを示すものとして理解されるべきである。
【００４１】
本明細書で使われた「第１」、「第２」、「第一」又は「第二」などの表現は、多様な構成要素を、順番及び／又は重要度によらず、数式することができ、いずれの構成要素を別の構成要素と区分するために使うだけで、当該構成要素を限定しない。
【００４２】
いずれの構成要素（例えば、第１構成要素）が別の構成要素（例えば、第２構成要素）に「（機能的に又は通信的に）接続されて（（ｏｐｅｒａｔｉｖｅｌｙ  ｏｒ  ｃｏｍｍｕｎｉｃａｔｉｖｅｌｙ）  ｃｏｕｐｌｅｄ  ｗｉｔｈ/ｔｏ）」いるか、「接続されて（ｃｏｎｎｅｃｔｅｄ  ｔｏ）」いると言及された際には、いずれの構成要素が別の構成要素に直接的に接続されるか、別の構成要素（例えば、第３構成要素）を介して接続され得ると理解されるべきである。
【００４３】
単数の表現は、文脈上明白にそうでないことを意味しない限り、複数の表現を含む。本出願において、「含む」又は「構成される」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものが存在することを指定するためのものであって、一つ又はそれ以上の別の特徴や数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものの存在又は付加可能性を予め排除しないと理解されるべきである。
【００４４】
本発明において、「モジュール」或いは「部」は、少なくとも一つの機能や動作を行い、ハードウェア又はソフトウェアで実現されたり、ハードウェアとソフトウェアとの結合で実現されてよい。なお、複数の「モジュール」或いは複数の「部」は、特定のハードウェアで実現される必要がある「モジュール」或いは「部」を除いては、少なくとも一つのモジュールで一体化されて少なくとも一つのプロセッサ（図示せず）で実現されてよい。
【００４５】
本明細書において、ユーザという用語は、電子装置を使う人又は電子装置を使う装置（例えば、人工知能電子装置）を指してよい。
【００４６】
以下に、添付の図を参照し、本発明の一実施形態をより詳細に説明する。
【００４７】
図１は、本発明の一実施形態に係る映像処理装置の実現例を説明するための図である。
【００４８】
映像処理装置１００は、図１に示すように、テレビで実現されてよいが、それに限定されるものではなく、スマートフォン、タブレットパソコン、ノートパソコン、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）、ＮＥＤ（Ｎｅａｒ  Ｅｙｅ  Ｄｉｓｐｌａｙ）、ＬＦＤ（Ｌａｒｇｅ  Ｆｏｒｍａｔ  Ｄｉｓｐｌａｙ）、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｇｅ（デジタル看板）、ＤＩＤ（Ｄｉｇｉｔａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｓｐｌａｙ）、ビデオウォール（ｖｉｄｅｏ  ｗａｌｌ）、プロジェクタディスプレイなどのように、ディスプレイ機能を備えた装置なら、限定されることなく適用可能である。
【００４９】
映像処理装置１００は、多様な解像度の映像又は様々な圧縮映像を受信することができる。例えば、映像処理装置１００は、ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ  ＨＤ、Ｕｌｔｒａ  ＨＤ映像のうちいずれか一つの映像を受信することができる。なお、映像処理装置１００は、ＭＰＥＧ（例えば、ＭＰ２、ＭＰ４、ＭＰ７など）、ＡＶＣ、Ｈ.２６４、ＨＥＶＣなどに圧縮した形で映像を受信することもできる。
【００５０】
一実施形態によって、映像処理装置１００がＵＨＤ  ＴＶで実現されるとしても、ＵＨＤコンテンツそのものが不足するために、ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ  ＨＤなどの映像（以下、低解像度の映像という）が入力される場合が多い。この場合、入力された低解像度の映像をＵＨＤ映像（以下、高解像度の映像という）に拡大して提供する方法を用いることができる。しかし、映像の拡大過程で映像のテクスチャ（ｔｅｘｔｕｒｅ）又はエッジがぼやけて（Ｂｌｕｒ）ディテールが低下するという問題がある。ここで、映像のテクスチャは、映像中で同一のフィーチャー（ｆｅａｔｕｒｅ）に見なされる領域の特有の柄又は模様を意味する。
【００５１】
別の実施形態によって、高解像度の映像が入力されるとしても、映像圧縮などによってテクスチャの損失が発生してディテールが損なわれる問題があった。デジタル映像は、画素数が増加するにつれてより多くのデータを必要とするようになり、大容量のデータを圧縮するようになる場合、圧縮によるテクスチャの損失は避けられないためである。
【００５２】
よって、以下では、上述のように、多様な場合において、損失されたテクスチャ成分を復元して映像のディテールを向上させる多様な実施形態について説明する。
【００５３】
図２は、本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。
【００５４】
図２によると、映像処理装置１００は、メモリ１１０及びプロセッサ１２０を含む。
【００５５】
メモリ１１０は、プロセッサ１２０と電気的に接続され、本発明の多様な実施形態のために必要なデータを保存することができる。例えば、メモリ１１０は、プロセッサ１２０に含まれたＲＯＭ（例えば、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ））、ＲＡＭなどの内部メモリで実現されたり、プロセッサ１２０と別途のメモリで実現されてよい。この場合、メモリ１１０は、データ保存用途によって、映像処理装置１００にエンベデッドされたメモリで実現されたり、映像処理装置１００に着脱可能なメモリで実現されてよい。例えば、映像処理装置１００の駆動のためのデータの場合、映像処理装置１００にエンベデッドされたメモリに保存され、映像処理装置１００の拡張機能のためのデータの場合、映像処理装置１００に着脱が可能なメモリに保存されてよい。一方、映像処理装置１００にエンベデッドされたメモリの場合、揮発性メモリ（例えば、ＤＲＡＭ（ｄｙｎａｍｉｃ  ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ  ＲＡＭ）、又はＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ  ｄｙｎａｍｉｃ ＲＡＭ）など）、非揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  Ｍｅｍｏｒｙ）（例えば、ＯＴＰＲＯＭ（ｏｎｅ  ｔｉｍｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ  ａｎｄ  ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ａｎｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ｍａｓｋ  ＲＯＭ、ｆｌａｓｈ  ＲＯＭ、フラッシュメモリ（例えば、ＮＡＮＤ  ｆｌａｓｈ又はＮＯＲ  ｆｌａｓｈなど）、ハードドライブ、又はソリッドステートドライブ（ｓｏｌｉｄ  ｓｔａｔｅ  ｄｒｉｖｅ（ＳＳＤ））のうち少なくとも一つで実現され、映像処理装置１００に着脱が可能なメモリの場合、メモリカード（例えば、ＣＦ（ｃｏｍｐａｃｔ  ｆｌａｓｈ）、ＳＤ（ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）、Ｍｉｃｒｏ−ＳＤ（Ｍｉｃｒｏ  ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）、Ｍｉｎｉ−ＳＤ（ｍｉｎｉ  ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）、ｘＤ（ｅｘｔｒｅｍｅ  Ｄｉｇｉｔａｌ）、ＭＭＣ（ｍｕｌｔｉ−ｍｅｄｉａ  ｃａｒｄ）など）、ＵＳＢポートに接続可能な外部メモリ（例えば、ＵＳＢメモリ）などのような形態で実現されてよい。
【００５６】
一実施形態によって、メモリ１１０は、入力映像１０に含まれたピクセルブロックに対応するテクスチャパッチを獲得するために用いられる学習ネットワークモデルを保存することができる。ここで、学習ネットワークモデルは、複数の映像に基づいて機械学習（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）されたモデルであってよい。例えば、学習ネットワークモデルは、複数のサンプル映像及び入力映像１０に基づいてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、畳み込み神経網）学習されたモデルであってよい。ここで、ＣＮＮは、音声処理、イメージ処理などのために、考案された特殊な接続構造を有する多層神経網である。特に、ＣＮＮは、ピクセルに前処理を通じてイメージを多様にフィルタリングし、イメージの特性を認識することができる。一例として、入力映像１０に含まれた予め設定された大きさのピクセルブロックの特性を認識することができる。一方、学習ネットワークモデルは、ＣＮＮに限定されない。例えば、映像処理装置１０は、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）などの多様な神経網（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に基づいた学習ネットワークモデルを利用することができる。
【００５７】
一方、「テクスチャパッチ」は、ピクセルブロックのテクスチャを向上させるために、当該ピクセルブロックに適用されるパッチを意味することができる。ここで、「パッチ」は、機能を考慮して便宜のために適用された用語であるため、パッチという用語以外に色んな用語が、本実施形態に適用されてよい。例えば、各パッチは、複数のパッチ値がピクセル単位の行列形態で配列された構造を有するため、このような形態を考慮してマスク（ｍａｓｋ）と称してよい。後述のように、テクスチャパッチが当該ピクセルブロックに適用されることで、ピクセルブロックのテクスチャが向上してディテールが増大する。一方、映像処理装置１００は、ピクセルブロックの特性によらず、ピクセルブロックに既に定められたテクスチャパッチを適用するのではなく、学習ネットワークモデルを用いてアップデータされたテクスチャパッチを適用することができる。
【００５８】
プロセッサ１２０は、メモリ１００と電気的に接続され、映像処理装置１００の動作全般を制御する。
【００５９】
一実施形態によって、プロセッサ１２０は、デジタル映像信号を処理するデジタルシグナルプロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ（ＤＳＰ））、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、Ｔ−ＣＯＮ（Ｔｉｍｉｎｇ ｃｏｎｔｒｏｌｌｅｒ）で実現されてよい。ただ、それに限定されるものではなく、中央処理装置（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ（ＣＰＵ））、ＭＣＵ（Ｍｉｃｒｏ  Ｃｏｎｔｒｏｌｌｅｒ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｃｅｓｓｏｒ（ＡＰ））、又はコミュニケーションプロセッサ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｐｒｏｃｅｓｓｏｒ（ＣＰ））、ＡＲＭプロセッサのうち、一つ又はそれ以上を含むか、当該用語で定義されてよい。なお、プロセッサ１４０は、プロセッシングアルゴリズムが内蔵されたＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ）、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）で実現されてよく、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）形態で実現されてよい。
【００６０】
プロセッサ１２０は、入力映像を映像処理して出力映像を獲得する。具体的に、プロセッサ１２０は、入力映像にテクスチャ向上処理を施して出力映像を獲得することができる。ここで、出力映像は、ＵＨＤ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）映像、特に、４Ｋ  ＵＨＤ映像又は８Ｋ  ＵＨＤ映像であってよいが、それに限定されるものではない。
【００６１】
特に、本発明の一実施形態に係るプロセッサ１２０は、テクスチャ向上処理に用いられるテクスチャパッチを獲得することができる。具体的に、プロセッサ１２０は、入力映像１０を学習ネットワークモデルに適用して入力映像１０に含まれたピクセルブロックに対応するテクスチャパッチを獲得することができる。ここで、ピクセルブロックは、少なくとも一つのピクセルを含む隣接するピクセルの集合を意味する。
【００６２】
図３は、本発明の一実施形態に係るピクセルブロックを説明するための図である。
【００６３】
図３を参照すると、プロセッサ１２０は、入力映像１０を構成する映像フレームにおいて、映像フレームに含まれた複数のピクセルをピクセルブロック２０単位で区分し、学習ネットワークモデルに入力することができる。一実施形態によって、プロセッサ１２０は、映像フレームを構成する複数のピクセルブロック２０を順次に学習ネットワークモデルに入力することができる。続いて、学習ネットワークモデルは、入力される複数のピクセルブロック２０−１、…、２０−ｎのそれぞれに対応するテクスチャパッチ３０−１、…、３０−ｎを出力することができる。
【００６４】
本発明の一実施形態に係るプロセッサ１２０は、入力映像１０を５＊５サイズのピクセルブロック２０で識別することができるが、ピクセルブロックのサイズは、それに限定されるものではなく、３＊３、４＊４などのＮ＊Ｎの多様なサイズで実現可能である。例えば、プロセッサ１２０は、映像処理の目的、入力映像１０の解像度（例えば、ＦＨＤ）、出力映像の解像度（ＵＨＤ、８Ｋ）などによって入力映像１０を多様なサイズのピクセルブロック２０に区分することができる。以下では、説明の便宜のために、入力映像１０を構成する映像フレームで行列に配列された構造の予め設定されたサイズのピクセルグループを入力映像１０から獲得されたピクセルブロック２０に想定して説明する。
【００６５】
図２に戻って、本発明の一実施形態に係るプロセッサ１２０は、入力映像２０を学習ネットワークモデルを適用し、ピクセルブロック２０に対応するテクスチャパッチを獲得することができる。それに対する具体的な説明は、図４を参照して説明する。
【００６６】
図４は、本発明の一実施形態に係るテクスチャパッチを説明するための図である。
【００６７】
図４は、入力映像１０を構成するピクセルのそれぞれをピクセル値で表現した図である。本発明の一実施形態に係るプロセッサ１２０は、入力映像１０を学習ネットワークモデルを適用してピクセルブロック２０に対応するテクスチャパッチ３０を獲得することができる。ここで、適用とは、入力映像１０を学習ネットワークモデルに入力することを意味し、学習ネットワークの出力がテクスチャパッチ３０になってよい。
【００６８】
ここで、学習ネットワークモデルは、入力映像１０に含まれたピクセルブロック２０に対応するテクスチャパッチ３０を出力することができ、ピクセルブロック２０に基づいて学習を行うことができる。
【００６９】
一実施形態による学習ネットワークモデルは、映像の多様な特性のうちいずれか一つを基準に分類された複数のクラスを含んでよく、複数のクラスのそれぞれに対応するテクスチャパッチ３０を含んでよい。例えば、学習ネットワークモデルは、映像の特性のうち、エッジ方向に基づいて分類された複数のクラスを保存することができ、複数のクラスのそれぞれにマッチするテクスチャパッチ３０を含んでよい。別の例として、学習ネットワークモデルは、映像の特性のうち、ピクセルブロック２０単位の階調平均値に基づいて分類された複数のクラスを保存することでき、複数のクラスのそれぞれにマッチするテクスチャパッチ３０を含んでよい。
【００７０】
一方、本発明の一実施形態に係る映像処理装置１００は、複数の学習ネットワークモデルを含むことができる。一例として、映像処理装置１００は、エッジ方向を基準にクラスを区分し、テクスチャパッチ３０に対する学習を行う第１学習ネットワークモデル、階調平均値を基準にクラスを区分し、学習を行う第２学習ネットワークモデル、色座標を基準にクラスを区分し、学習を行う第３学習ネットワークモデルなど、複数の学習ネットワークモデルを含んでよい。一実施形態に係る映像処理装置１００は、入力映像１０の特性に基づいて複数の学習ネットワークモデルのうちいずれか一つを識別し、識別された学習ネットワークモデルを入力映像１０に適用してテクスチャパッチ３０を獲得することができる。例えば、映像処理装置１００は、複数の学習ネットワークモデルのうち、入力映像１０の特性に基づいて適したテクスチャパッチ３０の獲得のためのいずれか一つの学習ネットワークモデルを識別する前処理学習ネットワークモデルを含んでよい。前処理学習ネットワークモデルは、映像の特性に基づいて、例えば、入力映像１０を構成する複数のピクセル、色が類似色内に分布されている場合、複数の学習ネットワークモデルのうち、エッジ方向を基準にクラスを区分し、テクスチャパッチ３０を出力する第１学習ネットワークモデルを識別することができる。
【００７１】
本発明の一実施形態に係る学習ネットワークモデルは、入力映像１０に基づいて学習を行うことができる。例えば、学習ネットワークモデルは、入力映像１０に含まれたピクセルブロック２０に対応するクラスに対する当該ピクセルブロック２０の第１類似度を識別し、クラスに対する当該クラスにマッチするテクスチャマッチ３０の第２類似度を識別することができる。続いて、第１及び第２類似度に基づいて、テクスチャパッチ３０のアップデート有無を識別することができる。例えば、学習ネットワークモデルは、第１類似度が第２類似度より大きい場合、獲得されたテクスチャパッチ３０が当該入力映像１０のテクスチャ向上に適していないと判断し、入力映像１０のピクセルブロック２０に基づいてアップデータを行うことができる。学習ネットワークモデルは、入力映像１０を構成する多様なピクセルブロックのうち、当該ピクセルブロック２０と同一のクラスに属する他ピクセルブロック２０’に対応するテクスチャパッチ３０を出力するうえで、アップデート前テクスチャパッチ３０ではない、ピクセルブロック２０に基づいてアップデートされたテクスチャパッチ３０’を出力することができる。それにより、学習ネットワークモデルが出力するテクスチャパッチ３０は、入力映像１０のテクスチャ向上に適することができる。別の例として、学習ネットワークモデルは、第２類似度が第１類似度より大きい場合、獲得されたテクスチャパッチ３０が当該入力映像１０のテクスチャ向上に適していると判断し、テクスチャパッチ３０を維持することができる。
【００７２】
一方、本発明の一実施形態に係る複数のクラスのうち、ピクセルブロック２０に対応するクラスを区分（又は、識別）する学習ネットワークモデルの動作は、分類器（Ｃｌａｓｓｉｆｉｅｒ）、クラス識別機などと称されてよい。ここで、分離機は、入力映像１０に含まれたピクセルブロック２０が入力されると、複数のクラスのうち、ピクセルブロック２０に適しているクラスを識別することができる。例えば、分類器は、ピクセルブロック２０のエッジ方向を識別し、識別されたエッジ方向と複数のクラスのそれぞれを定義するエッジ方向との間の類似度を識別することができる。続いて、分類器は、複数のクラスのうち、類似度が最も大きい一つのクラスを当該ピクセルブロック２０に対応するクラスと識別することができる。
【００７３】
本発明の一実施形態に係る学習ネットワークモデルは、ピクセルブロック２０に対応するクラスを識別するモデル（例えば、分類器モデル）及びピクセルブロック２０と当該ピクセルブロック２０に対応するテクスチャパッチ３０との類似度を比較し、テクスチャパッチ３０に対する自己学習（ｓｅｌｆ−Ｌｅａｒｎｉｎｇ）を行うモデルの組み合わせを意味することができる。一実施形態に係る学習ネットワークモデルは、外部装置に依存せずに、映像処理装置１００自ら学習を行うオンデバイスマシーンラーニングモデル（ｏｎ−ｄｅｖｉｃｅ  ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｍｏｄｅｌ）であってよい。一方、それは一実施形態であって、分類器モデルは、オンデバイス（ｏｎ−ｄｅｖｉｃｅ）基盤で動作し、テクスチャパッチに対する学習を行うモデルは、外部サーバ基盤に動作する形態で実現することができる。
【００７４】
それにより、学習ネットワークモデルは、映像の特性に基づいて分類及び学習された複数のクラスのそれぞれに対応するテクスチャパッチ３０を保存することができる。学習ネットワークモデルは、入力映像１０に対応するテクスチャパッチを出力すると同時に、入力映像１０に含まれたピクセル値に基づいて複数のクラスのそれぞれに対応するテクスチャパッチ３０を学習することができる。
【００７５】
図４を参照すると、学習ネットワークモデルは、ピクセルブロック２０の特性に基づいて複数のクラスのうち、当該ピクセルブロック２０に対応する一つのクラスを識別することができる。例えば、学習ネットワークモデルは、映像の多様な特性のうち、エッジ（ｅｄｇｅ）方向（又は、エッジパターン）に基づいて分類された複数のクラスを保存することができる。ここで、エッジは、ピクセル値（又は、ピクセルの輝度）が低い値から高い値、又は高い値から低い値に変化する地点を意味することができる。エッジは、映像に含まれた多様なオブジェクトによって生成されるオブジェクト間の境界線を意味することもできる。一例に係る学習ネットワークモデルは、複数のクラスのうち、ピクセルブロック２０のエッジ方向（又は、境界線の方向）に対応する一つのクラスを識別することができる。なお、学習ネットワークモデルは、複数のクラスのうち、ピクセルブロック２０のエッジ方向と最も類似する（又は、最も適する）一つのクラスを識別することができる。続いて、学習ネットワークモデルは、識別されたクラスに対応するテクスチャパッチ３０を出力することができる。図２に戻り、本発明の一実施形態に係るプロセッサ１２０は、学習ネットワークモデルから出力されたテクスチャパッチを入力映像１０に適用してテクスチャ向上処理を行うことができる。
【００７６】
図５は、本発明の一実施形態に係る学習ネットワークモデルを説明するための図である。
【００７７】
本発明の一実施形態に係る学習ネットワークモデルは、映像の特性に基づいて分類された複数のクラス及び複数のクラスのそれぞれに対応する少なくとも一つのテクスチャパッチを保存することができる。図５を参照すると、学習ネットワークモデルは、映像の特性のうち、エッジ方向を基準に分類された第１ないし第ｎクラスを含んでよい。なお、学習ネットワークモデルは、第１ないし第ｎクラスのそれぞれに対応するテクスチャパッチを含んでよい。ここで、映像の特性は、ピクセルブロック２０に含まれたピクセル値の平均、分散、ピクセル座標、エッジ強度、エッジ方向又は色のうち、少なくとも一つを意味することができる。よって、一実施形態に係る学習ネットワークモデルは、ピクセル値の平均、分散、ピクセル座標、エッジ強度、エッジ方向又は色のうち少なくとも一つを基準に区分された複数のクラスを含んでよい。一方、学習ネットワークモデルは、上述の例の他に、ピクセルブロック２０から識別可能な多様な特徴に基づいて複数のクラスを生成することができ、当該ピクセルブロック２０が複数のクラスのうち、いずれのクラスに対応するか否かを識別することができる。例えば、学習ネットワークモデルは、色座標を基準にクラスを区分することができ、ピクセルブロック２０に含まれたピクセルの色座標の平均に基づいて当該ピクセルブロック２０に対応するクラスを識別することもできる。
【００７８】
図５を参照すると、一実施形態に係るプロセッサ１２０は、入力映像１０を構成する映像フレームにおいて、映像フレームに含まれた複数のピクセルをピクセルブロック２０単位で区分し、学習ネットワークモデルに入力することができる。一実施形態によって、プロセッサ１２０は、映像フレームを構成する複数のピクセルブロック２０を順次に学習ネットワークモデルに入力することができる。続いて、学習ネットワークモデルは、入力される複数のピクセルブロック２０−１、…、２０−ｎのそれぞれに対応するテクスチャパッチ３０−１、…、３０−ｎを出力することができる。
【００７９】
一例として、学習ネットワークモデルは、第１ピクセルブロック２０−１の特性に基づいて、複数のクラスのち第１ピクセルブロック２０−１に対応するクラスを識別することができる。例えば、学習ネットワークモデルは、第１ピクセルブロック２０−１を構成するピクセルに基づいて第１ピクセルブロック２０−１のエッジ方向を識別し、識別されたエッジ方向が複数のクラスのうち、いずれのクラスに対応するか否かを識別することができる。具体的に、学習ネットワークモデルは、複数のクラスと第１ピクセルブロック２０−１との間の類似度を識別することができる。例えば、学習ネットワークモデルは、第１ピクセルブロック２０−１のエッジ方向が０°である場合、第２ないし第８クラス（Ｃｌａｓｓ  ＃２−Ｃｌａｓｓ＃８）対比第１クラス（Ｃｌａｓｓ＃１）で高い類似度（又は、適合度）を獲得することができる。ここで、第１クラス（Ｃｌａｓｓ＃１）は、エッジ方向０°を基準に定義されたクラスを意味することができる。続いて、学習ネットワークモデルは、第１ピクセルブロック２０−１に対応するクラスとして第１クラス（Ｃｌａｓｓ＃１）を識別することができる。続いて、プロセッサ１２０は、学習ネットワークモデルを通じて第１クラス（Ｃｌａｓｓ＃１）に対応する第１テクスチャパッチ３０−１を獲得することができる。
【００８０】
別の例として、第２ピクセルブロック２０−２が複数のクラスのうち、第２クラス（Ｃｌａｓｓ＃２）に対応すると識別されると、学習ネットワークモデルは、第２クラス（Ｃｌａｓｓ＃２）に対応する第２テクスチャパッチ３０−２を提供することができる。
【００８１】
一方、図５では、説明の便宜のために、学習ネットワークモデルがエッジ方向を基準に区分された第１ないし第８クラスを含み、クラスのそれぞれが一つのテクスチャパッチ、即ち、第１ないし第８テクスチャパッチ３０−１、…、３０−８を含むものとして示しているが、それに限定されるものではない。
【００８２】
一実施形態に係る学習ネットワークモデルは、ピクセルブロック２０の特性に基づいて、当該ピクセルブロックが複数のクラスのうちいずれか一つに対応していないと識別されると、当該ピクセルブロック２０の特性に基づいて新規クラスを生成し、新規クラスにピクセルブロックをマッピングして保存することができる。一例として、ピクセルブロック２０と複数のクラスとの間の類似度が全て臨界値未満であれば、学習ネットワークモデルは、ピクセルブロック２０の特性に基づいて複数のクラスの他の新しいクラスを生成することもできる。
【００８３】
図５を参照すると、一実施形態によって、学習ネットワークモデルは、第１ないし第８クラスと第４ピクセルブロック２０−４との間の類似度が臨界値未満であれば、即ち、第４ピクセルブロック２０−４に対応するクラスが識別されないと、第４ピクセルブロック２０−４の特性に基づいて第９クラスを生成することができる。例えば、複数のクラスがエッジ方向を基準に分類されていると、学習ネットワークモデルは、第４ピクセルブロック２０−４を構成するピクセルのエッジ方向を識別し、識別されたエッジ方向を基準に第９クラスを生成することができる。続いて、学習ネットワークモデルは、第４ピクセルブロック２０−４を第９クラスにマッピングして保存することができる。例えば、学習ネットワークモデルは、新しく生成された第９クラスに対応するテクスチャパッチで第４ピクセルブロック２０−４を保存することができる。
【００８４】
図２に戻り、本発明の一実施形態に係る学習ネットワークモデルは、ピクセルブロック２０に対応するクラスにマッチするテクスチャパッチ３０が識別されると、ピクセルブロック２０とクラスとの類似度、テクスチャパッチ３０とクラスとの類似度に基づいてテクスチャパッチ３０のアップデータ有無を識別することができる。ここで、学習ネットワークモデルは、クラスを定義する基準とピクセルブロック２０との間の類似度（又は、適合度）及びクラスを定義する基準と当該クラスにマッチするテクスチャパッチ３０との間の類似度とを比較し、アップデータ有無を識別することができる。図５を参照すると、学習ネットワークモデルは、エッジ方向を基準に分類された複数のクラスを含んでよい。複数のクラスのうち、第１クラス（Ｃｌａｓｓ＃１）はエッジ方向が０°で定義されたクラスであり、第５クラス（Ｃｌａｓｓ＃５）はエッジ方向が９０°で定義されたクラスを意味することができる。学習ネットワークモデルは、第１ピクセルブロック２０−１が入力されると、第１ピクセルブロック２０−１のエッジ方向に基づいて複数のクラスのうち、類似度の最も大きい第１クラス（Ｃｌａｓｓ＃１）を識別することができる。続いて、第１クラス（Ｃｌａｓｓ＃１）と第１ピクセルブロック２０−１との間の類似度と、第１クラス（Ｃｌａｓｓ＃１）と第１テクスチャパッチ３０−１との間の類似度とを比較し、第１テクスチャパッチ３０−１のアップデート有無を識別することができる。
【００８５】
それに対する具体的な説明は、図６を参照して説明する。
【００８６】
図６は、本発明の一実施形態に係るクラス及びテクスチャパッチを説明するための図である。
【００８７】
図６を参照すると、学習ネットワークモデルは、ピクセルブロック２０の特性に基づいて、複数のクラスのうちピクセルブロック２０に対応するクラスを識別することができる。例えば、ピクセルブロック２０は、６５°のエッジ方向を含むと、学習ネットワークモデルは、第１ないし第８クラス（Ｃｌａｓｓ＃１−Ｃｌａｓｓ＃８）のうち、６７．５°のエッジ方向で定義された第４クラス（Ｃｌａｓｓ＃４）を識別することができる。続いて、学習ネットワークモデルは、識別された第４クラス（Ｃｌａｓｓ＃４）に対応するテクスチャパッチ３０を獲得することができる。
【００８８】
続いて、学習ネットワークモデルは、ピクセルブロック２０と第４クラス（Ｃｌａｓｓ＃４）との類似度、テクスチャパッチ３０と第４クラス（Ｃｌａｓｓ＃４）との類似度に基づいて、テクスチャパッチ３０のアップデータ有無を識別することができる。ここで、類似度は、多様な形態の類似度測定アルゴリズム、適合度測定アルゴリズム、機械学習アルゴリズムを用いて測定され得ることはいうまでもない。例えば、階調値に基づいてヒストグラムを比較するか、ユークリッド距離などを算出して類似度を識別することができ、別の例として、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）学習されたアルゴリズムモデルに基づいて類似度を識別することもできる。
【００８９】
例えば、従来に、学習ネットワークモデルの他入力映像１０’、サンプル映像などに基づいた学習結果に応じて、第４クラス（Ｃｌａｓｓ＃４）にマッチするテクスチャパッチ３０のエッジ方向が５０°である場合を想定することができる。第４クラス（Ｃｌａｓｓ＃４）を定義するエッジ方向が６７．５°であるため、学習ネットワークモデルは６５°のエッジ方向を含むピクセルブロック２０の第１類似度が５０°のエッジ方向を含むテクスチャパッチ３０の第２類似度対比大きい値を有し、ピクセルブロック２０が第４クラス（Ｃｌａｓｓ＃４）に適していると識別することができる。学習ネットワークモデルは、ピクセルブロック２０に基づいてテクスチャパッチ３０を代替することができる。続いて、学習ネットワークモデルは、入力映像１０に含まれた他ピクセルブロック２０’が入力され、他ピクセルブロック２０’が第４クラス（Ｃｌａｓｓ＃４）に対応すると、６５°のエッジ方向を含むピクセルブロック２０に基づいてアップデートされたテクスチャパッチ３０’を出力することができる。続いて、プロセッサ１２０は、テクスチャパッチ３０’に基づいて他ピクセルブロック２０’のテクスチャを生成することができる。
【００９０】
別の例として、ピクセルブロックに対応するクラスと当該ピクセルブロック２０との間の第１類似度より、クラスと当該クラスにマッチするテクスチャパッチ３０との間の第２類似度が大きい場合を想定することができる。この場合、学習ネットワークモデルは、テクスチャパッチ３０が入力映像１０、ピクセルブロック２０のテクスチャ生成に適していると識別することができ、テクスチャパッチ３０をそのまま維持することができる。
【００９１】
一方、本発明の一実施形態によって、学習ネットワークモデルは、入力映像１０に含まれたピクセルブロック２０に対応するテクスチャパッチ３０を獲得する過程で当該テクスチャパッチ３０をアップデートするため、入力映像１０のテクスチャ向上に適しているテクスチャパッチ３０を含む映像処理モデルを生成することができる。
【００９２】
例えば、森、芝生などのオブジェクトを含む入力映像１０に学習ネットワークモデルを適用すると、学習ネットワークモデルは、入力映像１０を構成するピクセルブロック２０とクラスとの間の類似度と、予め保存されたテクスチャパッチ３０とクラスとの間の類似度とを比較し、予め保存されたテクスチャパッチ３０を維持するか、当該ピクセルブロック２０に予め保存されたテクスチャパッチ３０を代替することができる。一実施形態によって、入力映像１０に含まれた他ピクセルブロック２０’に学習ネットワークモデルが適用されると、学習ネットワークモデルは、先行する過程でピクセルブロック２０に基づいてアップデートされたテクスチャパッチ３０’を識別することができる。この場合、アップデートされたテクスチャパッチ３０’は、入力映像１０から獲得されたパッチであるため、同一の入力映像１０に含まれた他ピクセルブロック２０’と高い相関関係、高い適合度を有することができる。よって、プロセッサ１２０は、アップデートされたテクスチャパッチ３０’を他ピクセルブロック２０’に適用してテクスチャが生成され、ディテールの向上した出力映像を獲得することができる。
【００９３】
図２に戻り、本発明の一実施形態に係る本発明の一実施形態に係る学習ネットワークモデルは、複数のクラスのそれぞれに対応するテクスチャパッチ３０の保存時期又はテクスチャパッチ３０の適用頻度のうち、少なくとも一つに基づいてテクスチャパッチ３０を学習することができる。
【００９４】
一例として、学習ネットワークモデルは、入力映像１０に基づいてテクスチャパッチ３０を学習することができ、予め保存されたテクスチャパッチ３０の保存時期を更に考慮することができる。例えば、学習ネットワークモデルは、入力映像１０に含まれたピクセルブロック２０に対応するテクスチャパッチ３０の保存時期が一定期間を経過していると識別されると、テクスチャパッチ３０をピクセルブロック２０に代替することができる。テクスチャパッチ３０の保存時期が長く経過している場合、入力映像１０との適合度、マッチ関係のクラスとの類似度が低下することを意味することができるため、学習ネットワークモデルは入力映像１０に含まれたピクセルブロック２０に基づいて学習を行い、テクスチャパッチ３０をアップデートすることができる。学習ネットワークモデルは、入力映像１０に含まれたピクセルブロック２０を当該ピクセルブロック２０に対応するクラスのテクスチャパッチ３０にマッピングし、新しくマッピングされたテクスチャパッチ３０を入力映像１０のテクスチャを生成するために利用することができる。
【００９５】
別の例として、本発明の一実施形態に係る学習ネットワークモデルは、ピクセルブロック２０とクラスとの間の類似度とテクスチャパッチ３０とクラスとの間の第２類似度とが同一であれば、テクスチャパッチ３０の保存時点、活用頻度などに基づいてテクスチャパッチ３０をアップデートすることもできる。例えば、第１及び第２類似度が同じであれば、入力映像１０のテクスチャ生成にピクセルブロック２０が予め保存されたテクスチャパッチ３０より適している可能性があるため、ピクセルブロック２０に基づいてテクスチャパッチ３０をアップデートすることができる。更に別の例として、第１及び第２類似度が同じであれば、学習ネットワークモデルは、テクスチャパッチ３０の他にピクセルブロック２０を追加することもできる。
【００９６】
ただ、それは一実施形態であって、テクスチャパッチ３０の保存時期が一定期間を経過すると、テクスチャパッチ３０が必ずしもアップデートしなければならないことを意味しない。
【００９７】
別の例として、学習ネットワークモデルは、テクスチャパッチ３０の適用頻度に基づいてテクスチャパッチ３０を学習することができる。一例として、特定のテクスチャパッチ３０が現在入力中の映像１０の他にも、従来に他入力映像１０’のテクスチャ生成のために頻繁に利用されると識別されると、特定テクスチャパッチ３０は、当該クラスとの適合度が高く、テクスチャ生成に有用に適用可能であることを意味することができる。それと違い、特定のテクスチャパッチ３０が入力映像１０のテクスチャ生成に用いられた頻度が少ないと識別されると、学習ネットワークモデルは、テクスチャパッチ３０がマッピング関係のクラスと適合度が低いと識別することができる。この場合、学習ネットワークモデルは、入力映像１０に含まれたピクセルブロック２０にテクスチャパッチ３０を代替することができる。例えば、ピクセルブロック２０の特性に基づいて、複数のクラスのうち特定のクラスが当該ピクセルブロック２０に対応するクラスであることが識別され、識別されたクラスに対応するテクスチャパッチ３０の保存時点が一定期間経過しているか、映像への適用頻度が臨界回数未満であれば、学習ネットワークモデルは、当該ピクセルブロック２０にテクスチャパッチ３０を代替することができる。
【００９８】
図７は、本発明の一実施形態に係る入力映像を学習するモデルを説明するための図である。
【００９９】
図７を参照すると、学習ネットワークモデルは、複数のクラスのうち一部のクラスに対応するテクスチャパッチ３０を保存しなくてよい。例えば、図５に示すように、第１ないし第８クラスのそれぞれに対応する第１ないし第８テクスチャパッチ３０−１、…、３０−８を保存するのではなく、複数のクラスのうち一部のクラスは、マッピング関係のテクスチャパッチ３０を保存しており、残りのクラスは、テクスチャパッチ３０を保存しなくてよい。この場合、学習ネットワークモデルは、入力映像１０に基づいてテクスチャパッチ３０を獲得及び保存することができる。一例として、学習ネットワークモデルが入力映像１０に含まれたピクセルブロック２０に対応するクラスを識別し、識別されたクラスに対応するテクスチャパッチ３０を含まない場合を想定することができる。学習ネットワークモデルは、当該ピクセルブロック２０を識別されたクラスにマッピングして保存することができる。
【０１００】
一方、クラスは、一つのテクスチャパッチ３０のみを含むものとして説明したが、必ずしもそれに限定されるものではない。例えば、第１クラスは第１クラスに対応する少なくとも二つのテクスチャパッチ３０を含んでよい。一実施形態によって、学習ネットワークモデルは、入力映像１０に含まれたピクセルブロック２０のクラスを識別し、識別されたクラスにピクセルブロック２０をテクスチャパッチ３０に追加することができる。ここで、学習ネットワークモデルは、従来に予め保存されたテクスチャパッチ３０を削除したり、代替するのではなく、予め保存されたテクスチャパッチ３０を第１テクスチャパッチに、ピクセルブロック２０を第２テクスチャパッチにして、当該クラスにマッピングして保存することができる。
【０１０１】
一実施形態に係る学習ネットワークモデルは、ピクセルブロック２０に対応すると識別されたクラスに対応するテクスチャパッチ３０が複数存在すると、ピクセルブロック２０と複数のテクスチャパッチ３０のそれぞれの相関関係に基づいて複数のテクスチャパッチのうち何れか一つを識別することができる。例えば、ピクセルブロック２０に対応するクラスが第４クラスであり、第４クラスとマッピング関係のテクスチャパッチが第１ないし第３テクスチャパッチである場合を想定することができる。学習ネットワークモデルは、ピクセルブロックと第１ないし第３テクスチャパッチのそれぞれの相関関係を識別し、識別された相関関係のうち、最も高い相関値を有するテクスチャパッチを識別することができる。最も高い相関値を有するテクスチャパッチは、ピクセルブロック２０のテクスチャ生成に最も高い適合度を有するパッチであることを意味することができる。続いて、学習ネットワークモデルは、識別されたテクスチャパッチをピクセルブロック２０に適用してテクスチャを生成することができる。
【０１０２】
図８は、本発明の別の実施形態に係るクラスを説明するための図である。
【０１０３】
図８を参照すると、一実施形態に係る学習ネットワークモデルは、映像の特性に基づいてピクセルブロック２０を第１ないし第１６クラスのうちいずれか一つのクラスに分類することができる。続いて、学習ネットワークモデルは、分類されたクラスとマッピング関係のテクスチャパッチ３０を識別することができる。続いて、識別されたテクスチャパッチ３０をピクセルブロック２０に適用することができる。
【０１０４】
一方、学習ネットワークモデルは、多様な基準により、クラスを区分することができる。なお、クラスの数は、固定されたり限定されるものではなく、学習ネットワークモデルは、複数のクラスのうち特定のクラスを削除したり、複数のクラスの他の追加クラスを生成することもできる。
【０１０５】
説明の便宜上、エッジ方向を基準にクラスを区分し、複数のクラスのそれぞれが単一テクスチャパッチを含む場合を想定して説明しているが、それに限定されるものではない。例えば、一実施形態に係る学習ネットワークモデルは、色座標の分布を基準に第１ないし第ｎクラスに分類することができ、入力映像１０に含まれたピクセルブロック２０の色座標分布に基づいて、第１ないし第ｎクラスのうち、対応するクラスを識別することができる。別の例として、学習ネットワークモデルは、平均階調値、階調値の分散などを基準に、第１ないし第ｎクラスに分類することもできる。
【０１０６】
図９は、本発明の一実施形態に係る学習結果を説明するための図である。
【０１０７】
図９を参照すると、学習ネットワークモデルは、入力映像１０を構成する複数のピクセルブロック２０のそれぞれに対応するテクスチャパッチ３０を提供し、プロセッサ１２０は、テクスチャパッチ３０をピクセルブロック２０に適用してディテールの向上した出力映像を獲得することができる。
【０１０８】
学習ネットワークモデルが入力映像１０に含まれたピクセルブロック２０に基づいて学習を行うことで、映像１０の入力前と後とで、学習ネットワークモデルに含まれた複数のクラス及びテクスチャパッチ３０が異なってよい。例えば、映像の入力前に、学習ネットワークモデルは先行して入力された他映像又はサンプル映像に基づいて学習されたテクスチャパッチ３０を含むことができる。学習ネットワークモデルは、入力映像１０に含まれたピクセルブロック２０と当該ピクセルブロック２０に対応するクラス間の類似度、当該クラスにマッピングされたテクスチャパッチ３０とクラスとの間の類似度を識別し、識別結果に基づいてテクスチャパッチ３０をアップデートすることができる。例えば、学習ネットワークモデルは、ピクセルブロック２０にテクスチャパッチ３０を代替するか、テクスチャパッチ３０を維持することができる。
【０１０９】
図９は、入力映像１０に基づいた学習ネットワークモデルの学習結果を示す図である。図９を参照すると、学習ネットワークモデルに含まれた複数のクラスのうち一部のクラスは、マッピング関係のテクスチャパッチ３０が入力映像１０に含まれたピクセルブロック２０に代替されている。別の例として、複数のクラスのうち、残りのクラスは、マッピング関係のテクスチャパッチ３０が維持されている。
【０１１０】
図５、６、７において、ピクセルブロック２０に示す矢印は、当該ピクセルブロック２０に対応するクラスを示すものであり、図９において、ピクセルブロック２０に示す矢印は、学習ネットワークモデルの学習結果に応じて、テクスチャパッチ３０が当該ピクセルブロック２０に代替されていることを意味する。例えば、図９を参照すると、クラス２、４、６のそれぞれに対応するテクスチャパッチ３０が入力映像１０に含まれたピクセルブロック２０に代替されている。
【０１１１】
図２に戻り、本発明の一実施形態に係るプロセッサ１２０は、テクスチャパッチ３０及びピクセルブロック２０間の相関関係に基づいて、テクスチャパッチ３０に対する加重値を獲得することができる。続いて、プロセッサ１２０は、加重値の適用されたテクスチャパッチ３０’をピクセルブロック２０に適用して出力映像を獲得することができる。
【０１１２】
入力映像１０に含まれたピクセルブロック２０と学習ネットワークモデルから獲得されたテクスチャパッチ３０との間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）（又は、相関度又は関連度）は、一定の数値で計算され、両変量ｘ、ｙが相互関連性があると推測される関係を意味し、関連性の程度は、相関係数（ｃｏｒｒｅｌａｔｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれる数値で示されてよい。例えば、相関係数は、−１．０から＋１．０までの間の数値で表現されてよく、符号に関係なく、数字の絶対値が大きいほど関連性が大きいと見なすことができる。例えば、負（−）の値は負の相関を示し、正（＋）の値は正の相関を示してよい。
【０１１３】
例えば、当該ピクセルブロック２０に含まれたピクセル値Ｉ ＝ ［ｉ０、ｉ１、…、ｉｎ−１］、テクスチャパッチＲ［ｎ］に含まれた値Ｒ［ｎ］ ＝ ［ｒ０、ｒ１、…、ｒｎ−１］とすると、相関値Ｃ［ｎ］はＥ［Ｉ＊Ｒ［ｎ］］ ＝ ｉｉ ＊ ｒｉで獲得することができる。
【０１１４】
又は、対象ピクセルブロックに含まれたピクセル値の平均をｍ（Ｉ）、テクスチャパッチＲ［ｎ］に含まれた値の平均をｍ（Ｒ［ｎ］）とすると、相関値は、以下のような数式１に基づいて獲得されてよい。
【０１１５】
【数１】
2020170515.tif 000003
【０１１６】
一方、本発明の一実施形態によって、テクスチャパッチ３０の平均は０であってよい。テクスチャパッチ３０を適用しても、入力映像１０の全体的な輝度が変わらずに維持されるようにするためである。一実施形態によって、テクスチャパッチ３０の平均が０であれば、数式１は以下の数式２のように誘導されてよい。
【０１１７】
【数２】
2020170515.tif 000004
【０１１８】
本発明の一実施形態に係る学習ネットワークモデルは、ピクセルブロック２０と当該ピクセルブロック２０に対応するテクスチャパッチ３０との間の相関関係が臨界値以上であれば、当該ピクセルブロック２０のクラスに対応するテクスチャパッチ３０を維持することができる。別の例として、学習ネットワークモデルは、ピクセルブロック２０と当該ピクセルブロック２０に対応するテクスチャパッチ３０との間の相関関係が臨界値未満であれば、当該ピクセルブロック２０に基づいてテクスチャパッチ３０をアップデートすることができる。別の例として、プロセッサ１２０は、獲得された相関値に予め設定された比例定数を掛け算して獲得された値をテクスチャパッチ３０に対応する加重値として獲得することができる。例えば、プロセッサ１２０は、相関値に基づいて０ないし１範囲の加重値を獲得することができる。一例によって、相関関係によって、テクスチャパッチ３０に加重値０を適用する場合、当該テクスチャパッチ３０は対象ピクセルブロック２０に足されなくなる。例えば、平坦な領域や強いエッジ（Ｅｄｇｅ）の含まれた領域では、全てのクラス及び全てのテクスチャパッチに対する相関関係が非常に低い可能性が高いため、何のテクスチャも生じなくなる。この場合、エッジ領域で発生し得るリンギング現象を防止することができ、平坦の領域に不要なテクスチャが足されることを防止することができるようになる。
【０１１９】
ただ、本発明の別の実施形態によると、ピクセルブロック２０とテクスチャパッチ３０との間の類似度情報は、上述の相関関係の他に、多様な費用関数によって獲得されてよい。例えば、類似性を判断する費用関数（ｃｏｓｔ  ｆｕｎｃｔｉｏｎ）としてはＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）、ＳＡＤ（Ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ）、ＭＡＤ（Ｍｅｄｉａｎ  Ａｂｓｏｌｕｔｅ  Ｄｅｖｉａｔｉｏｎ）、ｃｏｒｒｅｌａｔｉｏｎなどを使うことができる。例えば、ＭＳＥを適用する場合、対象ピクセルブロックのＭＳＥを算出し、ＭＳＥ観点から対象ピクセルブロック２０とテクスチャパッチ３０との間の類似度を獲得することができる。例えば、ＭＳＥ差に基づいて類似度加重値が決定されてよい。
【０１２０】
プロセッサ１２０は、獲得された加重値をテクスチャパッチ３０のそれぞれに適用し、加重値の適用されたテクスチャパッチ３０を対象ピクセルブロック２０に適用して出力映像を獲得することができる。ここで、適用とは、対象ピクセルブロック２０に含まれた各ピクセル値に加重値が適用されたテクスチャパッチ３０の対応する領域に含まれた値を足し算する方式であってよい。ただ、それに限定されるものではなく、単なる足し算の他の更なる処理が行われることもできる。
【０１２１】
本発明の別の実施形態によると、プロセッサ１２０は、テクスチャパッチ３０が獲得されると、テクスチャパッチ３０に周波数フィルタリングを適用し、周波数フィルタリングの適用されたテクスチャパッチ３０を対象ピクセルブロックに適用することもできる。即ち、プロセッサ１２０は、テクスチャパッチ３０を入力映像に足す前に周波数フィルタリングを適用し、テクスチャパッチ３０の周波数範囲を変形させることができる。例えば、プロセッサ１２０は、ｈｉｇｈ−ｐａｓｓ  ｆｉｌｔｅｒを使って高周波テクスチャを生成することもでき、ｌｏｗ−ｐａｓｓ  ｆｉｌｔｅｒを使って低周波テクスチャを生成することができる。下記の数式３は、フィルタリングされたテクスチャＦｉｌｔｅｒ（Ｔ）を入力映像Ｉと足して出力映像Ｏを獲得する過程を示す。
【０１２２】
【数３】
2020170515.tif 000005
【０１２３】
例えば、プロセッサ１２０は、テクスチャパッチ３０にガウシアンぼかし（又は、ガウシアンフィルタリング）のようなｌｏｗ−ｐａｓｓ  ｆｉｌｔｅｒを適用することができる。ガウシアンぼかしは、ガウシアン確率分布に基づいたガウシアンフィルタを用いてぼかし処理をする方法で、ガウシアンフィルタをテクスチャパッチ３０に適用すると、高周波成分は遮断されてぼかし処理になる。一実施形態に係るプロセッサ１２０は、テクスチャパッチ３０に含まれた全てのピクセル値に対するガウシアンぼかしを行い、ぼかされたテクスチャパッチ３０’を獲得することができる。続いて、プロセッサ１２０は、ぼかされたテクスチャパッチ３０’を対応するピクセルブロック２０に適用して出力映像を獲得することができる。
【０１２４】
一方、上述の映像処理過程、即ち、テクスチャ向上処理は、実施形態によって映像のスケーリング前又は後で行われてよい。例えば、低解像度映像を高解像度映像に拡大するスケーリング後に上述の映像処理を行うか、圧縮映像をデコードする過程で上述の映像処理を行った後でスケーリングを行うこともできる。
【０１２５】
本発明の別の実施形態に係る学習ネットワークモデルは、相互異なる加重値を適用した複数のテクスチャパッチを獲得することもできる。
【０１２６】
例えば、学習ネットワークモデルは、ピクセルブロック２０に対応するクラスを識別し、当該クラスに対応する第１ないし第ｎテクスチャパッチを獲得することができる。続いて、学習ネットワークモデルは、ピクセルブロック２０と第１ないし第ｎテクスチャパッチとの間の相関関係を識別することができる。例えば、学習ネットワークモデルは、ピクセルブロック２０と第１テクスチャパッチとの間の相関関係に基づいて第１加重値を獲得し、ピクセルブロック２０と第２テクスチャパッチとの間の相関関係に基づいて第２加重値を獲得することができる。続いて、学習ネットワークモデルは、第１加重値を第１テクスチャパッチに掛け算し、第２加重値を第２テクスチャパッチに掛け算し、第１加重値が掛け算された第１テクスチャパッチ及び第２加重値が掛け算された第２テクスチャパッチを対象ピクセルブロック２０に適用して出力映像を獲得することができる。
【０１２７】
本発明の一実施形態によると、相関関係に応じて加重値は予め設定された範囲、例えば、０ないし１の範囲で決定されてよい。例えば、学習ネットワークモデルは、ピクセルブロック２０と学習されたテクスチャパッチ３０との間の相関関係が最小である場合、加重値を０に決定し、相関関係が最大である場合、加重値を１に決定し、相関関係が最小ないし最大の間では線形的に増加するように加重値を決定することができる。
【０１２８】
図１０は、本発明の別の実施形態に係るクラスを説明するための図である。
【０１２９】
図１０を参照すると、学習ネットワークモデルは、学習を行う過程でクラス別にテクスチャパッチ３０を追加、削除することができる。
【０１３０】
一実施形態によって、学習ネットワークモデルは、入力映像１０に含まれた複数のピクセルブロックに基づいて学習を行うことで、特定のクラスに含まれたテクスチャを削除したり、特定クラスに複数のテクスチャパッチを保存することができる。よって、学習ネットワークモデルは、複数のクラスのそれぞれにテクスチャパッチを保存するための保存空間を同一に割り当てることもでき、特定のクラスに残りのクラスより多くの保存空間を割り当てることもできる。
【０１３１】
一実施形態によって、学習ネットワークモデルは、入力映像１０に含まれた複数のピクセルブロックのそれぞれのクラスを識別し、複数のクラスのそれぞれの識別頻度に基づいて複数のクラスのうち、少なくとも一つに対応するメモリ１１０の保存空間の大きさを変更することができる。例えば、学習ネットワークモデルは、識別頻度に応じて、予め設定された頻度以上識別されたクラスにテクスチャパッチを保存するための保存空間を追加割り当ててメモリ１１０の保存空間の大きさを増加させることができる。ここで、予め設定された頻度は、ピクセルブロック全体数対比特定のクラスが２０％以上識別される場合を意味することができる。一方、それは一実施形態に過ぎず、予め設定された回数は１０％など多様に設定されることができる。別の例として、学習ネットワークモデルは、識別頻度に基づいて最も多く識別されたクラスに対応する保存空間の大きさを増加させることができる。
【０１３２】
例えば、入力映像１０に含まれた複数のピクセルブロックのうち、複数のピクセルブロックが第４クラスに対応する場合を想定することができる。学習ネットワークモデルは、第４クラスに対応するメモリ１１０上の保存空間の大きさを増加させることができる。
【０１３３】
一実施形態によって、学習ネットワークモデルは、ピクセルブロックが第４クラスに対応すると識別されると、当該ピクセルブロックと第４クラスとの間の第１類似度を識別し、第４クラスに予め保存されてテクスチャパッチとの間の第２類似度を識別することができる。続いて、学習ネットワークモデルは、第１類似度が第２類似度より少ない値であれば、予め保存されたテクスチャパッチを維持し、当該ピクセルブロックを第４クラスに追加で保存することができる。ここで、予め保存されたテクスチャパッチが当該ピクセルブロックより前の順位を有することができる。
【０１３４】
別の例として、学習ネットワークモデルは、第１類似度が第２類似度より大きい値であれば、当該ピクセルブロックを第４クラスに追加で保存することができる。ここで、予め保存されたテクスチャパッチの優先順位が後ろの順位に変更され、当該ピクセルブロックが予め保存されたテクスチャパッチより前の順位を有することができる。
【０１３５】
更に別の実施形態として、学習ネットワークモデルは、複数のクラス別識別頻度に基づいて、最も多く識別されたクラスに予め設定された数のテクスチャパッチが保存できるようにメモリ１１０の保存空間の大きさを変更することができ、二番目に多く識別されたクラスに予め設定された数より少ない数のテクスチャパッチが保存できるように保存空間の大きさを変更することができる。例えば、学習ネットワークモデルは、最も多く識別された第４クラスに最大１０個のテクスチャパッチが保存できるように保存空間の大きさを変更することができ、二番目に多く識別された第２クラスに最大６個のテクスチャパッチが保存できるように保存空間の大きさを変更することができる。一方、具体的な数字は、一実施形態に過ぎず、保存可能なテクスチャパッチの数は、多様に設定できる。
【０１３６】
一方、学習ネットワークモデルは、当該ピクセルブロックをいつも識別されたクラスに対応するテクスチャパッチに追加するのではなく、当該ピクセルブロックと識別されたクラスとの間の類似度が予め設定された値未満であれば、当該ピクセルブロックを追加しなくてよい。一例として、学習ネットワークモデルは、当該ピクセルブロックと識別されたクラスとの間の類似度が５０％未満であれば、当該ピクセルブロックを識別されたクラスのテクスチャパッチに追加しなくてよい。
【０１３７】
別の例として、学習ネットワークモデルは、入力映像１０に含まれた複数のピクセルブロックのそれぞれのクラスを識別するうえで、予め設定された数未満識別されたクラスに対応するテクスチャパッチをメモリ１１０から削除することができる。続いて、学習ネットワークモデルは、テクスチャパッチの削除によって確保されたメモリ１１０の保存空間を残りのクラスに割り当てることができる。
【０１３８】
例えば、学習ネットワークモデルは、複数のピクセルブロックのそれぞれのクラスを識別した結果によって、第３クラスに対応するピクセルブロックの数が予め設定された数未満であれば、第３クラスに予め保存されたテクスチャパッチを削除し、第３クラスに対応するテクスチャパッチを保存するための保存空間を残りのクラスに割り当てることができる。それにより、学習ネットワークモデルは、高い頻度で識別されるクラスに複数のテクスチャパッチが保存できるように当該クラスに保存空間の大きさを増加させることができる。
【０１３９】
別の例として、学習ネットワークモデルは、識別頻度に基づいて最も少なく識別されたクラスを削除し、当該クラスに予め割り当てられた保存空間を残りのクラスに再割り当てすることもできる。
【０１４０】
図１１は、図２に示す電子装置の細部構成を示すブロック図である。
【０１４１】
図１１によると、映像処理装置１００は、メモリ１１０、プロセッサ１２０、入力部１３０、ディスプレイ１４０、出力部１５０及びユーザインターフェース１６０を含む。図１１に示す説明のうち、図２に示す構成と重複する構成については、詳細な説明を省略する。
【０１４２】
本発明の一実施形態によると、メモリ１１０は、本発明に係る多様な動作で生成されるデータを保存する単一メモリで実現されてよい。
【０１４３】
ただ、本発明の別の実施形態によると、メモリ１１０は第１ないし第３メモリを含むように実現されてよい。
【０１４４】
第１メモリは、入力部１３０を介して入力された映像のうち、少なくとも一部を保存することができる。特に、第１メモリは、入力された映像フレームのうち少なくとも一部領域を保存することができる。この場合、少なくとも一部の領域は、本発明の一実施形態に係る映像処理を行ううえで必要な領域であってよい。一実施形態によって、第１メモリはＮラインメモリで実現されてよい。例えば、Ｎラインメモリは、縦方向に１７ライン相当の容量をもつメモリであってよいが、それに限定されるものではない。例えば、１０８０ｐ（１，９２０×１，０８０の解像度）のＦＵＬＬ  ＨＤ映像が入力される場合、ＦＵＬＬ  ＨＤ映像で１７ラインの映像領域のみが第１メモリに保存される。このように、第１メモリはＮラインメモリで実現され、入力された映像フレームのうち、一部の領域のみが映像処理のために処理される理由は、ハードウェア的限界によって第１メモリのメモリ容量が制限されるためである。第２メモリは、獲得された少なくとも一つのテクスチャパッチ３０などを保存するためのメモリとして、本発明の多様な実施形態によって多様なサイズのメモリで実現されてよい。例えば、本発明の一実施形態によって、入力映像の各ピクセル値に対応するテクスチャ成分を全て獲得して保存した後、入力映像に適用するように実現される場合、第２メモリは、入力映像の大きさと同じか大きいサイズで実現されてよい。別の実施形態によって、第１メモリのサイズに対応する映像単位でテクスチャ成分を適用するか、ピクセルライン単位で獲得されたテクスチャ成分をピクセルライン単位で適用するなどの場合には、当該映像処理のための適切なサイズで実現されてよい。一方、第２メモリはメモリ１１０の全体領域のうち学習ネットワークモデルに割り当てられたメモリ領域を意味することもできる。
【０１４５】
第３メモリは、獲得されたテクスチャ成分を適用して映像処理した出力映像が保存されるメモリとして、本発明の多様な実施形態によって多様なサイズのメモリで実現されてよい。例えば、本発明の一実施形態によって、入力映像１０の各ピクセル値に対応するテクスチャ成分を全て適用して出力映像を獲得してディスプレイするように実現される場合、第３メモリは入力映像の大きさと同じか大きいサイズで実現されてよい。別の実施形態によって、第１メモリのサイズに対応する映像単位で映像を出力するか、パッチサイズに対応するライン単位で出力するなどの場合には、当該映像保存のための適切なサイズで実現されてよい。
【０１４６】
ただ、第１メモリ又は第２メモリに出力映像がオーバーライトされたり、出力映像が保存されずに直ちにディスプレイされる形態で実現される場合などに、第３メモリは必要しなくてよい。
【０１４７】
入力部１３０は、多様なタイプのコンテンツ、例えば、映像信号を受信する、例えば、入力部１３０は、ＡＰ基盤のＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  ＬＡＮネットワーク）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））、Ｚｉｇｂｅｅ、有／無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ、イーサネット、ＩＥＥＥ  １３９４、ＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、ＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＤＰ（Ｄｉｓｐｌａｙ  Ｐｏｒｔ）、サンダーボルト（Ｔｈｕｎｄｅｒｂｏｌｔ）、ＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）ポート、ＲＧＢポート、D−ＳＵＢ（Ｄ−ｓｕｂｍｉｎｉａｔｕｒｅ）、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）などのような通信方式を通じて外部装置（例えば、ソース装置）、外部保存媒体（例えば、ＵＳＢ）、外部サーバ（例えば、ウェブハード）などからストリーミング又はダウンロードの方式で映像信号を受信することができる。ここで、映像信号は、デジタル信号であってよいが、それに限定されるものではない。
【０１４８】
ディスプレイ１４０は、ＬＣＤ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）、ＯＬＥＤ（ｏｒｇａｎｉｃ  ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、ＥＤ（Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、ｍｉｃｒｏ  ＬＥＤ、ＬＣｏＳ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  ｏｎ  Ｓｉｌｉｃｏｎ）、ＤＬＰ（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ）、ＱＤ（ｑｕａｎｔｕｍ  ｄｏｔ）ディスプレイパネルなどのような多様な形態で実現できる。
【０１４９】
出力部１５０は、音響信号を出力する。
【０１５０】
例えば、出力部１５０は、プロセッサ１２０で処理されたデジタル音響信号をアナログ音響信号に変換して増幅して出力することができる。例えば、出力部１５０は、少なくとも一つのチャネルを出力することができる、少なくとも一つのスピーカユニット、Ｄ／Ａコンバータ、オーディオアンプ（ａｕｄｉｏ  ａｍｐｌｉｆｉｅｒ）などを含んでよい。一例として、出力部１５０は、Ｌチャネル、Ｒチャネルをそれぞれ再生するＬチャネルスピーカ及びＲチャネルスピーカを含んでよい。ただ、それに限定されるものではなく、出力部１５０は、多様な形態で実現可能である。別の例として、出力部１５０は、Ｌチャネル、Ｒチャネル、センターチャネルを再生するサウンドバー形態で実現することも可能である。
【０１５１】
ユーザインターフェース１６０は、ボタン、タッチパッド、マウス及びキーバードのような装置で実現されるか、上述のディスプレイ機能及び操作入力機能も併せて実行可能なタッチスクリーン、リモコン受信部などで実現されてよい。ここで、ボタンは、映像処理装置１００の本体が外観の全面部や側面部、背面部などの任意の領域に形成された機械的なボタン、タッチパッド、ホイールなどのようなボタンであってよい。
【０１５２】
一方、図１１に示されていないが、本発明の実施形態に係る映像処理前に入力映像のノイズを除去するフリーフィルタリングを更に適用することも可能である。例えば、ガウシアンフィルタのようなスムージングフィルタ（Ｓｍｏｏｔｈｉｎｇ  Ｆｉｌｔｅｒ）、入力映像を予め設定されたガイダンス（Ｇｕｉｄａｎｃｅ）に対比させてフィルタリングするガイデッド（Ｇｕｉｄｅｄ）フィルタなどを適用して目立つノイズを除去することができる。
【０１５３】
図１２は、本発明の一実施形態に係る学習ネットワークモデルを学習して利用するための映像処理装置の構成を示すブロック図である。
【０１５４】
図１２を参照すると、プロセッサ１２０は、学習部１２１０及び認識部１２２０のうち少なくとも一つを含んでよい。図１２のプロセッサ１２０は、図２の映像処理装置１００のプロセッサ１４０又はデータ学習サーバ（図示せず）のプロセッサに対応してよい。
【０１５５】
学習部１２１０は、ピクセルブロック２０のクラスを識別するための基準を有する認識モデル及びクラスに応じてピクセルブロック２０に対応するテクスチャパッチ３０を獲得するための基準を有する認識モデルを生成又は学習させることができる。学習部１２１０は、収集された学習データを用いて判断基準を有する認識モデルを生成することができる。
【０１５６】
一例として、学習部１２１０は、映像に含まれたピクセルブロック２０を学習データとして用いて、当該ピクセルブロック２０に対応するクラスを判断するための認識モデルを生成、学習又は更新させることができる。
【０１５７】
更に別の例として、学習部１２１０は、ピクセルブロック２０とクラスとの類似度及びテクスチャパッチ３０とクラスとの間の類似度とを比較し、テクスチャパッチ３０のアップデータ有無を判断する認識モデルを生成、学習又は更新させることができる。
【０１５８】
認識部１２２０は、所定のアップデータ（例えば、入力映像）を学習された認識モデルの入力データとして使用し、所定のデータに含まれた認識対象又は状況を推定することができる。
【０１５９】
一例として、認識部１２２０は、入力映像１０のピクセルブロック２０を学習された認識モデルの入力データとして使用して当該ピクセルブロック２０のクラス及びテクスチャパッチ３０識別することができる。
【０１６０】
学習部１２１０の少なくとも一部及び認識部１２２０の少なくとも一部は、ソフトウェアモジュールで実現されたり、少なくとも一つのハードウェアチップで製作されて映像処理装置に登載されてよい。例えば、学習部１２１０及び認識部１２２０のうち少なくとも一つは、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）のための専用ハードウェアチップで製作されてよく、又は従来の汎用プロセッサ（例えば、ＣＰＵ又はａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｃｅｓｓｏｒ）又はグラフィック専用のプロセッサ（例えば、ＧＰＵ）の一部で製作されて上述の各種映像処理装置又は客体認識装置に登載されてよい。このとき、人工知能のための専用のハードウェアチップは、確率演算に特化している専用プロセッサとして、従来の汎用プロセッサより並列処理性能が高く、機械学習のような人工知能分野の演算作業を素早く処理することができる。学習部１２１０及び認識部１２２０がソフトウェアモジュール（又は、インストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）を含むプログラムモジュール）で実現される場合、ソフトウェアモジュールは、コンピュータで読み取れる読み取り可能な非一時的な読み取り可能記録媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉａ）に保存されてよい。この場合、ソフトウェアモジュールは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）によって提供されるか、所定のアプリケーションによって提供されてよい。又は、ソフトウェアモジュールのうち一部は、ＯＳによって提供され、残りの一部は所定のアプリケーションによって提供されてよい。
【０１６１】
この場合、学習部１２１０及び認識部１２２０は、一つの映像処理装置に登載されてよく、又は別個の映像処理装置にそれぞれ登載されてよい。例えば、学習部１２１０及び認識部１２２０のうちの一方は、映像処理装置１００に含まれ、他方は外部のサーバに含まれてよい。なお、学習部１２１０及び認識部１２２０は、有線又は無線で学習部１２１０の構築したモデル情報を認識部１２２０に提供することもでき、学習部１２２０に入力されたデータが追加学習データとして学習部１２１０に提供されてよい。
【０１６２】
図１３は、本発明の一実施形態に係る映像処理方法を説明するためのフローチャートである。
【０１６３】
図１３に示す映像処理方法によると、入力映像を学習ネットワークモデルに適用して入力映像に含まれたピクセルブロックに対応するテクスチャパッチを獲得する（Ｓ１３１０）。
【０１６４】
続いて、ピクセルブロックに獲得されたテクスチャパッチを適用して出力映像を獲得する（Ｓ１３２０）。
【０１６５】
ここで、学習ネットワークモデルは、映像の特性に基づいて分類された複数のクラスのそれぞれに対応するテクスチャパッチを保存し、入力映像に基づいて複数のクラスのそれぞれに対応するテクスチャパッチを学習することができる。
【０１６６】
なお、一実施形態に係る学習ネットワークモデルは、ピクセルブロックの特性に基づいて複数のクラスのうち一つを識別し、識別されたクラスに対応するテクスチャパッチを出力し、ピクセルブロックと識別されたクラスとの間の第１類似度及びテクスチャパッチと識別されたクラスとの間の第２類似度とを比較し、テクスチャパッチのアップデータ有無を識別することができる。
【０１６７】
一実施形態に係る学習ネットワークモデルは、第１及び第２類似度に基づいて識別されたクラスに対応するテクスチャパッチをピクセルブロックに代替するか、ピクセルブロックを識別されたクラスに対応するテクスチャパッチに追加してよい。
【０１６８】
なお、学習ネットワークモデルは、比較結果に基づいて、第１類似度が第２類似度より小さい値であれば、識別されたクラスに対応するテクスチャパッチを維持し、比較結果に基づいて、第１類似度が第２類似度より大きい値であれば、ピクセルブロックに基づいてテクスチャパッチをアップデータすることができる。
【０１６９】
本発明の一実施形態に係る学習ネットワークモデルは、識別されたクラスに対応するテクスチャパッチが複数である場合、ピクセルブロック及び複数のテクスチャパッチのそれぞれの相関関係に基づいて複数のテクスチャパッチのうちいずれか一つを識別することができる。
【０１７０】
なお、学習ネットワークモデルは、複数のクラスのそれぞれに対応するテクスチャパッチの保存時期又はテクスチャパッチの適用頻度のうち少なくとも一つに基づいてテクスチャパッチを学習することができる。
【０１７１】
本発明の一実施形態に係る学習ネットワークモデルは、ピクセルブロックの特性に基づいてピクセルブロックの複数のクラスのうちいずれか一つに対応していないと識別されると、ピクセルブロックの特性に基づいて新規クラスを生成し、新規クラスにピクセルブロックをマッピングして保存することができる。
【０１７２】
ここで、複数のクラスは、平均ピクセル値、ピクセル座標、分散、エッジ強度、エッジ方向又は色のうち、少なくとも一つを基準に区分されることができる。
【０１７３】
本発明の一実施形態に係る出力映像を獲得するステップＳ１３２０は、獲得されたテクスチャパッチ及びピクセルブロックの間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、テクスチャパッチに対する加重値を獲得するステップ、及び加重値の適用されたテクスチャパッチをピクセルブロックに適用して出力映像を獲得するステップを含むことができる。
【０１７４】
ここで、出力映像は、４Ｋ  ＵＨＤ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）映像又は８Ｋ  ＵＨＤ映像であってよい。
【０１７５】
ただ、本発明の多様な実施形態は、映像処理装置だけでなく、セットトップボックスのような映像受信装置、映像処理装置などの映像処理が可能な全ての電子装置に適用することができる。
【０１７６】
一方、以上で説明された多様な実施形態は、ソフトウェア（ｓｏｆｔｗａｒｅ）、ハードウェア（ｈａｒｄｗａｒｅ）またはこれらの組み合わせを用いてコンピュータ又はそれに類似する装置で読み込むことができる記録媒体内で実現されてよい。一部の場合において、本発明で説明される実施形態がプロセッサ１２０そのもので実現されてよい。ソフトウェア的な実現によると、本明細書で説明される手続き及び機能のような実施形態は、別途のソフトウェアモジュールで実現されてよい。ソフトウェアモジュールのそれぞれは、本明細書で説明される一つ以上の機能及び動作を行うことができる。
【０１７７】
一方、上述の多様な実施形態に係る音響出力装置１００のプロセッシング動作を行うためのコンピュータ命令語（ｃｏｍｐｕｔｅｒ  ｉｎｓｔｒｕｃｔｉｏｎｓ）は、非一時的な読み取り可能な媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）に保存されてよい。このような非一時的な読み取り可能な媒体に保存されたコンピュータ命令語は、特定の機器のプロセッサによって実行された際、上述の多様な実施形態に係る音響出力装置１００における処理動作を特定の機器が行うようにする。
【０１７８】
非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
【０１７９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１８０】
110  メモリ
120  プロセッサ
130  入力部
140  ディスプレイ
150  出力部
160  ユーザインターフェース
1210  学習部
1220  認識部
【図１】
2020170515.tif 000006
【図２】
2020170515.tif 000007
【図３】
2020170515.tif 000008
【図４】
2020170515.tif 000009
【図５】
2020170515.tif 000010
【図６】
2020170515.tif 000011
【図７】
2020170515.tif 000012
【図８】
2020170515.tif 000013
【図９】
2020170515.tif 000014
【図１０】
2020170515.tif 000015
【図１１】
2020170515.tif 000016
【図１２】
2020170515.tif 000017
【図１３】
2020170515.tif 000018