(57)【特許請求の範囲】
【請求項１】
複数のインデックスベクトルを含むインデックスマトリックス及び前記複数のインデックスベクトルにそれぞれ対応する複数のフィルタが保存されたストレージと、
対象ピクセル及び複数の周辺ピクセルを含むイメージブロックからグラディエントベクトルを算出し、前記インデックスマトリックス及び前記グラディエントベクトルに基づいて、前記複数のインデックスベクトルのそれぞれに対する前記イメージブロックの相関性を算出し、前記算出された相関性に基づいて、前記複数のフィルタのうち、少なくとも一つのフィルタを前記イメージブロックに適用し、前記対象ピクセルが映像処理された最終イメージブロックを獲得するプロセッサと
を含み、
前記複数のフィルタは、前記複数のインデックスベクトルのそれぞれに基づいて、複数の第１サンプルイメージブロック及び前記複数の第１サンプルイメージブロックに対応する複数の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得され、
前記複数のインデックスベクトルは、前記複数の第１サンプルイメージブロックから算出された複数のサンプルグラディエントベクトルに基づいて獲得される、
電子装置。
【請求項２】
前記プロセッサは、
前記イメージブロックの水平方向性の強度が前記イメージブロックの垂直方向性の強度より大きい場合、前記イメージブロックから前記グラディエントベクトルを算出し、
前記水平方向性の強度が前記垂直方向性の強度より小さい場合、前記イメージブロックをトランスポーズし、前記トランスポーズされたイメージブロックから前記グラディエントベクトルを算出することを特徴とする請求項１に記載の電子装置。
【請求項３】
前記プロセッサは、
前記ストレージに保存された固有ベクトルを用いて前記グラディエントベクトルの大きさを縮小させ、前記大きさの縮小されたグラディエントベクトルに基づいて、前記複数のインデックスベクトルのそれぞれに対する前記イメージブロックの相関性を算出し、
前記固有ベクトルは、前記複数のサンプルグラディエントベクトルから主成分分析を適用して生成されたことを特徴とする請求項１に記載の電子装置。
【請求項４】
前記プロセッサは、
前記ストレージに保存された第１インデックスマトリックス及び前記グラディエントベクトルに基づいて、複数のインデックスベクトルグループのそれぞれに対する前記イメージブロックの第１相関性を算出し、
前記第１相関性に基づいて、前記複数のインデックスベクトルグループのうち一つのインデックスベクトルグループを獲得し、
前記ストレージに保存された複数の第２インデックスマトリックスのうち、前記獲得されたインデックスベクトルグループに対応する第２インデックスマトリックス及び前記グラディエントベクトルに基づいて、前記獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのそれぞれに対する前記イメージブロックの第２相関性を算出し、
前記第２相関性に基づいて、前記複数のフィルタのうち少なくとも一つのフィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得し、
前記複数のインデックスベクトルグループは、前記複数のインデックスベクトルを予め設定された数のグループに区分して獲得され、
前記第１インデックスマトリックスは、前記複数のインデックスベクトルグループのそれぞれを代表するインデックスベクトルを含み、
前記複数の第２インデックスマトリックスのそれぞれは、前記複数のインデックスベクトルグループのそれぞれに対応する複数のインデックスベクトルを含むことを特徴とする請求項１に記載の電子装置。
【請求項５】
前記プロセッサは、
前記第２相関性に基づいて、前記獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのうち一つのインデックスベクトルを獲得し、
前記ストレージに保存された類似インデックスベクトル情報に基づいて、前記複数のインデックスベクトルグループのうち残りのグループに含まれ、前記獲得されたインデックスベクトルに対応する少なくとも一つの追加インデックスベクトルを獲得し、
前記獲得されたインデックスベクトル、前記獲得された追加インデックスベクトル及び前記グラディエントベクトルに基づいて、前記イメージブロックの第３相関性を算出し、
前記第３相関性に基づいて、前記複数のフィルタのうち少なくとも一つのフィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得することを特徴とする請求項４に記載の電子装置。
【請求項６】
前記プロセッサは、
前記算出された複数の相関性に基づいて、前記複数のフィルタのうち少なくとも二つのフィルタを獲得し、
前記少なくとも二つのフィルタ及び前記少なくとも二つのフィルタのそれぞれに対応する相関性に基づいて最終フィルタを算出し、
前記算出された最終フィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得することを特徴とする請求項１に記載の電子装置。
【請求項７】
前記複数の第１サンプルイメージブロックのそれぞれは、対応する第２サンプルイメージブロックの解像度を縮小させたイメージであり、
前記プロセッサは、
前記複数のフィルタのうち、前記少なくとも一つのフィルタを前記イメージブロックに適用し、前記対象ピクセルの解像度を拡大させた前記最終イメージブロックを獲得することを特徴とする請求項１に記載の電子装置。
【請求項８】
前記プロセッサは、
前記イメージブロックに非学習基盤の解像度拡大技術を適用し、前記対象ピクセルの解像度の拡大された追加イメージブロックを獲得し、
前記算出された複数の相関性のうち、大きさが最も大きい相関性及び前記追加イメージブロックに基づいて、前記最終イメージブロックをアップデートすることを特徴とする請求項７に記載の電子装置。
【請求項９】
前記複数の第１サブサンプルイメージブロックは、
前記複数の第１サンプルイメージブロックのうち、前記複数のインデックスベクトルのうち一つのインデックスベクトルに基づいて獲得されることを特徴とする請求項１に記載の電子装置。
【請求項１０】
電子装置の制御方法において、
対象ピクセル及び複数の周辺ピクセルを含むイメージブロックからグラディエントベクトルを算出するステップと、
複数のインデックスベクトルを含むインデックスマトリックス及び前記グラディエントベクトルに基づいて、前記複数のインデックスベクトルのそれぞれに対する前記イメージブロックの相関性を算出するステップと、
前記算出された相関性に基づいて、前記複数のインデックスベクトルにそれぞれ対応する複数のフィルタのうち、少なくとも一つのフィルタを前記イメージブロックに適用し、前記対象ピクセルが映像処理された最終イメージブロックを獲得するステップと
を含み、
前記複数のフィルタは、前記複数のインデックスベクトルのそれぞれに基づいて、複数の第１サンプルイメージブロック及び前記複数の第１サンプルイメージブロックに対応する複数の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得され、
前記複数のインデックスベクトルは、前記複数の第１サンプルイメージブロックから算出された複数のサンプルグラディエントベクトルに基づいて獲得される、
制御方法。
【請求項１１】
前記グラディエントベクトルを算出するステップは、
前記イメージブロックの水平方向性の強度が前記イメージブロックの垂直方向性の強度より大きい場合、前記イメージブロックから前記グラディエントベクトルを算出し、
前記水平方向性の強度が前記垂直方向性の強度より小さい場合、前記イメージブロックをトランスポーズし、前記トランスポーズされたイメージブロックから前記グラディエントベクトルを算出することを特徴とする請求項１０に記載の制御方法。
【請求項１２】
固有ベクトルを用いて前記グラディエントベクトルの大きさを縮小させるステップを更に含み、
前記相関性を算出するステップは、
前記大きさの縮小されたグラディエントベクトルに基づいて、前記複数のインデックスベクトルのそれぞれに対する前記イメージブロックの相関性を算出し、
前記固有ベクトルは、前記複数のサンプルグラディエントベクトルから主成分分析を適用して生成されたことを特徴とする請求項１０に記載の制御方法。
【請求項１３】
前記相関性を算出するステップは、
第１インデックスマトリックス及び前記グラディエントベクトルに基づいて、複数のインデックスベクトルグループのそれぞれに対する前記イメージブロックの第１相関性を算出するステップと、
前記第１相関性に基づいて、前記複数のインデックスベクトルグループのうち一つのインデックスベクトルグループを獲得するステップと、
複数の第２インデックスマトリックスのうち、前記獲得されたインデックスベクトルグループに対応する第２インデックスマトリックス及び前記グラディエントベクトルに基づいて、前記獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのそれぞれに対する前記イメージブロックの第２相関性を算出するステップと
を含み、
前記最終イメージブロックを獲得するステップは、
前記第２相関性に基づいて、前記複数のフィルタのうち少なくとも一つのフィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得し、
前記複数のインデックスベクトルグループは、前記複数のインデックスベクトルを予め設定された数のグループに区分して獲得され、
前記第１インデックスマトリックスは、前記複数のインデックスベクトルグループのそれぞれを代表するインデックスベクトルを含み、
前記複数の第２インデックスマトリックスのそれぞれは、前記複数のインデックスベクトルグループのそれぞれに対応する複数のインデックスベクトルを含むことを特徴とする請求項１０に記載の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、電子装置及びその制御方法に関し、より詳細には、映像処理を行う電子装置及びその制御方法に関する。
【０００２】
なお、本開示は、機械学習アルゴリズムを活用し、人間の頭脳の認知、判断などの機能を模倣する人工知能（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）システム及びその応用に関する。
【背景技術】
【０００３】
近来は、人間レベルの知能を実現する人工知能システムが多様な分野で利用されている。人工知能システムは、従来のルール基盤のスマートシステムと違って、機械が自ら学習及び判断して賢くなるシステムである。人工知能システムは、使用するにつれて認識率が向上し、ユーザの好みをより正確に理解することができるようになり、従来のルール基盤のスマートシステムは、次第にディープラーニング基盤の人工知能システムに入れ替わりつつある。
【０００４】
人工知能技術は、機械学習（例えば、ディープラーニング）及び機械学習を活用した要素技術で構成される。
【０００５】
機械学習は、入力データの特徴を自ら分類／学習するアルゴリズム技術であり、要素技術は、ディープラーニングなどの機械学習アルゴリズムを活用して人間の頭脳の認知、判断などの機能を模倣する技術として、言語的な理解、視覚的な理解、推論／予測、知識表現、動作制御などの技術分野で構成される。
【０００６】
人工知能技術が応用される多様な分野は、次の通りである。言語的な理解は、人間の言語／文字を認識して応用／処理する技術として、自然言語の処理、機械翻訳、会話システム、質疑応答、音声認識／合成などを含む。視覚的な理解は、物を人間の視覚のように認識して処理する技術として、客体の認識、客体の追跡、映像の検索、人間の認識、場面の理解、空間の理解、映像の改善などを含む。推論／予測は、情報を判断して論理的に推論して予測する技術として、知識／確率基盤の推論、最適化の予測、好み基盤の計画、推薦などを含む。知識の表現は、人間の経験情報を知識データで自動化処理する技術として、知識の構築（データ生成／分類）、知識の管理（データ活用）などを含む。動作制御は、車の自律走行、ロボットの動作を制御する技術として、動作制御（航法、衝突、走行）、操作制御（行動制御）などを含む。
【０００７】
一方、従来のイメージ処理方法は、非学習基盤の技術と学習基盤の技術とに区分されてよい。非学習基盤の技術は、映像処理速度が速いという長所があるものの、イメージ特性に応じた弾力的な映像処理ができないという問題がある。学習基盤の技術は、弾力的な映像処理ができるものの、リアルタイム処理が困難であるという問題がある。
【０００８】
例えば、映像の解像度を拡大する場合を考慮すると、非学習基盤の技術の代表的な方法である補間方法は、ローパス（Ｌｏｗ−ｐａｓｓ）特性を有するフィルタに拡大される位置に該当するピクセルの輝度を計算する。具体的に、スプライン（ｓｐｌｉｎｅ）基盤のバイキュービック（Ｂｉ−ｃｕｂｉｃ）補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）や理想的なローパスフィルタ（Ｓｉｎｃ  Ｋｅｒｎｅｌ）を簡素化したランツォシュ（Ｌａｎｃｚｏｓ）フィルタを用いたリサンプリング（Ｒｅｓａｍｐｌｉｎｇ）方式などがある。このような非学習基盤の技術は、低複雑度で安定的な映像拡大性能を見せるが、映像のみが有している事前（ｐｒｉｏｒ）情報を反映することができないため、輪郭の鮮明度が低下したり（ｂｌｕｒｒｉｎｇ）、輪郭が歪んだり（Ｊａｇｇｉｎｇ）、輪郭周辺に雑音（Ａｌｉａｓｉｎｇ、Ｒｉｎｇｉｎｇ）が発生する問題がある。
【０００９】
学習基盤の技術の代表的な方法は、高画質映像データベースを用いて直接復元に使用する方式、分類されたクラス別に高解像度変換法則を学習して使用する方式、ディープラーニングネットワークで低解像度／高解像度変換をＥｎｄ  ｔｏ  Ｅｎｄ  Ｍａｐｐｉｎｇ学習し、拡大の際に学習されたネットワークを使用して拡大する方式などがある。
【００１０】
学習基盤の技術は、映像信号固有の特性が学習に反映され、拡大の際に使用されるため、非学習基盤の映像拡大方法に比べて鮮明で、粗くない滑らかな輪郭を復元することができる。ただ、高複雑度で非リアルタイムを必要とするアプリケーションには適しているが、テレビのようなリアルタイムを必要とする装置では適用が困難である。なお、リアルタイムの実現のためのＳｏＣ実現には、適用が困難な方式である。
【００１１】
なお、学習基盤の技術は、領域特徴が明確な輪郭成分に対しては優れた性能を見せるが、特徴が明確でない平坦領域に対しては、雑音成分により、不安定になったり、ディテールな表現の側面において低い性能を見せる。なお、学習されていない倍率に対しては、映像拡大を不可となるという問題がある。
【００１２】
それにより、弾力的な映像処理が可能であると同時に、映像処理速度を向上させることができる技術の開発が求められる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特許第５９３３１０５号明細書
【特許文献２】韓国特許第０２３７６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、学習基盤の映像処理をリアルタイムで行う電子装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【００１５】
以上のような目的を達成するための本開示の一実施形態に係る電子装置は、複数のイメージパターンにそれぞれ対応する複数のフィルタが保存されたストレージと、対象ピクセル及び複数の周辺ピクセルを含むイメージブロック内のピクセル間の関係に基づいて、前記イメージブロックを前記複数のイメージパターンのうち一つに分類し、前記複数のフィルタのうち、前記分類されたイメージパターンに対応する少なくとも一つのフィルタを前記イメージブロックに適用し、前記対象ピクセルが映像処理された最終イメージブロックを獲得するプロセッサとを含み、前記複数のフィルタは、前記複数のイメージパターンのそれぞれに基づいて、複数の第１サンプルイメージブロック及び前記複数の第１サンプルイメージブロックに対応する複数の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得されてよい。
【００１６】
そして、前記プロセッサは、前記イメージブロックからグラディエントベクトル（ｇｒａｄｉｅｎｔ  ｖｅｃｔｏｒ）を算出し、前記ストレージに保存された複数のインデックスベクトルを含むインデックスマトリックス及び前記グラディエントベクトルに基づいて、前記複数のインデックスベクトルのそれぞれに対する前記イメージブロックの相関性を算出し、前記算出された相関性に基づいて前記イメージブロックを前記複数のイメージパターンのうち一つに分類し、前記複数のインデックスベクトルは、前記複数の第１サンプルイメージブロックから算出された複数のサンプルグラディエントベクトルに基づいて獲得され、前記複数のイメージパターンにそれぞれ対応されてよい。
【００１７】
なお、前記プロセッサは、前記イメージブロックの水平方向性の強度が前記イメージブロックの垂直方向性の強度より大きい場合、前記イメージブロックから前記グラディエントベクトルを算出し、前記水平方向性の強度が前記垂直方向性の強度より小さい場合、前記イメージブロックをトランスポーズ（ｔｒａｎｓｐｏｓｅ）し、前記トランスポーズされたイメージブロックから前記グラディエントベクトルを算出してよい。
【００１８】
そして、前記プロセッサは、前記ストレージに保存された固有ベクトル（ｅｉｇｅｎ  ｖｅｃｔｏｒ）を用いて前記グラディエントベクトルの大きさを縮小させ、前記大きさの縮小されたグラディエントベクトルに基づいて、前記複数のインデックスベクトルのそれぞれに対する前記イメージブロックの相関性を算出し、前記固有ベクトルは、前記複数のサンプルグラディエントベクトルから主成分分析（ｐｒｉｎｃｉｐａｌ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ）を適用して生成されてよい。
【００１９】
なお、前記プロセッサは、前記ストレージに保存された第１インデックスマトリックス及び前記グラディエントベクに基づいて、複数のインデックスベクトルグループのそれぞれに対する前記イメージブロックの第１相関性を算出し、前記第１相関性に基づいて、前記複数のインデックスベクトルグループのうち一つのインデックスベクトルグループを獲得し、前記ストレージに保存された複数の第２インデックスマトリックスのうち、前記獲得されたインデックスベクトルグループに対応する第２インデックスマトリックス及び前記グラディエントベクトルに基づいて、前記獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのそれぞれに対する前記イメージブロックの第２相関性を算出し、前記第２相関性に基づいて、前記複数のフィルタのうち少なくとも一つのフィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得し、前記複数のインデックスベクトルグループは、前記複数のインデックスベクトルを予め設定された数のグループに区分して獲得され、前記第１インデックスマトリックは、前記複数のインデックスベクトルグループのそれぞれを代表するインデックスベクトルを含み、前記複数の第２インデックスマトリックスのそれぞれは、前記複数のインデックスベクトルグループのそれぞれに対応する複数のインデックスベクトルを含んでよい。
【００２０】
そして、前記プロセッサは、前記第２相関性に基づいて、前記獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのうち一つのインデックスベクトルを獲得し、前記ストレージに保存された類似インデックスベクトル情報に基づいて、前記複数のインデックスベクトルグループのうち残りのグループに含まれ、前記獲得されたインデックスベクトルに対応する少なくとも一つの追加インデックスベクトルを獲得し、前記獲得されたインデックスベクトル、前記獲得された追加インデックスベクトル及び前記グラディエントベクトルに基づいて、前記イメージブロックの第３相関性を算出し、前記第３相関性に基づいて、前記複数のフィルタのうち少なくとも一つのフィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得してよい。
【００２１】
なお、前記プロセッサは、前記算出された複数の相関性に基づいて、前記複数のフィルタのうち少なくとも二つのフィルタを獲得し、前記少なくとも二つのフィルタ及び前記少なくとも二つのフィルタのそれぞれに対応する相関性に基づいて最終フィルタを算出し、前記算出された最終フィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得してよい。
【００２２】
そして、前記複数の第１サンプルイメージブロックのそれぞれは、対応する第２サンプルイメージブロックの解像度を縮小させたイメージであり、前記プロセッサは、前記複数のフィルタのうち、前記少なくとも一つのフィルタを前記イメージブロックに適用し、前記対象ピクセルの解像度を拡大させた前記最終イメージブロックを獲得してよい。
【００２３】
なお、前記プロセッサは、前記イメージブロックに非学習基盤の解像度拡大技術を適用し、前記対象ピクセルの解像度の拡大された追加イメージブロックを獲得し、前記算出された複数の相関性のうち、大きさが最も大きい相関性及び前記追加イメージブロックに基づいて、前記最終イメージブロックをアップデートしてよい。
【００２４】
そして、前記プロセッサは、前記対象ピクセル及び前記複数の周辺ピクセルのそれぞれに対する水平グラディエント及び垂直グラディエントを算出し、前記水平グラディエント及び前記垂直グラディエントに基づいて前記グラディエントベクトルを算出してよい。
【００２５】
なお、前記複数のフィルタのそれぞれは、前記複数の第１サンプルイメージブロックのうち、前記複数のインデックスベクトルのうち一つのインデックスベクトルに対応する複数の第１サブサンプルイメージブロックを獲得し、前記複数の第２サンプルイメージブロックのうち、前記複数の第１サブサンプルイメージブロックに対応する複数の第２サブサンプルイメージブロックを獲得し、前記複数の第１サブサンプルイメージブロック及び前記複数の第２サブサンプルイメージブロックの関係を前記人工知能アルゴリズムを通じて学習して獲得されてよい。
【００２６】
一方、本開示の一実施形態に係る電子装置の制御方法は、対象ピクセル及び複数の周辺ピクセルを含むイメージブロック内のピクセル間の関係に基づいて、前記イメージブロックを複数のイメージパターンのうち一つに分類するステップと、前記複数のイメージパターンにそれぞれ対応する複数のフィルタのうち、前記分類されたイメージパターンに対応する少なくとも一つのフィルタを前記イメージブロックに適用し、前記対象ピクセルが映像処理された最終イメージブロックを獲得するステップとを含み、前記複数のフィルタは、前記複数のイメージパターンのそれぞれに基づいて、複数の第１サンプルイメージブロック及び前記複数の第１サンプルイメージブロックに対応する複数の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得されてよい。
【００２７】
そして、前記分類するステップは、前記イメージブロックからグラディエントベクトル（ｇｒａｄｉｅｎｔ  ｖｅｃｔｏｒ）を算出するステップと、複数のインデックスベクトルを含むインデックスマトリックス及び前記グラディエントベクトルに基づいて、前記複数のインデックスベクトルのそれぞれに対する前記イメージブロックの相関性を算出するステップと、前記算出された相関性に基づいて、前記イメージブロックを前記複数のイメージパターンのうち一つに分類するステップとを含み、前記複数のインデックスベクトルは、前記複数の第１サンプルイメージブロックから算出された複数のサンプルグラディエントベクトルに基づいて獲得され、前記複数のイメージパターンにそれぞれ対応されてよい。
【００２８】
なお、前記グラディエントベクトルを算出するステップは、前記イメージブロックの水平方向性の強度が前記イメージブロックの垂直方向性の強度より大きい場合、前記イメージブロックから前記グラディエントベクトルを算出し、前記水平方向性の強度が前記垂直方向性の強度より小さい場合、前記イメージブロックをトランスポーズ（ｔｒａｎｓｐｏｓｅ）し、前記トランスポーズされたイメージブロックから前記グラディエントベクトルを算出してよい。
【００２９】
そして、固有ベクトル（ｅｉｇｅｎ  ｖｅｃｔｏｒ）を用いて前記グラディエントベクトルの大きさを縮小させるステップを更に含み、前記相関性を算出するステップは、前記大きさの縮小されたグラディエントベクトルに基づいて、前記複数のインデックスベクトルのそれぞれに対する前記イメージブロックの相関性を算出し、前記固有ベクトルは、前記複数のサンプルグラディエントベクトルから主成分分析（ｐｒｉｎｃｉｐａｌ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ）を適用して生成されてよい。
【００３０】
なお、前記相関性を算出するステップは、第１インデックスマトリックス及び前記グラディエントベクに基づいて、複数のインデックスベクトルグループのそれぞれに対する前記イメージブロックの第１相関性を算出するステップと、前記第１相関性に基づいて、前記複数のインデックスベクトルグループのうち一つのインデックスベクトルグループを獲得するステップと、複数の第２インデックスマトリックスのうち、前記獲得されたインデックスベクトルグループに対応する第２インデックスマトリックス及び前記グラディエントベクトルに基づいて、前記獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのそれぞれに対する前記イメージブロックの第２相関性を算出するステップとを含み、前記最終イメージブロックを獲得するステップは、前記第２相関性に基づいて、前記複数のフィルタのうち少なくとも一つのフィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得し、前記複数のインデックスベクトルグループは、前記複数のインデックスベクトルを予め設定された数のグループに区分して獲得され、前記第１インデックスマトリックは、前記複数のインデックスベクトルグループのそれぞれを代表するインデックスベクトルを含み、前記複数の第２インデックスマトリックスのそれぞれは、前記複数のインデックスベクトルグループのそれぞれに対応する複数のインデックスベクトルを含んでよい。
【００３１】
そして、前記相関性を算出するステップは、前記第２相関性に基づいて、前記獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのうち一つのインデックスベクトルを獲得するステップと、類似インデックスベクトル情報に基づいて、前記複数のインデックスベクトルグループのうち残りのグループに含まれ、前記獲得されたインデックスベクトルに対応する少なくとも一つの追加インデックスベクトルを獲得するステップと、前記獲得されたインデックスベクトル、前記獲得された追加インデックスベクトル及び前記グラディエントベクトルに基づいて、前記イメージブロックの第３相関性を算出するステップとを含み、前記最終イメージブロックを獲得するステップは、前記第３相関性に基づいて、前記複数のフィルタのうち少なくとも一つのフィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得してよい。
【００３２】
なお、前記最終イメージブロックを獲得するステップは、前記算出された複数の相関性に基づいて、前記複数のフィルタのうち少なくとも二つのフィルタを獲得するステップと、前記少なくとも二つのフィルタ及び前記少なくとも二つのフィルタのそれぞれに対応する相関性に基づいて最終フィルタを算出するステップと、前記算出された最終フィルタを前記イメージブロックに適用して前記最終イメージブロックを獲得するステップを含んでよい。
【００３３】
そして、前記複数の第１サンプルイメージブロックのそれぞれは、対応する第２サンプルイメージブロックの解像度を縮小させたイメージであり、前記最終イメージブロックを獲得するステップは、前記複数のフィルタのうち、前記少なくとも一つのフィルタを前記イメージブロックに適用し、前記対象ピクセルの解像度を拡大させた前記最終イメージブロックを獲得してよい。
【００３４】
なお、前記イメージブロックに非学習基盤の解像度拡大技術を適用し、前記対象ピクセルの解像度の拡大された追加イメージブロックを獲得するステップと、前記算出された複数の相関性のうち、大きさが最も大きい相関性及び前記追加イメージブロックに基づいて、前記最終イメージブロックをアップデートするステップとを更に含んでよい。
【００３５】
そして、前記グラディエントベクトルを算出するステップは、前記対象ピクセル及び前記複数の周辺ピクセルのそれぞれに対する水平グラディエント及び垂直グラディエントを算出し、前記水平グラディエント及び前記垂直グラディエントに基づいて前記グラディエントベクトルを算出してよい。
【００３６】
なお、前記複数のフィルタのそれぞれは、前記複数の第１サンプルイメージブロックのうち、前記複数のインデックスベクトルのうち一つのインデックスベクトルに対応する複数の第１サブサンプルイメージブロックを獲得し、前記複数の第２サンプルイメージブロックのうち、前記複数の第１サブサンプルイメージブロックに対応する複数の第２サブサンプルイメージブロックを獲得し、前記複数の第１サブサンプルイメージブロック及び前記複数の第２サブサンプルイメージブロックの関係を前記人工知能アルゴリズムを通じて学習して獲得されてよい。
【発明の効果】
【００３７】
以上説明したように、本発明によれば、電子装置は、リアルタイムで映像処理を行うことができるため、多様な応用に利用することができ、学習基盤の映像処理を行って、非学習基盤の映像処理と比較して相対的に映像処理の品質を向上させることができる。
【図面の簡単な説明】
【００３８】
【図１Ａ】本発明の一実施形態に係る電子装置の構成を示すブロック図である。
【図１Ｂ】電子装置の細部構成の一例を示すブロック図である。
【図２】本発明の一実施形態に係るプロセッサの動作を概略に説明するための図である。
【図３Ａ】本発明の一実施形態に係るイメージブロックの方向性の判断及びグラディエントベクトルを生成する方法を説明するための図である。
【図３Ｂ】本発明の一実施形態に係るイメージブロックの方向性の判断及びグラディエントベクトルを生成する方法を説明するための図である。
【図３Ｃ】本発明の一実施形態に係るイメージブロックの方向性の判断及びグラディエントベクトルを生成する方法を説明するための図である。
【図３Ｄ】本発明の一実施形態に係るイメージブロックの方向性の判断及びグラディエントベクトルを生成する方法を説明するための図である。
【図３Ｅ】本発明の一実施形態に係るイメージブロックの方向性の判断及びグラディエントベクトルを生成する方法を説明するための図である。
【図４Ａ】本発明の一実施形態に係るグラディエントベクトルの次元削減を説明するための図である。
【図４Ｂ】本発明の一実施形態に係るグラディエントベクトルの次元削減を説明するための図である。
【図５Ａ】本発明の一実施形態に係るインデックスマトリックスを用いたフィルタのサーチを説明するための図である。
【図５Ｂ】本発明の一実施形態に係るインデックスマトリックスを用いたフィルタのサーチを説明するための図である。
【図６Ａ】本発明の一実施形態に係るフィルタのサーチ演算量を減少させる方法を説明するための図である。
【図６Ｂ】本発明の一実施形態に係るフィルタのサーチ演算量を減少させる方法を説明するための図である。
【図６Ｃ】本発明の一実施形態に係るフィルタのサーチ演算量を減少させる方法を説明するための図である。
【図７Ａ】本発明の別の実施形態に係るフィルタのサーチ演算量を減少させる方法を説明するための図である。
【図７Ｂ】本発明の別の実施形態に係るフィルタのサーチ演算量を減少させる方法を説明するための図である。
【図８Ａ】本発明の一実施形態に係るイメージブロックにフィルタを適用する方法を説明するための図である。
【図８Ｂ】本発明の一実施形態に係るイメージブロックにフィルタを適用する方法を説明するための図である。
【図９Ａ】本発明の一実施形態に係るフィルタの学習方法を説明するための図である。
【図９Ｂ】本発明の一実施形態に係るフィルタの学習方法を説明するための図である。
【図１０】本発明の一実施形態に係るストリーミング動作を説明するための図である。
【図１１】本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００３９】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００４０】
図１Ａは、本発明の一実施形態に係る電子装置１００の構成を示すブロック図である。図１Ａに示すように、電子装置１００は、ストレージ１１０及びプロセッサ１２０を含む。
【００４１】
電子装置１００は、映像処理を行う装置であってよい。特に、電子装置１００は、人工知能アルゴリズムを通じて学習されたデータを用いて映像処理を行う装置であってよい。例えば、電子装置１００は、デスクトップパソコン、ノートパソコン、スマートフォン、タブレットパソコン、サーバ、冷蔵庫、洗濯機、サイネージなどであってよい。または、電子装置１００は、クラウディングコンピューティング環境が構築されたシステムそのものであってよい。ただ、それに限らずに、電子装置１００は映像処理が可能な装置なら如何なる装置であってよい。
【００４２】
ストレージ１１０は、複数のイメージパタンにそれぞれ対応する複数のフィルタを保存することができる。ここで、複数のイメージパターンは、イメージを特性に応じて分類されてよい。例えば、第１イメージパターンは、水平方向の線の多いイメージパターンであり、第２イメージパターンは、回転方向の線の多いイメージパターンであってよい。
【００４３】
ストレージ１１０は、複数のインデックスベクトルを含むインデックスマトリックスを更に含んでよい。ここで、複数のインデックスベクトルは、複数の第１サンプルイメージブロックから算出された複数のサンプルグラディエントベクトルに基づいて獲得され、複数のイメージパターンにそれぞれ対応してよい。複数のフィルタは、複数のインデックスベクトルのそれぞれに基づいて、複数の第１サンプルイメージブロック及び複数の第１サンプルイメージブロックに対応する複数の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得されてよい。
【００４４】
複数のインデックスベクトル及び複数のフィルタは、電子装置１００ではない、外部サーバによって生成されてよい。ただ、それに限るものではなく、複数のインデックスベクトル及び複数のフィルタは、電子装置１００によって生成されてよい。この場合、ストレージ１１０は、複数の第１サンプルイメージブロック及び複数の第２サンプルイメージブロックを保存することができる。
【００４５】
グラディエントベクトル、複数のインデックスベクトル及び複数のフィルタを生成する方法については後述する。
【００４６】
ストレージ１１０は、少なくとも一つのイメージブロックを保存することができる。なお、ストレージ１１０は、複数の第１サンプルイメージブロック及び複数の第２サンプルイメージブロックを保存することもできる。その他に、ストレージ１１０は、非学習基盤のフィルタを保存することができ、その種類に限りはない。
【００４７】
ストレージ１１０は、ハードディスク、非揮発性メモリ及び揮発性メモリなどで実現されてよく、データを保存できる構成なら如何なる構成でも可能である。
【００４８】
プロセッサ１２０は、電子装置１００の動作全般を制御する。
【００４９】
一実施形態により、プロセッサ１２０は、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、ＴＣＯＮ（Ｔｉｍｅ  ｃｏｎｔｒｏｌｌｅｒ）で実現されてよい。ただ、それに限定されるものではなく、中央処理装置（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ：ＣＰＵ）、ＭＣＵ（Ｍｉｃｒｏ  Ｃｏｎｔｒｏｌｌｅｒ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｃｅｓｓｏｒ：ＡＰ）、またはコミュニケーションプロセッサ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｐｒｏｃｅｓｓｏｒ：ＣＰ）、ＡＲＭプロセッサのうち、一つまたはそれ以上を含むか、当該用語で定義されてよい。なお、プロセッサ１２０は、プロセッシングアルゴリズムが内装されたＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ）、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）で実現されてよく、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）形態で実現されてよい。
【００５０】
プロセッサ１２０は、対象ピクセル及び複数の周辺ピクセルを含むイメージブロックを外部サーバから入力されてよい。この場合、プロセッサ１２０は、イメージブロックをストレージ１１０に保存することができる。または、プロセッサ１２０は、ストレージ１１０に保存されたイメージブロックを読み出すこともできる。または、プロセッサ１２０は、ストレージ１１０に保存されたイメージフレームで予め設定された大きさのイメージブロックを読み出すこともできる。例えば、プロセッサ１２０は、イメージフレームの左上３×３の第１イメージブロックを読み出し、第１イメージブロックをイメージ処理することができる。そして、プロセッサ１２０は、イメージフレームの左上から単位ピクセルの分だけ右側に移動し、３×３の第２イメージブロックを読み出し、第２イメージブロックをイメージ処理することができる。このような方式で、プロセッサ１２０は、イメージフレーム全体に対するイメージ処理を行うことができる。
【００５１】
ここで、対象ピクセルは、後述のフィルタリングの対象になるピクセルであってよい。即ち、対象ピクセルは、複数の周辺ピクセルのピクセル値に基づいてフィルタリングされてよい。
【００５２】
プロセッサ１２０は、対象ピクセル及び複数の周辺ピクセルを含むイメージブロック内のピクセル間の関係に基づいて、イメージブロックを複数のイメージパターンのうち一つに分類することができる。例えば、プロセッサ１２０は、水平方向に隣接したピクセル間のピクセル値の差が垂直方向に隣接したピクセル間のピクセル値の差より小さい場合、イメージブロックを垂直方向の特性を有するイメージパターンで分類することができる。
【００５３】
ただ、それに限定されるものではなく、プロセッサ１２０は、いくらでも多様な方法でイメージブロック内のピクセル間の関係を獲得することもできる。
【００５４】
そして、プロセッサ１２０は、複数のフィルタのうち分類されたイメージパターンに対応する少なくとも一つのフィルタをイメージブロックに適用し、対象ピクセルが映像処理された最終イメージブロックを獲得することができる。
【００５５】
イメージブロックは、分類するための更に別の例として、プロセッサ１２０は、イメージブロックからグラディエントベクトル（Ｇｒａｄｉｅｎｔ  Ｖｅｃｔｏｒ）を算出することができる。特に、プロセッサ１２０は、対象ピクセル及び複数の周辺ピクセルのそれぞれに対する水平グラディエント及び垂直グラディエントを算出し、水平グラディエント及び垂直グラディエントに基づいて、グラディエントベクトルを算出することができる。グラディエントベクトルは、各ピクセルを基準に予め設定された方向にあるピクセルに対する変化量を示すことができる。即ち、グラディエントベクトルを通じてイメージブロックの特性を検出することができる。
【００５６】
例えば、プロセッサ１２０は、Ｓｏｂｅｌ  Ｏｐｅｒａｔｏｒを用いて、３×３のイメージブロックに対して水平グラディエント及び垂直グラディエントを算出することができる。水平グラディエント及び垂直グラディエントは、それぞれ９つのエレメントを含んでよく、プロセッサ１２０は、水平グラディエント及び垂直グラディエントのそれぞれのエレメントを予め設定された順番に並べてベクトル形態に変換することができる。ここで、予め設定された順番は、いくらでも多様な方法があってよい。ただ、予め設定された順番は、後述の複数のインデックスベクトル及び複数のフィルタを生成する過程でグラディエントベクトルを算出するための順番と同一であってよい。
【００５７】
プロセッサ１２０は、Ｓｏｂｅｌ  Ｏｐｅｒａｔｏｒの他にも、多様な方法により、イメージブロックのグラディエントベクトルを算出することができ、その方法には特別な制限がない。なお、水平及び垂直の他にいくらでも別の角度のグラディエントベクトルを算出することもでき、後述の複数のインデックスベクトル及び複数のフィルタを生成する過程において用いられる方法と同じ方法でグラディエントベクトルを算出するなら、如何なる方法でも構わない。以下では、説明の便宜のため、ｃ×１のグラディエントベクトルが算出されるものとして説明する。ここで、ｃは、イメージブロックの大きさに応じて異なってよい。
【００５８】
プロセッサ１２０は、ストレージ１１０に保存されたインデックスマトリックス及びグラディエントベクトルに基づいて、複数のインデックスベクトルのそれぞれに対するイメージブロックの相関性を算出することができる。ここで、インデックスマトリックスは、複数のインデックスベクトルを含み、複数のインデックスベクトルは複数の第１サンプルイメージブロックから算出された複数のサンプルグラディエントベクトルに基づいて獲得されてよい。
【００５９】
例えば、１００００００個の第１サンプルイメージブロックから算出された１００００００個のサンプルグラディエントベクトルがイメージブロックの特性別にａ個のグループに区分された場合、複数のインデックスベクトルのそれぞれは、各グループを代表するベクトルであってよい。即ち、複数のインデックスベクトルのそれぞれに対するイメージブロックの相関性は、ａ個のグループのそれぞれに対するイメージブロックの類似性を意味することができる。なお、イメージブロックは、ａ個の相関性のうち、最も大きい値に対応するグループと類似する特性を有すると見なすことができる。
【００６０】
ただ、それは一実施形態に過ぎず、第１サンプルイメージブロックの数及びグループの数はいくらでも異なってよい。なお、グループの数は、フィルタの種類によって異なってよい。例えば、解像度拡大フィルタの場合には、グループの数がａ個や、シャープン（Ｓｈａｒｐｅｎ）フィルタの場合には、グループの数がａ個ではなくてよい。
【００６１】
プロセッサ１２０は、算出された相関性に基づいて複数のフィルタのうち少なくとも一つのフィルタをイメージブロックに適用し、対象ピクセルが映像処理された最終イメージブロックを獲得することができる。ここで、フィルタは、解像度拡大フィルタ及びシャープンフィルタなどであってよく、映像処理に関連するフィルタなら如何なるフィルタでも構わない。
【００６２】
そして、複数のフィルタは、複数のインデックスベクトルのそれぞれに基づいて、複数の第１サンプルイメージブロック及び複数の第１サンプルイメージブロックに対応する複数の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得されてよい。
【００６３】
具体的に、複数のフィルタのそれぞれは、複数の第１サンプルイメージブロックのうち、複数のインデックスベクトルのうち一つのインデックスベクトルに対応する複数の第１サブサンプルイメージブロックを獲得し、複数の第２サンプルイメージブロックのうち、複数の第１サブサンプルイメージブロックに対応する複数の第２サブサンプルイメージブロックを獲得し、複数の第１サブサンプルイメージブロック及び複数の第２サブサンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得されてよい。
【００６４】
上述の例において、複数のフィルタのそれぞれは、ａ個のグループのうち一つのイメージ特性を人工知能アルゴリズムを通じて学習して獲得された解像度拡大フィルタであってよい。より具体的に、第１イメージ特性は第１インデックスベクトルとして表現され、第１インデックスベクトルに対応する第１フィルタがあり、第２イメージ特性は第２インデックスベクトルとして表現され、第２インデックスベクトルに対応する第２フィルタがある場合、イメージブロックが第１イメージ特性との相関性が高いと、イメージブロックは第２フィルタを通じて解像度が拡大される場合より第１フィルタを通じて解像度が拡大される場合のほうが、向上した品質を見せることができる。それは、第１フィルタ及び第２フィルタのそれぞれは、第１イメージ特性及び第２イメージ特性に適するように学習されたフィルタであるためである。
【００６５】
プロセッサ１２０は、イメージブロックの水平方向性の強度がイメージブロックの垂直方向性の強度より大きい場合、イメージブロックからグラディエントベクトルを算出し、水平方向性の強度が垂直方向性の強度より小さい場合、イメージブロックをトランスポーズし、トランスポーズされたイメージブロックからグラディエントベクトルを算出することができる。
【００６６】
即ち、プロセッサ１２０は、垂直方向性が優勢のイメージブロックを水平方向性が優勢のイメージブロックにトランスポーズし、水平方向性が優勢のイメージブロックからグラディエントベクトルを算出することができる。この場合、複数のインデックスベクトルの数を縮小させることができ、それにより、演算速度が向上する。
【００６７】
例えば、水平方向性を有するイメージブロックがイメージ特性別にａ個の第１グループに区分される場合、垂直方向性を有するイメージブロックもイメージ特性別にａ個の第２グループに区分されてよい。それにより、イメージ特性別に計２×ａ個のグループが形成されてよく、複数のインデックスベクトルは計２×ａ個が生成されてよい。
【００６８】
それに対し、プロセッサ１２０は、垂直方向性が優勢のイメージブロックをトランスポーズする場合、トランスポーズされたイメージブロックは水平方向性を有してよく、第１グループのうち一つに含まれてよい。即ち、プロセッサ１２０は、垂直方向性が優勢のイメージブロックをトランスポーズすることで、第２グループのうち一つに属するイメージブロックを第１グループのうち一つに処理し、水平方向性が優勢のイメージブロックをトランスポーズなしに第１グループのうち一つに処理することができる。よって、トランスポーズ動作によって、複数のインデックスベクトルの数を半分に縮小させることができ、演算速度が向上する。
【００６９】
プロセッサ１２０は、フィルタをトランスポーズされたイメージブロックに適用し、再びトランスポーズして対象ピクセルが映像処理された最終イメージブロックを獲得することができる。トランスポーズされていないイメージブロックの場合には、フィルタの適用後に再びトランスポーズされる動作が省略されてよい。
【００７０】
一方、以上では、プロセッサ１２０が、垂直方向性が優勢のイメージブロックをトランスポーズするものとして説明したが、それは一実施形態に過ぎず、プロセッサ１２０は水平方向性が優勢のイメージブロックをトランスポーズすることもできる。
【００７１】
一方、プロセッサ１２０は、ストレージ１１０に保存された固有ベクトル（Ｅｉｇｅｎ  ｖｅｃｔｏｒ）を用いて、グラディエントベクトルの大きさを縮小させ、大きさの縮小されたグラディエントベクトルに基づいて複数のインデックスベクトルのそれぞれに対するイメージブロックの相関性を算出することもできる。ここで、固有ベクトルは、複数のサンプルグラディエントベクトルから主成分分析（ｐｒｉｎｃｉｐａｌ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ）を適用して生成されてよい。
【００７２】
もし、ａ個のインデックスベクトルがある状態で、固有ベクトルを用いないなら、インデックスマトリックスはａ×ｃの形態であってよい。それに対し、固有ベクトルを用いてｃ×１のグラディエントベクトルをｃ’×１のグラディエントベクトルに縮小するなら、インデックスマトリックスはａ×ｃ’の形態であってよい。具体的に、ａ×ｃのインデックスマトリックスに含まれた複数のインデックスベクトルも、同じ固有ベクトルを用いて次元が削減されてよく、次元の削減された複数のインデックスベクトルを含むインデックスマトリックスはａ×ｃ’の形態であってよい。ここで、固有ベクトルは、ｃ’×ｃの形態で、ｃ’×ｃより小さくてよい。
【００７３】
ａ×ｃ’のインデックスマトリックスを用いる場合は、ａ×ｃのインデックスマトリックスを用いる場合より演算速度が向上する。
【００７４】
一方、主成分分析は、多くの変数の分散方式のパターンを簡潔に表現する主成分を元の変数の線形結合として抽出する統計技法である。即ち、ｐ個の変数がある場合、ここから得た情報をｐより相当小さいｋ個の変数に減少させることができる。以上の例では、ｃ個の次元をｃ’個の次元に削減させたものとして見なすことができる。ただ、それに限定されるものではなく、要約された次元の数はいくらでも異なってよい。
【００７５】
以下では、固有ベクトルを用いてインデックスマトリックス及びグラディエントベクトルの次元を削減させるものとして説明する。ただ、それに限定されるものではなく、固有ベクトルを用いない構成も、本発明の一実施形態に該当する。
【００７６】
一方、プロセッサ１２０は、ストレージ１１０に保存された第１インデックスマトリックス及びグラディエントベクトルに基づいて、複数のインデックスベクトルグループのそれぞれに対するイメージブロックの第１相関性を算出し、第１相関性に基づいて複数のインデックスベクトルグループのうち一つのインデックスベクトルグループを獲得し、ストレージ１１０に保存された複数の第２インデックスマトリックスのうち、獲得されたインデックスベクトルグループに対応する第２インデックスマトリックスを獲得することができる。
【００７７】
ここで、複数のインデックスベクトルグループは、複数のインデックスベクトルを予め設定された数のグループに区分して獲得されてよい。例えば、複数のインデックスベクトルグループは、特性に応じて計４つのグループに区分されてよく、４つのグループのそれぞれは、ｂ個のインデックスベクトルを含んでよい。即ち、同一のグループ内のｂ個のインデックスベクトルは相互類似してよい。
【００７８】
第１インデックスマトリックスは、複数のインデックスグループのそれぞれを代表するインデックスベクトルを含んでよい。上述の例において、４つのグループのそれぞれは、ｂ個のインデックスベクトルのうち一つのインデックスベクトルを代表に設定し、各グループを代表する４つのインデックスベクトルを用いて、第１インデックスマトリックスを形成することができる。ここで、第１インデックスマトリックスは、４×ｃ’の形態であってよい。
【００７９】
複数の第２インデックスマトリックスのそれぞれは、複数のインデックスベクトルグループのそれぞれに対応する複数のインデックスベクトルを含んでよい。例えば、複数のインデックスベクトルのそれぞれは、ｂ×ｃ’の形態であってよい。
【００８０】
上述の例において、プロセッサ１２０は、第１相関性に基づいてイメージブロックが複数のインデックスベクトルグループのうち如何なるグループに属するか判断し、複数の第２インデックスマトリックスのうち当該グループに対応する第２インデックスマトリックスを獲得することができる。
【００８１】
プロセッサ１２０は、獲得された第２インデックスマトリックス及びグラディエントベクトルに基づいて、獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのそれぞれに対するイメージブロックの第２相関性を算出し、第２相関性に基づいて複数のフィルタのうち少なくとも一つのフィルタをイメージブロックに適用し、最終イメージブロックを獲得することができる。以上のような方法を通じ、演算速度を向上させることができる。
【００８２】
ただ、それは一実施形態に過ぎず、複数のインデックスベクトルグループの数は、いくらでも異なってよい。なお、複数のインデックスベクトルグループに含まれたインデックスベクトルの数は相互異なってよい。
【００８３】
一方、以上の実施形態によると、計ａ個のインデックスベクトルのうち一部のインデックスベクトルに対してのみ相関性を算出するようになる。よって、残りのインデックスベクトルに対する相関性の算出が省略され、グループ化が不適切な場合、最も高い相関性を有するインデックスベクトルが検出されなくてよい。以下では、それに対する補完方法について説明する。
【００８４】
プロセッサ１２０は、第２相関性に基づいて、獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのうち一つのインデックスベクトルを獲得し、ストレージ１１０に保存された類似インデックスベクトル情報に基づいて、複数のインデックスベクトルグループのうち残りのグループに含まれ、獲得されたインデックスベクトルに対応する少なくも一つの追加インデックスベクトルを獲得し、獲得されたインデックスベクトル、獲得された追加インデックスベクトル及びグラディエントベクトルに基づいて、イメージブロックの第３相関性を算出し、第３相関性に基づいて、複数のフィルタのうち少なくとも一つのフィルタをイメージブロックに適用して最終イメージブロックを獲得することもできる。
【００８５】
即ち、ストレージ１１０は、インデックスベクトル別に異なるインデックスベクトルグループに含まれ、類似する特性を有する追加インデックスベクトルに対する情報である類似インデックスベクトル情報を更に保存することができる。
【００８６】
プロセッサ１２０は、第２相関性に基づいて一つのインデックスベクトルが獲得されると、ストレージ１１０に保存された情報に基づいて獲得されたインデックスベクトルと類似する特性を有する追加インデックスベクトルに対するイメージブロックの相関性を算出することができる。プロセッサ１２０は、獲得されたインデックスベクトルに対するイメージブロックの相関性及び追加インデックスベクトルに対するイメージブロックの相関性に基づいて、少なくとも一つのフィルタを獲得することができる。
【００８７】
この場合、追加インデックスベクトルに対するイメージブロックの相関性演算過程で追加乗算が行われ、以前の実施形態より速度は遅くなることがあるが、正確度を向上させることができる。なお、追加インデックスベクトルの数が多くない場合、速度の低下は微々たるものになる。
【００８８】
プロセッサ１２０は、算出された複数の相関性に基づいて、複数のフィルタのうち少なくとも二つのフィルタを獲得し、少なくとも二つのフィルタ及び少なくとも二つのフィルタのそれぞれに対応する相関性に基づいて最終フィルタを算出し、算出された最終フィルタをイメージブロックに適用して最終イメージブロックを獲得することができる。
【００８９】
例えば、プロセッサ１２０は、第１フィルタ及び第２フィルタを獲得し、第１フィルタ及び第２フィルタのそれぞれに対応する第１相関性及び第２相関性に基づいて第１フィルタ及び第２フィルタを加重合して最終フィルタを算出することができる。
【００９０】
ただ、それに限定されるものではなく、プロセッサ１２０は、相関性を考慮せずに、第１フィルタ及び第２フィルタから最終フィルタを算出することもできる。
【００９１】
一方、複数の第１サンプルイメージブロックのそれぞれは、対応する第２サンプルイメージブロックの解像度を縮小させたイメージであり、プロセッサ１２０は、複数のフィルタのうち少なくとも一つのフィルタをイメージブロックに適用し、対象フィルタの解像度を拡大させた最終イメージブロックを獲得することができる。
【００９２】
このとき、複数のフィルタは、複数の第１サンプルイメージブロックのそれぞれから解像度が拡大された対応する第２サンプルイメージブロックを導出するように人工知能アルゴリズムを通じて学習されて獲得されたフィルタであってよい。
【００９３】
ここで、プロセッサ１２０は、イメージブロックに非学習基盤の解像度拡大技術を適用し、対象ピクセルの解像度が拡大された追加イメージブロックを獲得し、算出された複数の相関性のうち大きさが最も大きい相関性及び追加イメージブロックに基づいて最終イメージブロックをアップデートすることもできる。
【００９４】
例えば、プロセッサ１２０は、算出された複数の相関性のうち大きさが最も大きい相関性を選択し、選択された相関性に基づいて最終イメージブロックの変更程度を決定することができる。具体的に、プロセッサ１２０は、選択された相関性が大きいほど、追加イメージブロックの影響を縮小して最終イメージブロックの変更を最小化し、選択された相関性が小さいほど、追加イメージブロックの影響を拡大して最終イメージブロックの変更を大きくすることができる。
【００９５】
図１Ｂは、電子装置１００の細部構成の一例を示すブロック図である。図１Ｂに示すように、電子装置１００は、ストレージ１１０、プロセッサ（例えば、プロセッシング回路を含む）１２０、通信部（例えば、通信回路を含む）１３０、ディスプレイ１４０、ユーザインターフェース部１５０、オーディオ処理部（例えば、オーディオプロセッシング回路を含む）１６０、ビデオ処理部（例えば、ビデオプロセッシング回路を含む）１７０を含む。図１Ｂに示す構成要素のうち、図１Ａに示す構成要素と重複する部分に対しては、詳細な説明を省略する。
【００９６】
プロセッサ１２０は、多様なプロセッシング回路を含んでよく、ストレージ１１０に保存された各種プログラムを用いて電子装置１００の動作全般を制御する。
【００９７】
具体的に、プロセッサ１２０は、ＲＡＭ１２１、ＲＯＭ１２２、メインＣＰＵ１２３、グラフィック処理部１２３、第１ないしｎインターフェース１２５−１〜１２５−ｎ、バス１２６を含む。
【００９８】
ＲＡＭ１２１、ＲＯＭ１２２、メインＣＰＵ１２３、グラフィック処理部１２３、第１ないしｎインターフェース１２５−１〜１２５などは、バス１２６を介して相互接続されてよい。
【００９９】
第１ないしｎインターフェース１２５−１ないし１２５−ｎは、上述の各種構成要素と接続される。インターフェースのうちの一つは、ネットワークを介して外部サーバと接続されるネットワークインターフェースであってよい。
【０１００】
メインＣＰＵ１２３は、ストレージ１１０にアクセスし、ストレージ１１０に保存されたＯ／Ｓを用いてブートを行う。そして、ストレージ１１０に保存された各種プログラムなどを用いて多様な動作を行う。
【０１０１】
ＲＯＭ１２２には、システムブートのための命令語セットなどが保存される。ターンオン命令が入力されて電源が供給されると、メインＣＰＵ１２３は、ＲＯＭ１２２に保存された命令語に応じてストレージ１１０に保存されたＯ／ＳをＲＡＭ１２１にコピーし、Ｏ／Ｓを実行させてシステムをブートさせる。ブートが完了すると、メインＣＵＰ１２３は、ストレージ１１０に保存された各種アプリケーションプログラムをＲＡＭ１２１にコピーし、ＲＡＭ１２１にコピーされたアプリケーションプログラムを実行させて各種動作を行う。
【０１０２】
グラフィック処理部１２４は、演算部（図示せず）及びレンダリング部（図示せず）を用いて、アイコン、イメージ、テキストなどのような多様な客体を含む画面を生成する。演算部（図示せず）は、受信された制御命令に基づいて、画面のレイアウトに応じて各客体の表示される座標値、形、大きさ、カラーなどのような属性値を演算する。レンダリング部（図示せず）は、演算部（図示せず）で演算した属性値に基づいて客体を含む多様なレイアウトの画面を生成する。レンダリング部（図示せず）から生成された画面は、ディスプレイ１４０のディスプレイ領域内に表示される。
【０１０３】
一方、上述のプロセッサ１２０の動作は、ストレージ１１０に保存されたプログラムによって行われてよい。
【０１０４】
ストレージ１１０は、電子装置１００を駆動させるためのＯ／Ｓ（Ｏｐｅｒａｔｉｏｎ  Ｓｙｓｔｅｍ）ソフトウェアモジュール、イメージブロック分析モジュール及びフィルタモジュールなどのような多様なデータを保存する。
【０１０５】
通信部１３０は、多様な通信回路を含んでよく、多様な通信方式で多様な外部サーバと通信を行う構成である。通信部１３０は、Ｗｉ−Ｆｉチップ１３１、ブルートゥース（登録商標）チップ１３２、無線通信チップ１３３、ＮＦＣチップ１３４などを含む。プロセッサ１２０は、通信部１３０を用いて各種外部サーバと通信を行う。
【０１０６】
Ｗｉ−Ｆｉチップ１３１、ブルートゥースチップ１３２は、Ｗｉ−Ｆｉ方式、ブルートゥース方式で通信を行う。Ｗｉ−Ｆｉチップ１３１やブルートゥースチップ１３２を用いる場合には、ＳＳＩＤ及びセッションキーのような各種接続情報を先に送受信し、それを用いて通信接続した後、各種情報を送受信することができる。無線通信チップ１３３は、ＩＥＥＥ、Ｚｉｇｂｅｅ、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）、３ＧＰＰ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｏｕｔｉｏｎ）などのような多様な通信規格によって通信を行うチップを意味する。ＮＦＣチップ１３４は、１３５ｋＨｚ、１３．５６ＭＨｚ、４３３ＭＨｚ、８６０〜９６０ＭＨｚ、２．４５ＧＨｚなどのような多様なＲＦ−ＩＤ周波数帯域のうち、１３．５６ＭＨｚ帯域を使用するＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）方式で動作するチップを意味する。
【０１０７】
プロセッサ１２０は、通信部１３０を介して外部サーバからインデックスマトリックス、複数のフィルタなどを受信することができる。なお、プロセッサ１２０は、通信部１３０を介して外部サーバからイメージブロックなどをリアルタイムで受信することができる。
【０１０８】
ディスプレイ１４０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅｓ）ディスプレイ、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）などのような多様なディスプレイで実現されてよい。ディスプレイ１４０内には、ａ−ｓｉ  ＴＦＴ、ＬＴＰＳ（ｌｏｗ  ｔｅｍｐｅｒａｔｕｒｅ  ｐｏｌｙ  ｓｉｌｉｃｏｎ）  ＴＦＴ、ＯＴＦＴ（ｏｒｇａｎｉｃ  ＴＦＴ）などのような形態で実現され得る駆動回路、バックライトユニットなども併せて含まれてよい。一方、ディスプレイ１４０は、タッチ検知部と組み合わせてタッチスクリーンで実現されてよい。
【０１０９】
プロセッサ１２０は、イメージブロック及び最終イメージブロックをディスプレイするようにディスプレイ１４０を制御することができる。
【０１１０】
ユーザインターフェース部１５０は、多様なユーザインタラクション（Ｉｎｔｅｒａｃｔｉｏｎ）を受信する。ここで、ユーザインターフェース部１５０は、電子装置１００の実現例によって多様な形態で実現可能である。例えば、ユーザインターフェース部１５０は、電子装置１００に備えられたボタン、ユーザの音声を受信するマイク、ユーザのモーションを検知するカメラなどであってよい。または、電子装置１００がタッチ基盤の電子装置で実現される場合、ユーザインターフェース１５０はタッチパッドと相互レイヤ構造を成すタッチスクリーンで実現されてよい。この場合、ユーザインターフェース部１５０は、上述のディスプレイ１４０として使用することができるようになる。
【０１１１】
オーディオ処理部１６０は、オーディオデータに対する処理を行う構成要素である。オーディオ処理部１６０では、オーディオデータに対するデコーディングや増幅、ノイズフィルタリングなどのような多様な処理が行われるようになる。
【０１１２】
ビデオ処理部１７０は、多様なビデオプロセッシング回路を含んでよく、ビデオデータに対する処理を行う構成要素である。ビデオ処理部１７０では、ビデオデータに対するデコーディング、スケーリング、ノイズフィルタリング、フレームレート変換、解像度変換などのような多様なイメージ処理を行うことができる。
【０１１３】
一方、上述のような外部サーバが提供するインデックスマトリックス及び複数のフィルタなどを含むモデルは、人工知能アルゴリズム基盤で学習された判断モデルとして、例えば、神経網（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を基盤とするモデルであってよい。学習された判断モデルは、人間の脳の構造をコンピュータ上で模倣するように設計されてよく、人間の神経網のニューロン（ｎｅｕｒｏｎ）を模倣する、加重値を有する複数のネットワークノードを含むことができる。複数のネットワークノードは、ニューロンがシナプス（ｓｙｎａｐｓｅ）を通じて信号のやり取るをするニューロンのシナプス性の（ｓｙｎａｐｔｉｃ）活動を模倣するようにそれぞれの接続関係を形成することができる。なお、学習された判断モデルは、一例として、神経網モデル、または神経網モデルから発展したディープラーニングモデルを含んでよい。ディープラーニングモデルで複数のネットワークノードは、相互異なる深さ（または、レイヤ）に位置し、コンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）接続関係によってデータのやり取りをすることができる。学習された判断モデルの例には、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、ＢＲＤＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ  Ｒｅｃｕｒｒｅｎｔ
Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）などがあってよいが、それに限らない。
【０１１４】
なお、電子装置１００は、上述のように、イメージブロックに対してフィルタが適用された最終イメージブロックを提供されるために、人工知能専用プログラム（または、人工知能エージェント、Ａｒｔｉｆｉｃｉａｌ  ｉｎｔｅｌｌｉｇｅｎｃｅ  ａｇｅｎｔ）である個人秘書プログラムを利用することができる。このとき、個人秘書プログラムは、ＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｒａｃｔｉｏｎ）基盤のサービスを提供するための専用プログラムとして、従来の汎用プログラム（例えば、ＣＰＵ）または別途のＡＩ専用プロセッサ（例えば、ＧＰＵなど）によって実行されてよい。
【０１１５】
具体的に、予め設定されたユーザの入力（例えば、撮影ボタンの操作に応じたイメージ撮影など）が入力されたり、外部装置からイメージブロックが入力される場合、人工知能エージェントが動作（または、実行）されてよい。
【０１１６】
本発明の更に別の実施形態として、電子装置１００は入力されたイメージブロックを外部サーバに伝送することもできる。外部サーバは、直接イメージブロックに対してフィルタを適用して最終イメージブロックを獲得し、獲得されたイメージブロックを電子装置１００に伝送することもできる。
【０１１７】
以上のような方法により、プロセッサ１２０はリアルタイムで学習基盤の映像処理を行って映像処理の品質を向上させることができる。
【０１１８】
以下では、図面を通してプロセッサ１２０の動作をより具体的に説明する。
【０１１９】
図２は、本発明の一実施形態に係るプロセッサ１２０の動作を概略に説明するための図である。
【０１２０】
プロセッサ１２０は、イメージブロックが入力されると、まず、イメージブロックのグラディエント抽出（Ｇｒａｄｉｅｎｔ  Ｅｘｔｒａｃｔｉｏｎ）２１０を行うことができる。具体的に、プロセッサ１２０は、イメージブロックの方向性の判断及びグラディエントベクトルを生成することができる。なお、プロセッサ１２０は、イメージブロックの方向性の判断結果に基づいてイメージブロックをトランスポーズすることもできる。
【０１２１】
その後、プロセッサ１２０は、固有ベクトル（Ｅｉｇｅｎ  ｖｅｃｔｏｒ）２６０を用いて、グラディエントベクトルの次元削減（Ｆｅａｔｕｒｅ  Ｄｉｍｅｎｓｉｏｎ  Ｒｅｄｕｃｔｉｏｎ）２２０を行うことができる。
【０１２２】
そして、プロセッサ１２０は、インデックスマトリックス（Ｉｎｄｅｘ  Ｍａｔｒｉｘ）２７０を用いて、次元の削減されたグラディエントベクトルに適用されるフィルタをサーチ（Ｆｉｌｔｅｒ  Ｓｅａｒｃｈ）２３０することができる。
【０１２３】
その後、プロセッサ１２０は、フィルタデータベース（Ｆｉｌｔｅｒ  ＤＢ）２８０に含まれた複数のフィルタのうち、サーチの結果に基づいて少なくとも一つのフィルタを獲得し、イメージブロックに少なくとも一つのフィルタを適用２４０することができる。
【０１２４】
ここで、フィルタデータベース２８０に含まれた複数のフィルタは、学習基盤のフィルタであってよい。具体的に、複数のフィルタは、複数の第１サンプルイメージブロック及び複数の第１サンプルイメージブロックに対応する複数の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得されてよい。即ち、以上の動作は、イメージブロックに学習基盤のフィルタを適用するものとして見なすことができる。
【０１２５】
一方、プロセッサ１２０は、以上の動作とは別に、イメージブロックに非学習基盤のフィルタを適用２５０することができる。即ち、プロセッサ１２０は、同じイメージブロックに学習基盤のフィルタの適用及び非学習基盤のフィルタの適用を並列に行うことができる。
【０１２６】
そして、プロセッサ１２０は、学習基盤のフィルタの適用に応じた第１結果物及び非学習基盤のフィルタの適用に応じた第２結果物を加重合することができる。
【０１２７】
一方、固有ベクトル２６０、インデックスマトリックス２７０及びフィルタデータベース２８０は、複数の第１サンプルイメージブロック及び複数の第１サンプルイメージブロックイメージブロックに対応する複数の第２サンプルイメージブロックを用いて予め生成されてよい。
【０１２８】
図２において、方向性の判断結果に応じたイメージブロックのトランスポーズ、グラディエントベクトルの次元削減及び非学習基盤のフィルタの適用は、選択的な動作であり、省略されてよい。
【０１２９】
図３Ａないし図３Ｅは、本発明の一実施形態に係るイメージブロックの方向性の判断及びグラディエントベクトルを生成する方法を説明するための図である。
【０１３０】
図３Ａに示すように、プロセッサ１２０は、Ｓｘ及びＳｙのようなマスクを用いて、イメージブロックの方向性を判断することができる。例えば、プロセッサ１２０は、５×５のイメージブロックとマスクを、下記のような数式（１）に適用してイメージブロックの方向性を判断することができる。
【０１３１】
【数１】
0006728487.tif 000002
ここで、ＧＶは、イメージブロックの垂直方向性、ＧＨは、イメージブロックの水平方向性、ｎ、ｍは、ロー及びカラムを識別するためのインデックス、ｉ、ｊは、イメージフレームでイメージブロックの基準点を示す。
【０１３２】
プロセッサ１２０は、垂直方向性の大きさ及び水平方向性の大きさを比較し、イメージブロックの方向性を獲得することができる。
【０１３３】
プロセッサ１２０は、固有ベクトル、インデックスマトリックス及び複数のフィルタを生成する場合に用いられた方向性に基づいて、イメージブロックのトランスポーズ可否を決定することができる。例えば、固有ベクトル、インデックスマトリックス及び複数のフィルタの生成の際、水平方向性のみが用いられ、垂直方向性は用いられない場合、プロセッサ１２０は、イメージブロックの水平方向性の場合はトランスポーズせずに、イメージブロックが垂直方向性である場合に、トランスポーズすることができる。または、固有ベクトル、インデックスマトリックス及び複数のフィルタの生成の際、垂直方向性のみが用いられ、水平方向性は用いられない場合、プロセッサ１２０は、イメージブロックの垂直方向性の場合はトランスポーズせずに、イメージブロックが水平方向性である場合に、トランスポーズすることができる。
【０１３４】
図３Ｂにおいて、ベースブロック（Ｂａｓｅ  Ｂｌｏｃｋ）は、固有ベクトル、インデックスマトリックス及び複数のフィルタを生成する場合に用いられた方向性を示す。
【０１３５】
プロセッサ１２０は、図３Ｂの上段のように、ベースブロックが垂直方向性を有する場合、左側の二つのイメージブロックのうち右側のイメージブロックのみをトランスポーズすることができる。または、プロセッサ１２０は、図３Ｂの下段のように、ベースブロックが水平方向性を有する場合、左側の二つのイメージブロックのうち右側のイメージブロックのみをトランスポーズすることができる。
【０１３６】
垂直方向性及び水平方向性のうちいずれか一方を用いることで、固有ベクトル、インデックスマトリックス及び複数のフィルタのデータ量を減少させることができる。なお、イメージブロックの方向性の判断及びトランスポーズによる追加演算が発生することができるが、固有ベクトル、インデックスマトリックス及び複数のフィルタのデータ量の減少に応じて、その後の動作で演算量を減少させることができる。即ち、方向性の判断動作に応じて全体の演算量を縮小させることができる。
【０１３７】
一方、図３Ａに示されたＳｘ及びＳｙのようなマスクは、一実施形態に過ぎず、プロセッサ１２０は、いくらでも別の方法を用いてイメージブロックの方向性を判断することもできる。なお、図３Ｂにおいては、５×５のイメージブロックで３×３のピクセルのみを示しているが、それは方向性を示すためである。即ち、プロセッサ１２０は、５×５のイメージブロックと、図３Ａのようなマスクを適用そてイメージブロックの方向性を判断することができる。
【０１３８】
ただ、それに限定されるものではなく、演算速度の向上のために、プロセッサ１２０はイメージブロックの一部のピクセルのみを用いて、イメージブロックの方向性を判断することもできる。例えば、プロセッサ１２０は、５×５のイメージブロックでエッジ付近に位置するピクセルを除く３×３のピクセルに３×３の方向性の判断のためのマスクを適用し、イメージブロックの方向性を判断することもできる。
【０１３９】
以下では、説明の便宜のために、３×３のイメージブロックが入力されたものとして説明する。ただ、それに限らずに、プロセッサ１２０は別の大きさのイメージブロックに対しても、同様に動作することができる。なお、ストレージ１２０は、多様なイメージの大きさに対応するマスク、後述のグラディエント算出オペレータ、インデックスマトリックス及び複数のベクトルなどを保存することができる。
【０１４０】
プロセッサ１２０は、図３Ｃに示すように、ソーベルオペレータ（Ｓｏｂｅｌ  Ｏｐｅｒａｔｏｒ）を用いて、３×３のイメージブロックに対して、水平グラディエント及び垂直グラディエントを算出することができる。具体的に、プロセッサ１２０は、図３Ｄに示すように、ソーベルオペレータ及び３×３のイメージブロックの乗算演算で３×３の水平グラディエント及び３×３の垂直グラディエントを獲得することができる。
【０１４１】
プロセッサ１２０は、図３Ｅに示すように、３×３の水平グラディエント及び３×３の垂直グラディエントからｃ×１のグラディエントベクトルを算出することができる。
【０１４２】
以上では、イメージブロックのトランスポーズを行った後、グラディエントベクトルを算出したものとして説明したが、それに限らない。例えば、プロセッサ１２０は、イメージブロックの方向性のみを判断し、イメージブロックの水平グラディエント及び垂直グラディエントを算出することができる。そして、プロセッサ１２０は、トランスポーズが必要なイメージブロックなら、水平グラディエント及び垂直グラディエントからトランスポーズを反映してグラディエントベクトルを算出する手順を入れ替えることができる。
【０１４３】
図４Ａ及び図４Ｂは、本発明の一実施形態に係るグラディエントベクトルの次元削減を説明するための図である。
【０１４４】
プロセッサ１２０は、図４Ａに示すように、ｃ’×ｃの固有ベクトルを用いて、ｃ×１のグラディエントベクトルの次元を削減させることができる。具体的に、プロセッサ１２０は、ｃ’×ｃの固有ベクトル及びｃ×１のグラディエントベクトルの乗算演算を通じ、ｃ’×１の次元の削減されたグラディエントベクトルを獲得することができる。
【０１４５】
図４Ｂは、次元の削減されたグラディエントベクトル（Ｇｒａｄｉｅｎｔ  Ｖｅｃｔｏｒ’）の一例を示す。
【０１４６】
固有ベクトルは、外部サーバから主成分の分析方法を通じて生成され、電子装置１００は、外部サーバから固有ベクトルを受信し、ストレージ１１０に保存することができる。例えば、外部サーバは、１００００個の第１サンプルイメージブロックのそれぞれのグラディエントベクトルを生成することができる。グラディエントベクトルの生成方法は、上述の方法と同様である。ここで、外部サーバは、第１サンプルイメージのそれぞれの方向性を判断し、判断された方向性に基づいてトランスポーズを行い、トランスポーズされた第１サンプルイメージブロックに対するグラディエントベクトルを算出することができる。その後、外部サーバは、算出された複数のサンプルグラディエントベクトルに対して主成分の分析方法を適用し、固有ベクトルを算出することができる。
【０１４７】
ただ、それに限定されるものではなく、プロセッサ１２０が、主成分の分析方法を通じて固有ベクトルを直接生成することもできる。この場合、ストレージ１１０は、複数の第１サンプルイメージブロックを保存していてよい。
【０１４８】
以下では、説明の便宜のために、次元の削減されたグラディエントベクトルを用いるものとして説明する。ただ、上述のように、次元の削減は、選択的な動作であるため、グラディエントベクトルの次元削減なしに、以下の動作が実行されてよい。
【０１４９】
図５Ａ及び図５Ｂは、本発明の一実施形態に係るインデックスマトリックスを用いたフィルタのサーチを説明するための図である。
【０１５０】
ストレージ１１０は、図５Ａに示すように、ａ×ｃ’のインデックスマトリックスを保存することができる。インデックスマトリックスは、１×ｃ’のインデックスベクトルａ個を含んでよい。ここで、インデックスベクトルは、イメージブロックの特性を示し、クラス及びグループとも称することができる。即ち、図５Ａは、イメージブロックの特性をａ個のクラスまたはグループに区分し、各クラスまたはグループに対する特性を示すインデックスベクトルを含むインデックスマトリックスを示す。
【０１５１】
プロセッサ１２０は、ａ×ｃ’のインデックスマトリックス及びｃ’×１の次元が削減されたグラディエントベクトルの乗算演算を行い、図５Ｂのようなａ×１の相関性ベクトルを算出することができる。相関性ベクトルの各ローは、各クラスまたはグループに対するイメージブロックの相関性を示す。
【０１５２】
相関性ベクトルで数字が大きいほど高い相関性を示す。例えば、図５Ｂにおいて、０．９が最も大きい数である場合、プロセッサ１２０はイメージブロックが０．９に対応するクラスまたはグループの特性を有するものとして判断することができる。
【０１５３】
ここで、インデックスマトリックスは、外部サーバから生成され、電子装置１００は、外部サーバからインデックスマトリックスを受信し、インデックスマトリックスをストレージ１１０に保存することができる。外部サーバは、非学習指導（ｕｎｓｕｐｅｒｖｉｓｅｄ  ｌｅａｒｎｉｎｇ）技法の一つであるＫ−ＳＶＤまたはＫ−Ｍｅａｎｓアルゴリズムを使用し、複数の第１サンプルイメージブロックから算出された複数のサンプルグラディエントベクトルを代表できるａ個のインデックスベクトルを算出することができる。外部サーバは、ａ個のインデックスベクトルを含むインデックスマトリックスを生成することができる。
【０１５４】
ただ、それに限定されるものではなく、プロセッサ１２０が複数の第１サンプルイメージブロックから算出された複数のサンプルグラディエントベクトルを代表できるａ個のインデックスベクトルを算出することもできる。
【０１５５】
なお、以上では、イメージブロックの特性をａ個のクラスまたはグループに区分するものとして説明したが、それに限らずに、いくらでも別の数のクラスまたはグループで区分されてよい。ただ、説明の便宜のため、以下では、ａ個のクラスまたはグループに区分されるものとして説明する。なお、以上では、インデックスベクトル、クラス及びグループを混用して使用しているが、以下ではイメージブロックの特性を示す概念としてクラスを用い、各クラスを示すものがインデックスベクトルとして説明する。
【０１５６】
一方、クラスまたはグループの数は、フィルタの種類に応じて異なってよい。例えば、解像度拡大フィルタの場合には、イメージブロックの特性をａ個のクラスまたはグループで区分するが、シャープンフィルタの場合には、イメージブロックの特性をａ個とは異なるように区分することもできる。
【０１５７】
図６Ａないし図６Ｃは、本発明の一実施形態に係るフィルタのサーチ演算量を減少させる方法を説明するための図である。
【０１５８】
図６Ａは、複数のクラスを４つのグループ化した図であり、各グループ６１０、６１１、６１２、６１３には、各グループを代表するクラス６２０が指定されてよい。図６Ｂは、各グループを代表するクラス６２０に対応する複数のインデックスベクトルで構成された第１インデックスマトリックス（Ｉｎｄｅｘ  Ｍａｔｒｉｘ  １）を示す。図６Ｂは、４つのグループのうち、一つに含まれたクラスに対応する複数のインデックスベクトルで構成された第２インデックスマトリックス（Ｉｎｄｅｘ  Ｍａｔｒｉｘ  ２）を示す。即ち、第２インデックスマトリックスの数はグループの数と同一である。
【０１５９】
第１インデックスマトリックス及び第２インデックスマトリックスは外部サーバから生成され、電子装置１００は外部サーバから第１インデックスマトリックス及び第２インデックスマトリックスを受信し、第１インデックスマトリックス及び第２インデックスマトリックスをストレージ１１０に保存することができる。外部サーバは、ａ個のインデックスベクトルに対してｋ−ｍｅａｎｓ  ｃｌｕｓｔｅｒｉｎｇの方法などを用いてグループ化を行い、各グループを代表するインデックスベクトルを決定することができる。ただ、それに限定されるものではなく、外部サーバは各グループを代表する代表インデックスベクトルを算出することもでき、この場合、代表インデックスベクトルは当該グループ内の全てのインデックスベクトルと一致しなくてよい。
【０１６０】
ただ、それに限定されるものではなく、プロセッサ１２０が以上のような方法で第１インデックスマトリックス及び第２インデックスマトリックスを算出し、ストレージ１１０に第１インデックスマトリックス及び第２インデックスマトリックスを保存することもできる。
【０１６１】
プロセッサ１２０は、４×ｃ’の第１インデックスマトリックス及びｃ’×１の次元が削減されたグラディエントベクトルの乗算演算を行い、各グループに対する相関性を算出することができる。プロセッサ１２０は、各グループに対する相関性のうち、最も大きい値に基づいて一つのグループを獲得することができる。プロセッサ１２０は、獲得されたグループに対応するｂ×ｃ’の第２インデックスマトリックス及びｃ’×１の次元が削減されたグラディエントベクトルの乗算演算を行い、獲得されたグループ内に含まれたクラスのそれぞれに対する相関性を算出することができる。
【０１６２】
この場合、獲得されたグループを除く残りのグループに含まれたｂ×３個のクラスのうち、代表クラス３つを除くクラスに対する相関性演算は行われず、図５Ａ及び図５Ｂと比較し、正確性が低下することがあるが、演算速度は改善される。
【０１６３】
グループの数を減らす場合、正確度をより向上させることができる。または、グループの数を増やして演算速度をより向上させることもできる。
【０１６４】
図７Ａないし図７Ｂは、本発明の別の実施形態に係るフィルタのサーチ演算量を減少させる方法を説明するための図である。具体的に、図７Ａ及び図７Ｂの方法は、図６Ａないし図６Ｃの方法を全て実行した後、追加演算を通じて相関性がより高いクラスを選択するための方法である。
【０１６５】
プロセッサ１２０は、図７Ａに示すように、第２インデックスマトリックスに対する相関性演算の結果、イメージブロックとの相関性が最も高いクラスとして三番目のグループのクラスＡ７１０を獲得することができる。
【０１６６】
ストレージ１１０は、図７Ｂのように、クラスＡ７１０に対する第３インデックスマトリックス（Ｉｎｄｅｘ  Ｍａｔｒｉｘ  ３）を保存することができる。第３インデックスマトリックは、クラスＡ７１０とグループが異なると同時に、クラスＡ７１０と類似する特性を有するクラスＡ’７２０−１、７２０−１、７２０−３に対応する複数のインデックスベクトルを含んでよい。なお、ストレージ１１０は、クラスＡ７１０ではない、残りのクラスのそれぞれに対する第３インデックスマトリックを保存することができる。即ち、第３インデックスマトリックの数は、クラスの数と同じであってよい。なお、複数の第３インデックスマトリックの大きさは相互異なってよい。
【０１６７】
複数の第３インデックスマトリックは、外部サーバから生成されてよく、プロセッサ１２０によって生成されてよい。
【０１６８】
プロセッサ１２０は、３×ｃ’の第３インデックスマトリック及びｃ’×１の次元が削減されたグラディエントベクトルの乗算演算を行い、クラスＡ７１０と類似する特性を有するクラスＡ’７２０−１、７２０−１、７２０−３に対応する相関性を算出することができる。
【０１６９】
図７Ａ及び図７Ｂの方法は、図６Ａないし図６Ｃの方法より、第３インデックスマトリックスとの相関性を算出する演算が追加されるが、正確度が改善されてよい。
【０１７０】
図８Ａ及び図８Ｂは、本発明の一実施形態に係るイメージブロックにフィルタを適用する方法を説明するための図である。図８Ａでは、説明の便宜のため、５×５のイメージブロックを示している。
【０１７１】
プロセッサ１２０は、図５Ａないし図７Ｂのような方法で算出された相関性に基づいて、複数のフィルタのうち、少なくとも一つをイメージブロックに適用することができる。例えば、プロセッサ１２０は、図５Ｂのように、全てのクラスに対する相関性が算出されると、相関性の高い順に０．９のクラスに対応する第１フィルタ、０．２のクラスに対応する第２フィルタ、及び０．１のクラスに対応する第３フィルタを獲得することができる。ここで、複数のフィルタのそれぞれは、複数のクラスのそれぞれに対応してよい。即ち、イメージブロックの特性に応じて、ａ個のクラスが生成された場合、ａ個のクラスのそれぞれに対応する１つのフィルタが生成され、計ａ個のフィルタが生成されてよい。フィルタの生成方法に対する具体的な説明は後述する。
【０１７２】
プロセッサ１２０は、以下の数式（２）により、複数のフィルタを一つのフィルタに変換することができる。
【０１７３】
【数２】
0006728487.tif 000003
ここで、Ｈ（１）、Ｈ（２）、Ｈ（３）のそれぞれは、第１フィルタ、第２フィルタ、第３フィルタを示し、Ｃ（１）、Ｃ（２）、Ｃ（３）のそれぞれは、第１フィルタ、第２フィルタ、第３フィルタのそれぞれに対するイメージブロックの相関性を示す。
【０１７４】
ただ、それに限定されるわけではなく、プロセッサ１２０は、各フィルタの相関性を考慮せずに、複数のフィルタを一つのフィルタに変換することもできる。この場合、プロセッサ１２０は、数式（２）において、Ｃ（１）、Ｃ（２）、Ｃ（３）を１に置き換えて複数のフィルタを一つのフィルタに変換することができる。
【０１７５】
プロセッサ１２０は、図８Ａに示すように、５×５のイメージブロックにフィルタを適用し、対象ピクセル８１０に対する最終イメージブロック８２０を獲得することができる。図８Ａの右側は、計６つの対象ピクセルが映像処理された最終イメージブロックを示し、解像度拡大フィルタを適用した図である。即ち、一つの対象ピクセルが計９つのピクセルに拡大することができる。
【０１７６】
プロセッサ１２０は、イメージブロックをベクトル化してフィルタを適用することができる。例えば、プロセッサ１２０は、５×５のイメージブロックをベクトル化し、フィルタを適用することができる。即ち、プロセッサ１２０は、フィルタ及びベクトルを乗算演算し、図８Ａの右側のように、３×３の最終イメージブロックを獲得することができる。イメージブロックのベクトル化及びベクトルから最終イメージブロックの獲得方法は、図３Ｅにおける説明と同様であるため、重複する説明は省略する。
【０１７７】
以上では、解像度拡大フィルタを用いるものとして説明したが、それに限定されるわけではない。例えば、シャープンフィルタが用いられてよく、この場合、解像度はそのまま維持され、対象ピクセルは、複数の周辺ピクセルに基づいてシャープンになるようにフィルタリングされてよい。シャープンフィルタも、人工知能アルゴリズムを通じて生成されてよく、解像度拡大フィルタとは学習過程で用いられるサンプルイメージが異なってよい。それに対する具体的な説明は後述する。
【０１７８】
一方、プロセッサ１２０は、最初イメージブロックの方向性に応じて、イメージブロックがトランスポーズされたかに対する情報をストレージ１１０に保存することができる。プロセッサ１２０は、トランスポーズされたイメージブロックから最終イメージブロックを獲得すると、図８Ｂに示すように、ストレージ１１０に保存された情報に基づいて最終イメージブロックを再びトランスポーズすることができる。
【０１７９】
一方、プロセッサ１２０は、イメージブロックに非学習基盤のフィルタを適用して追加イメージブロックを獲得し、算出さえた複数の相関性のうち、大きさが最も大きい相関性及び追加イメージブロックに基づいて、最終イメージブロックをアップデートすることができる。
【０１８０】
具体的に、プロセッサ１２０は、以下の数式（３）のように、最終イメージブロックをアップデートすることができる。
【０１８１】
【数３】
0006728487.tif 000004
ここで、Ｙ１’は、アップデートされた最終イメージブロック、Ｙ１は、最終イメージブロック、Ｙ２は、追加イメージブロック、ｗは、加重値、ｃは、算出された複数の相関性のうち、大きさが最も大きい相関性、ｋは、定数を示す。
【０１８２】
フィルタの種類及びイメージ特性の種類に応じて、非学習基盤のフィルタが学習基盤のフィルタより優れた性能を見せることもできる。例えば、学習基盤の解像度拡大フィルタは、イメージ特性が明確な輪郭成分に対しては優れた性能を見せるが、イメージ特徴が明確ではない平坦な領域に対しては、雑音成分を見せるか、ディテールな表現の側面において低い性能を見せる。よって、数式（３）のように、非学習基盤の解像度拡大フィルタによる追加イメージブロックで学習基盤の解像度拡大フィルタによる最終イメージブロックをアップデートする場合、イメージ特徴が明確ではない平坦な領域に対しても、優れたフィルタリング性能を提供することができる。
【０１８３】
なお、アップデートの過程で、イメージブロックと学習基盤の解像度拡大フィルタとの相関性が加重値と考慮されるため、より性能が改善されてよい。例えば、イメージブロックがイメージ特徴が明確ではない平坦の領域である場合、複数のクラスとの相関性が低くなることがある。または、学習過程でイメージ特性が明確ではない平坦の領域を含むサンプルイメージブロックは学習から除外させることもできる。
【０１８４】
一方、プロセッサ１２０は、非学習基盤の解像度拡大フィルタを学習基盤の解像度拡大フィルタと直列に接続されて学習されない倍率に対しても、解像度拡大を行うこともできる。
【０１８５】
具体的に、学習基盤の解像度拡大フィルタは、学習された解像度拡大倍率に応じてのみ動作し、学習されていない解像度拡大倍率に対しては、動作ができない。ただ、プロセッサ１２０は、学習基盤の解像度拡大フィルタを用いて解像度を拡大し、その後に非学習基盤の解像度拡大フィルタを用いてリサンプリング（Ｒｅｓａｍｐｌｉｎｇ）を行って、所望の解像度拡大倍率に応じた結果物を獲得することができる。
【０１８６】
一方、以上の数式（２）では、３つのフィルタを加重合するものとして説明したが、それに限らない。例えば、プロセッサ１２０は、一つのフィルタのみを利用することもでき、複数のフィルタを用いる一方で加重値を異ならせて適用することもできる。
【０１８７】
なお、プロセッサ１２０は、一つのフィルタを用いた最終イメージブロック及び複数のフィルタを加重値を異ならせて適用し、複数の最終イメージブロックを提供することができ、ユーザの選択によって、数式（２）を変更することができる。例えば、プロセッサ１２０が一つのフィルタを用いた最終イメージブロック及び数式（２）による複数のフィルタを用いた最終イメージブロックを提供し、ユーザが一つのフィルタを用いた最終イメージブロックを選択した場合、プロセッサ１２０はその後のフィルタ適用過程で一つのフィルタを用いることもできる。
【０１８８】
図９Ａ及び図９Ｂは、本発明の一実施形態に係るフィルタの学習方法を説明するための図である。図９Ａ及び図９Ｂでは、説明の便宜のため、解像度拡大フィルタの学習方法及び学習が外部サーバで行われるものとして説明する。
【０１８９】
外部サーバは、図９Ａに示すように、高解像度イメージを保存することができる。外部サーバは、図９Ｂに示すように、高解像度イメージから複数の第２サンプルイメージブロックを読み出し、複数の第２サンプルイメージブロックのそれぞれの解像度を低下させ、複数の第１サンプルイメージを獲得することができる。または、外部サーバは、高解像度の複数の第２サンプルイメージブロック及びそれに対応する低解像度の複数の第１サンプルイメージブロックを保存することもできる。ここで、高解像度及び低解像度は、相対的な状態を指すための表現として、低解像度イメージブロックは、高解像度イメージブロックより解像度の低いイメージブロックを意味する。
【０１９０】
外部サーバは、複数の第１サンプルイメージから複数のサンプルグラディエントベクトルを獲得することができる。ここで、外部サーバは、複数の第１サンプルイメージの方向性を考慮し、トランスポーズを行うことができるが、それは選択的な動作であってよい。
【０１９１】
外部サーバは、複数のサンプルグラディエントベクトルから固有ベクトルを獲得し、複数のサンプルグラディエントベクトルの次元を削減させることができる。ただ、外部サーバは、次元の削減なしに学習を行うこともできる。
【０１９２】
外部サーバは、次元の削減された複数のサンプルグラディエントベクトルをイメージブロックの特性別に予め設定された数のグループに区分し、各グループを代表するインデックスベクトルを獲得することができる。ここで、各グループを代表するインデックスベクトルは、当該グループに対応する複数のサンプルグラディエントベクトルのうち一つと同一であってよく、同一でなくてよい。外部サーバは、複数のインデックスベクトルを含むインデックスマトリックスを獲得することができる。
【０１９３】
説明の便宜のため、外部サーバがイメージブロックの特性を垂直方向性及び水平方向性を有する二つのグループに区分するものとして説明する。この場合、外部サーバは、各グループを代表する二つのインデックスベクトルを獲得し、二つのインデックスベクトルを含むインデックスマトリックスを獲得することができる。
【０１９４】
そして、外部サーバは、第１サンプルイメージブロックを二つのグループのうち一つに分類することができる。例えば、外部サーバは、第１サンプルイメージブロックに対して、第１サンプルグラディエントベクトルを算出し、インデックスマトリックス及び第１サンプルグラディエントベクトルの乗算演算を通じて、二つのグループに対する第１サンプルイメージブロックの相関性を算出し、第１サンプルイメージブロックを相関性がより高いグループに分類することができる。外部サーバは、このような過程を第１サンプルイメージブロックの全てに対して行うことができる。その結果、例えば、１００００００個の第１サンプルイメージブロックは３５４０００個が水平方向性を有するグループに分類され、６４６０００個の垂直方向性を有するグループに分類されてよい。
【０１９５】
外部サーバは、３５４０００個の水平方向性を有する第１サンプルイメージブロック及びそれに対応する３５４０００個の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習し、第１フィルタを生成することができる。なお、外部サーバは、６４６０００個の水平方向性を有する第１サンプルイメージブロック及びそれに対応する６４６０００個の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習し、第２フィルタを生成することができる。
【０１９６】
即ち、インデックスベクトルは、一つのイメージブロックの特性を示す指標としてみることができ、インデックスベクトルに対応するフィルタは、当該インデックスベクトルに対応するイメージブロックの特性に基づいて、第１サンプルイメージブロック及びそれに対応する第２サンプルイメージブロックを学習して獲得されてよい。
【０１９７】
外部サーバは、Ｌ２  Ｎｏｒｍエラーを最小化する方法、及びＬ１  Ｎｏｒｍエラーを最小化する方法を通じ、学習を行うことができる。例えば、外部サーバは、以下の数式（４）を通じ、Ｌ２  Ｎｏｒｍａらを最小化する映像拡大フィルタＭを算出することができる。
【０１９８】
【数４】
0006728487.tif 000005
ここで、Ｋは、クラスを意味し、Ｘは、高解像度サンプルイメージブロック、Ｙは、低解像度サンプルイメージブロックの映像値を示す。
【０１９９】
ただ、それは、一実施形態に過ぎず、いくらでも多様な学習方法が用いられてよい。
【０２００】
なお、図９及び図９Ｂでは、高解像度イメージブロック及び低解像度イメージブロックを学習するものとして説明したが、それに限らない。例えば、外部サーバは、ぼんやりとしたイメージブロックと鮮明なイメージブロックを学習し、シャープンフィルタまたはブラー（Ｂｌｕｒ）フィルタを獲得することもできる。この場合、イメージブロックの解像度は変更されなくてよい。ここで、ぼんやりとしたイメージブロックは、鮮明なイメージブロックより鮮明度が相対的に低いイメージブロックを意味する。
【０２０１】
なお、外部サーバではない、電子装置１００が直接学習を行うこともできる。この場合、ストレージ１１０は、第１サンプルイメージブロック及び第２サンプルイメージブロックを保存し、プロセッサ１２０は保存された情報に基づいて予め学習を行って、インデックスマトリックス及び複数のフィルタを獲得することができる。そして、プロセッサ１２０は、イメージブロックが入力されると、入力されたイメージブロックに対して少なくとも一つのフィルタを適用して最終イメージブロックを生成することができる。
【０２０２】
一方、以上のように、方向性の判断結果に応じたイメージブロックのトランスポーズ、グラディエントベクトルの次元削減及び非学習基盤のフィルタの適用は、選択的な動作として説明している。即ち、選択的な動作の実行有無に応じて、インデックスマトリックス及びフィルタも異なってくる。
【０２０３】
例えば、方向性の判断結果に応じたイメージブロックのトランスポーズを行うと、ａ×ｃのインデックスマトリックス（次元削減を行わない場合）が生成されてよい。一方、方向性の判断結果に応じたイメージブロックのトランスポーズを行わなければ、２×ａ×ｃのインデックスマトリックス（次元削減を行わない場合）が生成されてよい。それは、イメージ特性をａ個に区分した際、トランスポーズを行わないと、水平方向性及び垂直方向性の二つの場合が区分され、それにより、イメージ特性が２倍になるためである。
【０２０４】
または、グラディエントベクトルの次元削減を行うと、ａ×ｃ’のインデックスマトリックス（トランスポーズを行う場合）が生成されてよい。一方、グラディエントベクトルの次元削減を行わないと、ａ×ｃのインデックスマトリックス（トランスポーズを行う場合）が生成されてよい。
【０２０５】
図１０は、本発明の一実施形態に係る映像伝送動作を説明するための図である。
【０２０６】
外部サーバ２００は、電子装置１００に映像を提供する装置であってよい。なお、外部サーバ２００は、サーバだけでなく、デスクトップ、ノートパソコン、タブレット、スマートフォンなどであってよく、人工知能アルゴリズムを通じて学習を行うことができ、エンコーディングを行うことのできる装置なら、如何なる装置でも構わない。
【０２０７】
まず、外部サーバ２００は、高解像度映像から低解像度映像を獲得することができる（Ｓ１０１０）。例えば、外部サーバ２００は、８Ｋ動画から４Ｋ動画を獲得することができる。動画の解像度を低める方法は如何なる方法でも構わない。
【０２０８】
そして、外部サーバ２００は、高解像度映像及び低解像度映像を学習してフィルタ情報を生成することができる（Ｓ１０２０）。具体的に、外部サーバ２００は、高解像度映像の各フレームを予め設定されたイメージブロックに区分し、低解像度映像も同様の方法に区分することができる。このとき、高解像度映像から生成されるイメージブロックの数は低解像度映像から生成されるイメージブロックの数は、低解像度映像から生成されるイメージブロックの数と同一であってよい。なお、高解像度映像から生成されるイメージブロックのそれぞれは、低解像度映像から生成されるイメージブロックのうち一つに対応して解像度のみが異なってよい。以下では、高解像度映像から生成されるイメージブロック及び低解像度映像から生成されるイメージブロックのそれぞれを高解像度のイメージブロック及び低解像度のイメージブロックとして説明する。
【０２０９】
外部サーバ２００は、低解像度のイメージブロックから対応する高解像度のイメージブロックを導出するための学習を行い、複数のフィルタを生成することができる。ここで、複数のフィルタを生成する方法は、図１Ａないし図９Ｂにおいて説明したものと重複するため、省略する。
【０２１０】
そして、外部サーバ２００は、低解像度映像をエンコーディングして圧縮することができる（Ｓ１０３０）。エンコーディング方法には、特に制限がない。
【０２１１】
外部サーバ２００は、エンコーディングされた低解像度映像及びフィルタ情報を電子装置１００に伝送することができる（Ｓ１０４０）。ここで、フィルタ情報は、インデックスマトリックス及び複数のフィルタを含んでよい。なお、実施形態によって、フィルタ情報は、固有ベクトルを更に含んでよい。なお、フィルタ情報は、低解像度映像の各フレームを予め設定された大きさのイメージブロックに区分する方法を含んでよい。
【０２１２】
電子装置１００は、エンコーディングされた低解像度映像をデコーディングして低解像度映像を復元することができる（Ｓ１０５０）。デコーディング方法は、外部サーバ２００のエンコーディング方法に対応できれば、特に制限はない。
【０２１３】
電子装置１００は、低解像度映像にフィルタ情報を適用して高解像度映像を復元することができる（Ｓ１０６０）。具体的に、電子装置１００は、フィルタ情報に含まれた低解像度映像の各フレームを予め設定された大きさのイメージブロックに区分する方法に基づいて、低解像度映像を複数のイメージブロックに区分することができる。そして、電子装置１００は、インデックスマトリックス及び複数のフィルタに基づいて、各イメージブロックから高解像度イメージブロックを獲得することができる。高解像度イメージブロックを獲得する方法は、図１Ａないし図９Ｂにおいて説明したものと重複するため、省略する。電子装置１００は、複数の高解像度イメージブロックから高解像度映像を獲得することができる。
【０２１４】
現在のエンコーディング技術のみでは、８Ｋ映像の伝送が困難だが、以上のような方法を通じ、８Ｋ映像の伝送も可能であってよい。具体的に、外部サーバ２００は、４Ｋ映像をエンコーディングし、エンコーディングされた４Ｋ映像を電子装置１００に伝送する。そして、電子装置１００は、受信された情報をデコーディングして４Ｋ映像を復元し、４Ｋ映像から８Ｋ映像を導出するために、人工知能アルゴリズムを通じて学習された学習データを用いて、４Ｋ映像から８Ｋ映像を生成することができる。
【０２１５】
ここで、外部サーバ２００から電子装置１００に伝送されるフィルタ情報は、４Ｋ映像から８Ｋ映像を導出するためのツールに過ぎず、映像情報とは異なると見なしてよい。即ち、フィルタ情報の容量は、８Ｋ映像を直接伝送する際の容量より非常に小さくてよく、以上のように、フィルタ情報を用いる場合は８Ｋ映像のストリーミングが可能であってよい。
【０２１６】
図１１は、本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。
【０２１７】
まず、対象ピクセル及び複数の周辺ピクセルを含むイメージブロック内のピクセル間の関係に基づいて、イメージブロックを複数のイメージパターンのうち一つに分類する（Ｓ１１１０）。そして、複数のイメージパターンのそれぞれに対応する複数のフィルタのうち、分類されたイメージパターンに対応する少なくとも一つのフィルタをイメージブロックに適用し、対象ピクセルが映像処理された最終イメージブロックを獲得する（Ｓ１１２０）。ここで、複数のフィルタは、複数のイメージパターンのそれぞれに基づいて、複数の第１サンプルイメージブロック及び複数の第１サンプルイメージブロックに対応する複数の第２サンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得されてよい。
【０２１８】
ここで、分類するステップ（Ｓ１１１０）は、イメージブロックからグラディエントベクトルを算出するステップ、複数のインデックスベクトルを含むインデックスマトリックス及びグラディエントベクトルに基づいて、複数のインデックスベクトルのそれぞれに対するイメージブロックの相関性を算出するステップと、算出された相関性に基づいてイメージブロックを複数のイメージパターンのうち一つに分類するステップとを含み、複数のインデックスベクトルは、複数の第１サンプルイメージブロックから算出された複数のサンプルグラディエントベクトルに基づいて獲得され、複数のイメージパターンにそれぞれ対応してよい。
【０２１９】
なお、グラディエントベクトルを算出するステップは、イメージブロックの水平方向性の強度がイメージブロックの垂直方向性の強度より大きい場合、イメージブロックからグラディエントベクトルを算出し、水平方向性の強度が垂直方向性の強度より小さい場合、イメージブロックをトランスポーズして、トランスポーズされたイメージブロックからグラディエントベクトルを算出することができる。
【０２２０】
一方、固有ベクトルを用いて、グラディエントベクトルの大きさを縮小させるステップを更に含み、相関性を算出するステップは、大きさが縮小されたグラディエントベクトルに基づいて、複数のインデックスベクトルのそれぞれに対するイメージブロックの相関性を算出し、固有ベクトルは、複数のサンプルグラディエントベクトルから主成分分析（ｐｒｉｎｃｉｐａｌ  ｃｏｎｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ）を適用して生成されてよい。
【０２２１】
なお、相関性を算出するステップは、第１インデックスマトリックス及びグラディエントベクトルに基づいて、複数のインデックスベクトルグループのそれぞれに対するイメージブロックの第１相関性を算出するステップと、第１相関性に基づいて複数のインデックスベクトルグループのうち一つのインデックスベクトルグループを獲得するステップと、複数の第２インデックスマトリックスのうち、獲得されたインデックスベクトルグループに対応する第２インデックスマトリックスを獲得するステップと、獲得された第２インデックスマトリックス及びグラディエントベクトルに基づいて獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのそれぞれに対するイメージブロックの第２相関性を算出するステップとを含み、最終イメージブロックを獲得するステップ（Ｓ１１２０）は、第２相関性に基づいて複数のフィルタのうち、少なくとも一つのフィルタをイメージブロックに適用して最終イメージブロックを獲得し、複数のインデックスベクトルグループは、複数のインデックスベクトルを予め設定された数のグループに区分して獲得され、第１インデックスマトリックスは、複数のインデックスベクトルグループのそれぞれを代表するインデックスベクトルを含み、複数の第２インデックスマトリックスのそれぞれは、複数のインデックスベクトルグループのそれぞれに対応する複数のインデックスベクトルを含んでよい。
【０２２２】
ここで、相関性を算出するステップは、第２相関性に基づいて獲得されたインデックスベクトルグループに含まれた複数のインデックスベクトルのうち一つのインデックスベクトルを獲得するステップと、類似インデックスベクトル情報に基づいて、複数のインデックスベクトルグループのうち、残りのグループに含まれ、獲得されたインデックスベクトルに対応する少なくとも一つの追加インデックスベクトルを獲得するステップと、獲得されたインデックスベクトル、獲得された追加インデックスベクトル及びグラディエントベクトルに基づいて、イメージブロックの第３相関性を算出するステップとを含み、最終イメージブロックを獲得するステップ（Ｓ１１２０）は、第３相関性に基づいて、複数のフィルタのうち、少なくとも一つのフィルタをイメージブロックに適用して最終イメージブロックを獲得することができる。
【０２２３】
一方、最終イメージブロックを獲得するステップ（Ｓ１１２０）は、算出された複数の相関性に基づいて複数のフィルタのうち、少なくとも二つのフィルタを獲得するステップと、少なくとも二つのフィルタ及び少なくとも二つのフィルタのそれぞれに対応する相関性に基づいて最終フィルタを算出するステップと、算出された最終フィルタをイメージブロックに適用して最終イメージブロックを獲得するステップとを含んでよい。
【０２２４】
なお、複数の第１サンプルイメージブロックのそれぞれは、対応する第２サンプルイメージブロックの解像度を縮小させたイメージであり、最終イメージブロックを獲得するステップ（Ｓ１１２０）は、複数のフィルタのうち、少なくとも一つのフィルタをイメージブロックに適用し、対象ピクセルの解像度を拡大させた最終イメージブロックを獲得することができる。
【０２２５】
ここで、イメージブロックに非学習基盤の解像度拡大技術を適用し、対象ピクセルの解像度が拡大された追加イメージブロックを獲得するステップと、算出された複数の相関性のうち大きさが最も大きい相関性及び追加イメージブロックに基づいて、最終イメージブロックをアップデートするステップを更に含んでよい。
【０２２６】
一方、グラディエントベクトルを算出するステップ（Ｓ１１１０）は、対象ピクセル及び複数の周辺ピクセルのそれぞれに対する水平グラディエント及び垂直グラディエントを算出し、水平グラディエント及び垂直グラディエントに基づいてグラディエントベクトルを算出することができる。
【０２２７】
そして、複数のフィルタのそれぞれは、複数の第１サンプルイメージブロックのうち、複数のインデックスベクトルのうち一つのインデックスベクトルに対応する複数の第１サブサンプルイメージブロックを獲得し、複数の第２サンプルイメージブロックのうち、複数の第１サブサンプルイメージブロックに対応する複数の第２サンプルイメージブロックを獲得し、複数の第１サブサンプルイメージブロック及び複数の第２サブサンプルイメージブロックの関係を人工知能アルゴリズムを通じて学習して獲得することができる。
【０２２８】
以上のような本発明の多様な実施形態によると、電子装置は、リアルタイムで映像処理を行うことができ、多様な応用に用いられてよく、学習基盤の映像処理を行って非学習基盤の映像処理と比較し、相対的に映像処理の品質を向上させることができる。
【０２２９】
一方、プロセッサは、イメージブロックのピクセル別にフィルタを適用することができる。または、プロセッサは、イメージブロックで各ピクセルのサブピクセル別にフィルタを適用することができる。この場合、プロセッサは、一部のサブピクセルのみにフィルタを適用することもできる。または、プロセッサは、イメージブロックで各ピクセルの色差成分と輝度成分とを区分し、色差成分及び輝度成分のうち少なくとも一つにフィルタを適用することもできる。
【０２３０】
一方、本発明の一実施形態によると、以上で説明された多様な実施形態は、機器（Ｍａｃｈｉｎｅ）（例えば、コンピュータ）で読み取れる保存媒体（ｍａｃｈｉｎｅ−ｒｅａｄａｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉａ）に保存された命令語を含むソフトウェアで実現されてよい。機器は、保存媒体から保存された命令語を呼び出し、呼び出された命令語に応じて動作が可能な装置として、開示された実施形態に係る電子装置（例えば、電子装置（Ａ））を含んでよい。命令がプロセッサによって実行される場合、プロセッサが直接、またはプロセッサの制御下に異なる構成要素を用いて命令に該当する機能を行うことができる。命令は、コンパイラまたはインタープリターによって生成または実行されるコードを含んでよい。機器で読み取れる保存媒体は、非一時的（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）保存媒体で提供されてよい。ここで、「非一時的」とは、保存媒体が信号（Ｓｉｇｎａｌ）を含まずに、実在（Ｔａｎｇｉｂｌｅ）することを意味するだけで、データが保存媒体に半永久的または一時的に保存されることを区分しない。
【０２３１】
なお、本発明の一実施形態によると、以上で説明した多様な実施形態に係る方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ  ｐｒｏｇｒａｍ  ｐｒｏｄｕｃｔ）に含まれて提供されてよい。コンピュータプログラム製品は、商品として販売者及び購入者間で取引されてよい。コンピュータプログラム製品は、機器で読み取れる保存媒体（例えば、ｃｏｍｐａｃｔ  ｄｉｓｃ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ：ＣＤ−ＲＯＭ）の形態で、またはアプリケーションストア（例えば、プレイストアＴＭ）を通じてオンラインで配布できる。オンライン配布の場合に、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、または中継サーバのメモリのような保存媒体に少なくとも一時保存されるか、一時的に生成されてよい。
【０２３２】
なお、本発明の一実施形態によると、以上で説明された多様な実施形態は、ソフトウェア、ハードウェアまたはこれらの組み合わせを用いてコンピュータまたはそれと類似する装置で読み取れる記録媒体内で実現されてよい。一部の場合において、本明細書で説明される実施形態がプログラムそのもので実現されてよい。ソフトウェア的な実現によると、本明細書で説明される手続き及び機能のような実施形態は、別途のソフトウェアモジュールで実現されてよい。ソフトウェアモジュールのそれぞれは、本明細書で説明される一つ以上の機能及び動作を行うことができる。
【０２３３】
一方、上述の多様な実施形態による機器のプロセッシング動作を行うためのコンピュータ命令語（ｃｏｍｐｕｔｅｒ  ｉｎｓｔｒｕｃｔｉｏｎｓ）は、非一時的なコンピュータ読み取り可能な媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）に保存されてよい。このような非一時的なコンピュータ読み取り可能な媒体に保存されたコンピュータ命令語は、特定機器のプロセッサによって実行された際、上述の多様な実施形態に係る機器における処理動作を特定機器が行うようにする。非一時的なコンピュータ読み取り可能な媒体とは、レジスタ、キャッシュ、メモリなどのように、短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取りが可能な媒体を意味する。非一時的なコンピュータ読み取り可能な媒体の具体的な例としては、ＣＤ、ＤＶＤＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等があってよい。
【０２３４】
なお、上述の多様な実施形態による構成要素（例えば、モジュールまたはプログラム）のそれぞれは、単数または複数の個体で構成されてよく、上述の当該サブ構成要素のうち一部のサブ構成要素が省略されたり、または別のサブ構成要素が多様な実施形態に更に含まれてよい。代替的にまたは追加的に、一部の構成要素（例えば、モジュールまたはプログラム）は、一つの個体で統合され、統合される前のそれぞれの当該構成要素によって行われる機能を同一または類似するように行うことができる。多様な実施形態に係るモジュール、プログラムまたは別の構成要素によって行われる動作は、順次に、並列に、繰り返し、またはヒューリスティックスに実行されるか、少なくとも一部の動作が異なる手順で実行されたり、省略されたり、または別の動作が追加されてよい。
【０２３５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図１Ａ】
0006728487.tif 000006
【図１Ｂ】
0006728487.tif 000007
【図２】
0006728487.tif 000008
【図３Ａ】
0006728487.tif 000009
【図３Ｂ】
0006728487.tif 000010
【図３Ｃ】
0006728487.tif 000011
【図３Ｄ】
0006728487.tif 000012
【図３Ｅ】
0006728487.tif 000013
【図４Ａ】
0006728487.tif 000014
【図４Ｂ】
0006728487.tif 000015
【図５Ａ】
0006728487.tif 000016
【図５Ｂ】
0006728487.tif 000017
【図６Ａ】
0006728487.tif 000018
【図６Ｂ】
0006728487.tif 000019
【図６Ｃ】
0006728487.tif 000020
【図７Ａ】
0006728487.tif 000021
【図７Ｂ】
0006728487.tif 000022
【図８ａ】
0006728487.tif 000023
【図８ｂ】
0006728487.tif 000024
【図９Ａ】
0006728487.tif 000025
【図９Ｂ】
0006728487.tif 000026
【図１０】
0006728487.tif 000027
【図１１】
0006728487.tif 000028