(57)【要約】  複数のデータ認識モデルのうち、所定条件に符合するデータ認識モデルが学習した関心情報に基づき、関心領域を推定して焦点を合わせる映像処理装置及び映像処理方法を開示する。その場合、該映像処理装置は、規則基盤または人工知能アルゴリズムを利用し、関心領域を推定することができる。該人工知能アルゴリズムを利用し、関心領域を推定する場合、該映像処理装置は、機械学習アルゴリズム、神経網アルゴリズムまたは深層学習アルゴリズムを利用し、関心領域を推定することができる。
2020507228.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの被写体を含むライブビュー映像を獲得する撮影部と、
コンピュータ実行可能命令語を保存するメモリと、
前記コンピュータ実行可能命令語を実行することにより、データ認識モデルのうち、所定条件に対応するデータ認識モデルに基づき、前記データ認識モデルが学習した関心情報に該当するか否かということを判断する基準により、前記獲得されたライブビュー映像におけるユーザの関心領域を推定し、前記推定された関心領域に焦点を合わせる少なくとも１つのプロセッサと、
前記推定された関心領域に焦点を合わせた前記ライブビュー映像をディスプレイする入出力部と、を含む映像処理装置。
【請求項２】
前記少なくとも１つのプロセッサは、
第１条件を満足するとき、第１データ認識モデルが学習した突出領域に該当するか否かということを判断する基準により、前記突出領域を前記ユーザの前記関心領域と推定し、第２条件を満足するとき、第２データ認識モデルが学習した個人化された関心情報に該当するか否かということを判断する基準により、前記個人化された関心情報に対応する領域を前記ユーザの関心領域と推定することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記突出領域は、被写体が映像で占める面積、または映像の色相分布についての所定基準によって決定され、前記個人化された関心情報は、前記映像処理装置に保存された前記ユーザの映像についての所定統計によって決定されることを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記第２条件は、前記映像処理装置に保存された映像の枚数が所定の数より多く、前記個人化された関心情報に対する信頼度が所定条件を満足する場合で、前記第１条件は、前記第２条件を満足しない場合であることを特徴とする請求項２に記載の映像処理装置。
【請求項５】
外部サーバに保存された前記ユーザの映像を利用し、第３データ認識モデルが学習した個人化された関心情報に該当するか否かということを判断する基準を、前記外部サーバから受信する通信部をさらに含み、
前記少なくとも１つのプロセッサは、
前記映像処理装置に設けられたデータ認識モデルが受信した前記個人化された関心情報に該当するか否かということを判断する基準により、前記個人化された関心情報に対応する領域を前記ユーザの関心領域と推定することを特徴とする請求項１に記載の映像処理装置。
【請求項６】
前記外部サーバは、前記ユーザの映像を所定基準によって分類し、前記分類された映像で前記第３データ認識モデルを学習させ、前記個人化された関心情報に該当するか否かということを判断する基準を獲得することを特徴とする請求項５に記載の映像処理装置。
【請求項７】
前記少なくとも１つのプロセッサは、
前記関心情報の優先順位に基づき、優先順位が上位にある関心情報に対応する領域を、ユーザの関心領域と推定することを特徴とする請求項１に記載の映像処理装置。
【請求項８】
前記少なくとも１つのプロセッサは、
複数個の関心領域が推定された場合、前記複数個の関心領域のいずれに対しても焦点を合わせる多重焦点を遂行することを特徴とする請求項１に記載の映像処理装置。
【請求項９】
前記少なくとも１つのプロセッサは、
複数個の関心領域が推定された場合、前記複数個の関心領域のうちユーザが選択した関心領域に対して焦点を合わせることを特徴とする請求項１に記載の映像処理装置。
【請求項１０】
前記撮影部は、前記ユーザの撮影命令に対する応答として、前記推定された関心領域に焦点を合わせて映像を撮影することを特徴とする請求項１に記載の映像処理装置。
【請求項１１】
少なくとも１つの被写体を含むライブビュー映像を獲得する段階と、
データ認識モデルのうち、所定条件に対応するデータ認識モデルに基づき、前記データ認識モデルが学習した関心情報に該当するか否かということを判断する基準により、前記獲得されたライブビュー映像におけるユーザの関心領域を推定する段階と、
前記推定された関心領域に焦点を合わせる段階と、
前記推定された関心領域に焦点を合わせた前記ライブビュー映像をディスプレイする段階と、を含む映像処理方法。
【請求項１２】
前記関心領域を推定する段階は、
第１条件を満足するとき、第１データ認識モデルが学習した突出領域に該当するか否かということを判断する基準により、前記突出領域を前記ユーザの前記関心領域と推定し、第２条件を満足するとき、第２データ認識モデルが学習した個人化された関心情報に該当するか否かということを判断する基準により、前記個人化された関心情報に対応する領域を前記ユーザの関心領域と推定することを特徴とする請求項１１に記載の映像処理方法。
【請求項１３】
前記突出領域は、被写体が映像で占める面積、または映像の色相分布についての所定基準によって決定され、前記個人化された関心情報は、前記映像処理方法が遂行される映像処理装置に保存された前記ユーザの映像についての所定統計によって決定されることを特徴とする請求項１２に記載の映像処理方法。
【請求項１４】
前記第２条件は、前記映像処理方法が遂行される映像処理装置に保存された映像の枚数が所定枚数より多く、前記個人化された関心情報に対する信頼度が所定条件を満足する場合であり、前記第１条件は、前記第２条件を満足しない場合であることを特徴とする請求項１２に記載の映像処理方法。
【請求項１５】
少なくとも１つの被写体を含むライブビュー映像を獲得する段階と、
データ認識モデルのうち、所定条件に対応するデータ認識モデルに基づき、前記データ認識モデルが学習した関心情報に該当するか否かということを判断する基準により、前記獲得されたライブビュー映像におけるユーザの関心領域を推定する段階と、
前記推定された関心領域に焦点を合わせる段階と、
前記推定された関心領域に焦点を合わせた前記ライブビュー映像をディスプレイする段階と、を含む映像処理方法を遂行するように設定された命令語を含むコンピュータプログラムが保存された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人工知能（ＡＩ：artificial intelligence）システムに係り、特に、深層学習（ディープラーニング）のような機械学習アルゴリズムを活用し、人間頭脳の認知、判断のような機能を模写する人工知能（ＡＩ）システム及びその応用技術に関する。
【背景技術】
【０００２】
映像処理において、自動的に焦点を合わせることは、映像に対するユーザの満足感を増大させる作業であり、一般的に、映像内において、ユーザの視線が集中する領域を関心領域（region of interest）で見なし、そのような関心領域に焦点を合わせる映像処理方式がある。
【０００３】
また、最近では、映像処理分野にも、人工知能システムが導入されている。
【０００４】
該人工知能システムは、人間レベルの知能を具現するコンピュータシステムであり、既存ルールに基づくスマートシステムと異なり、機械が自ら学習して判断し、知恵を増すシステムである。該人工知能システムは、使用するほど認識率が向上し、ユーザの好みをさらに正確に理解することができるようになり、既存ルールに基づくスマートシステムは、徐々に深層学習基盤人工知能システムに代替されている。
人工知能技術は、機械学習（深層学習）、及び機械学習を活用した要素技術によって構成される。
【０００５】
該機械学習は、入力データの特徴を自ら分類／学習するアルゴリズム技術であり、該要素技術は、深層学習などの機械学習アルゴリズムを活用し、人間頭脳の認知、判断などの機能を模写する技術であり、言語的理解、視覚的理解、推論／予測、知識表現、動作制御などの技術分野によって構成される。
【０００６】
該人工知能技術が応用される多様な分野は、次の通りである。言語的理解は、人間の言語／文字を認識し、応用／処理する技術であり、自然語処理、機械翻訳、対話システム、質疑応答、音声認識／合成などを含む。該視覚的理解は、事物を人間の視覚のように認識しながら処理する技術であり、客体認識、客体追跡、映像検索、人認識、場面理解、空間理解、映像改善などを含む。該推論／予測は、情報を判断して論理的に推論して予測する技術であり、知識／確率基盤推論、最適化予測、選好基盤計画、推薦などを含む。該知識表現は、人間の経験情報を知識データに自動化処理する技術であり、知識構築（データ生成／分類）、知識管理（データ活用）などを含む。該動作制御は、車両の自律走行、ロボットの動きを制御する技術であり、動き制御（航法、衝突、走行）、操作制御（行動制御）などを含む。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、複数のデータ認識モデルのうち、所定条件に符合するデータ認識モデルが学習した関心情報に基づき、関心領域を推定して焦点を合わせる映像処理装置及び映像処理方法を提供することである。
【課題を解決するための手段】
【０００８】
第１側面による映像処理装置は、少なくとも１つの被写体を含むライブビュー映像を獲得する撮影部と、コンピュータ実行可能命令語（computer executable instruction）を保存するメモリと、前記コンピュータ実行可能命令語を実行することにより、データ認識モデルのうち、所定条件に対応するデータ認識モデルに基づき、前記データ認識モデルが学習した関心情報に該当するか否かということを判断する基準により、前記獲得されたライブビュー映像におけるユーザ関心領域を推定し、前記推定された関心領域に焦点を合わせる少なくとも１つのプロセッサと、前記推定された関心領域に焦点を合わせた前記ライブビュー映像をディスプレイする入出力部と、を含む。
【０００９】
第２側面による映像処理方法は、少なくとも１つの被写体を含むライブビュー映像を獲得する段階と、データ認識モデルのうち、所定条件に対応するデータ認識モデルに基づき、前記データ認識モデルが学習した関心情報に該当するか否かということを判断する基準により、前記獲得されたライブビュー映像におけるユーザ関心領域を推定する段階と、前記推定された関心領域に焦点を合わせる段階と、前記推定された関心領域に焦点を合わせた前記ライブビュー映像をディスプレイする段階と、を含む。
第３側面によるところは、前記映像処理方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体である。
【図面の簡単な説明】
【００１０】
【図１Ａ】一実施形態による映像処理装置について説明するためのブロック図である。
【図１Ｂ】多様な実施形態による映像処理装置の構成を図示した図面である。
【図２】一実施形態による撮影部のブロック図である。
【図３】一実施形態による制御部の動作について説明するための図面である。
【図４Ａ】一実施形態による映像処理装置において、突出領域（salient region）をユーザの関心領域と推定し、焦点を合わせた例について説明するための図面である。
【図４Ｂ】一実施形態による映像処理装置において、突出領域（salient region）をユーザの関心領域と推定し、焦点を合わせた例について説明するための図面である。
【図５Ａ】一実施形態による映像処理装置において、個人化された関心情報に対応する領域をユーザの関心領域と推定し、焦点を合わせた例について説明するための図面である。
【図５Ｂ】一実施形態による映像処理装置において、個人化された関心情報に対応する領域をユーザの関心領域と推定し、焦点を合わせた例について説明するための図面である。
【図６】一実施形態による制御部のブロック図である。
【図７】一実施形態によるデータ学習部のブロック図である。
【図８】一実施形態によるデータ認識部のブロック図である。
【図９】他の一実施形態による映像処理装置について説明するためのブロック図である。
【図１０】一部実施形態による映像処理装置及びサーバが、互いに連動することにより、データを学習して認識する例示を示す図面である。
【図１１】さらに他の一実施形態による映像処理装置について説明するためのブロック図である。
【図１２】一実施形態による映像処理方法を示すフローチャートである。
【図１３】一実施形態による映像処理装置、が第１プロセッサ及び第２プロセッサを含む場合、関心領域を推定する状況について説明するためのフローチャートである。
【図１４】一実施形態による映像処理装置が、第１プロセッサ、第２プロセッサ及び第３プロセッサを含む場合、関心領域を推定する状況について説明するためのフローチャートである。
【図１５】一実施形態による映像処理装置が、第１プロセッサ、第２プロセッサ及び第３プロセッサを含む場合、関心領域を推定する他の状況について説明するためのフローチャートである。
【図１６】一実施形態による映像処理装置が、サーバを利用して関心領域を推定する状況について説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付された図面を参照しながら、ただ例示のための実施形態について詳細に説明する。下記実施形態は、技術的内容を具体化するためのものであるのみ、権利範囲を制限したり限定したりするものではないということは言うまでもない。詳細な説明、及び実施形態から、当該技術分野の専門家が容易に類推することができることは、権利範囲に属するものと解釈される。
【００１２】
なお、本明細書において、ある構成が他の構成と「連結」されているとするとき、それは、「直接連結」されている場合だけではなく、「その中間に他の構成を挟んで連結」されている場合も含む。また、ある構成が他の構成を「含む」というとき、それは、特別に反対となる記載がない限り、それ以外の他構成を除くものではなく、他の構成をさらに含んでもよいということを意味する。
【００１３】
また、本明細書において使用される「第１」または「第２」のように序数を含む用語は、多様な構成要素についての説明に使用することができるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
【００１４】
本明細書において、「映像処理装置」とは、撮影機能を具備した電子装置を総称する用語を意味する。例えば、カメラモジュールを具備しているスマートフォンやデジタルカメラのようなデバイスが映像処理装置に該当する。
【００１５】
本実施形態は、映像処理装置及び映像処理方法に係わるものであり、以下の実施形態が属する技術分野で当業者に周知されている事項については、詳細な説明を省略する。
【００１６】
図１Ａは、一実施形態による映像処理装置１０００について説明するためのブロック図である。本実施形態と係わる技術分野で当業者であるならば、図１に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということが分かるであろう。
【００１７】
図１Ａに図示されているように、一実施形態による映像処理装置１０００は、メモリ１１００、制御部１２００、入出力部１３００、撮影部１６１０を含んでもよい。
【００１８】
撮影部１６１０は、少なくとも１つの被写体を含む映像を獲得することができる。例えば、撮影部１６１０は、少なくとも１つの被写体を含むライブビュー映像を獲得することができ、実際に撮影が遂行されるとき、映像処理装置１０００に保存される撮影映像を獲得することができる。撮影部１６１０は、ユーザの撮影命令に対する応答として、推定された関心領域（region of interest）に焦点を合わせて映像を撮影することができる。撮影部１６１０についての詳細な説明は、図２で詳細に説明する。
【００１９】
メモリ１１００は、制御部１２００の処理及び制御のためのプログラムを保存することができ、映像処理装置１０００に入力されたり、映像処理装置１０００から出力されたりするデータを保存することもできる。メモリ１１００は、コンピュータ実行可能命令語（computer executable instruction）を保存することができる。
【００２０】
制御部１２００は、一般的に、映像処理装置１０００の全般的な動作を制御する。制御部１２００は、少なくとも１つのプロセッサを具備することができる。制御部１２００は、その機能及び役割により、複数のプロセッサを含むか、あるいは統合された形態の１つのプロセッサを含んでもよい。
【００２１】
制御部１２００を構成する少なくとも１つのプロセッサは、メモリ１１００に保存されたコンピュータ実行可能命令語を実行することにより、データ認識モデルのうち、所定条件に対応するデータ認識モデルに基づき、データ認識モデルが学習した関心情報に該当するか否かということを判断する基準により、獲得されたライブビュー映像におけるユーザ関心領域を推定し、推定された関心領域に焦点を合わせることができる。制御部１２００についての詳細な説明は、図３ないし図８で詳細に説明する。
【００２２】
入出力部１３００は、推定された関心領域に焦点を合わせたライブビュー映像をディスプレイすることができる。入出力部１３００は、関心領域に焦点を合わせる作業がリアルタイムで反映されたライブビュー映像をディスプレイすることができる。
【００２３】
図１Ｂは、多様な実施形態による映像処理装置１０００の構成を図示した図面である。
【００２４】
図１Ｂを参照すれば、映像処理装置１０００は、第１プロセッサ１２００ａ及び第２プロセッサ１２００ｂを有している制御部１２００を含んでもよい。
【００２５】
第１プロセッサ１２００ａは、映像処理装置１０００にインストールされた少なくとも１つのアプリケーションの実行を制御し、映像処理装置１０００に獲得されるイメージ（例：ライブビューイメージ、撮影されたイメージなど）に対するグラフィック処理を行うことができる。第１プロセッサ１２００ａは、ＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）、通信チップ及びセンサなどの機能が統合されたＳｏＣ（system on chip）の形態によっても具現される。また、第１プロセッサ１２００ａは、本明細書内において、ＡＰ（application processor）とも説明される。
第２プロセッサ１２００ｂは、データ認識モデルを利用し、イメージの関心領域を推定することができる。
【００２６】
一方、第２プロセッサ１２００ｂは、データ認識モデルを利用した関心領域推定の機能を遂行する人工知能（ＡＩ：artificial intelligence）のための専用ハードウェアチップ形態にも作製される。多様な実施形態によれば、視覚的理解を要素技術にするデータ認識モデルの場合、人工知能（ＡＩ）のための専用ハードウェアチップは、ＧＰＵを含んでもよい。
【００２７】
また、映像処理装置１０００は、第２プロセッサ１２００ｂと同一機能を遂行する第３プロセッサ、第４プロセッサなどをさらに含んでもよい。その場合、それぞれのプロセッサは、互いに異なるデータ認識モデルを利用し、関心領域推定機能を遂行することもできる。
【００２８】
本開示の多様な実施形態によれば、第１プロセッサ１２００ａが遂行する機能は、メモリ１１００に保存され、多様な機能を遂行するアプリケーションのためにも遂行され、第２プロセッサ１２００ｂが遂行する機能は、映像処理装置１０００のＯＳ（operating system）のためにも遂行される。
【００２９】
例えば、カメラアプリケーションは、ライブビュー映像を生成し、所定条件に対応するデータ認識モデルを決定することができる。カメラアプリケーションは、ＯＳ、及び／または映像処理装置１０００の外部に位置する外部サーバに対して決定されたデータ認識モデル及び関心領域推定要請と係わる情報を伝送することができる。
【００３０】
ＯＳ及び／または外部のサーバは、それぞれ含まれたデータ認識モデルを利用し、関心領域を推定することができる。そのとき、ＯＳ及び／または外部のサーバが、推定された関心領域に焦点を合わせることができるが、それに限定されるものではない。
【００３１】
図２は、一実施形態による撮影部のブロック図である。本実施形態と係わる技術分野で当業者であるならば、図２に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということが分かるであろう。
【００３２】
撮影部１６１０は、入射光から電気的な信号の映像を生成する構成要素であり、レンズ１６１１、レンズ駆動部１６１２、絞り１６１３、絞り駆動部１６１４、撮像素子１６１５及び撮像素子制御部１６１６を含む。
【００３３】
レンズ１６１１は、複数グループのレンズを具備することができる。レンズ１６１１は、レンズ駆動部１６１２により、その位置が調節される。レンズ駆動部１６１２は、制御部１２００から提供された制御信号により、レンズ１６１１の位置を調節する。
絞り１６１３は、絞り駆動部１６１４により、その開閉程度が調節され、撮像素子１６１５に入射される光量を調節する。
【００３４】
レンズ１６１１及び絞り１６１３を通過した光学信号は、撮像素子１６１５の受光面に至り、被写体像を結像する。前記撮像素子１６１５は、光学信号を電気信号に変換するＣＣＤ（charge coupled device）イメージセンサまたはＣＩＳ（complementary metal oxide semiconductor image sensor）でもある。そのような撮像素子１６１５は、撮像素子制御部１６１６により、感度などが調節される。撮像素子制御部１６１６は、リアルタイムに入力される映像信号によって自動的に生成される制御信号、またはユーザの操作によって手動で入力される制御信号により、撮像素子１６１５を制御することができる。
【００３５】
撮像素子１６１５の露光時間は、シャッタ（図示せず）によって調節される。シャッタ（図示せず）は、スクリーンを移動させて光の入射を調節する機械式シャッタと、撮像素子１６１５に電気信号を供給し、露光を制御する電子式シャッタとがある。
【００３６】
アナログ信号処理部（図示せず）は、撮像素子１６１５から供給されたアナログ信号に対して、ノイズ低減処理、ゲイン調整、波形整形化、アナログ・デジタル変換処理などを行うことができる。アナログ信号処理部（図示せず）から出力された映像信号は、制御部１２００にも入力される。制御部１２００に入力された映像信号は、デジタル信号処理を介して、ライブビュー映像にもなる。
【００３７】
図３は、一実施形態による制御部の動作について説明するための図面である。
【００３８】
制御部１２００を構成する少なくとも１つのプロセッサは、撮影部１６１０から入力された映像信号に基づいて、ライブビュー映像を獲得することができる。制御部１２００を構成する少なくとも１つのプロセッサは、複数個のデータ認識モデルのうち、所定条件に対応するデータ認識モデルに基づき、データ認識モデルが学習した関心情報に該当するか否かということを判断する基準により、獲得されたライブビュー映像におけるユーザ関心領域を推定し、推定された関心領域に焦点を合わせることができる。
【００３９】
例えば、制御部１２００を構成する少なくとも１つのプロセッサは、第１条件を満足するとき、第１データ認識モデルが学習した突出（saliency）領域に該当するか否かということを判断する基準により、突出領域をユーザの関心領域と推定することができる。該突出領域は、映像において、浮き彫りになったり、特徴があったりするところと一般的に認識される領域を言い、被写体が映像で占める面積、または映像の色相分布についての所定基準によっても決定される。第１データ認識モデルは、突出領域に該当するか否かということを判断する基準について学習することができる。第１データ認識モデルは、撮影部１６１０で獲得されたライブビュー映像において、突出領域を決定するとき、学習した突出領域に該当するか否かということを判断する基準を利用することができる。
【００４０】
図４Ａ及び図４Ｂは、一実施形態による映像処理装置１０００において、突出領域をユーザの関心領域と推定し、焦点を合わせた例について説明するための図面である。
【００４１】
図４Ａを参照すれば、同じ品種の単一色の花畑を通り過ぎる人の形態または面積が、背景である花畑領域と比較し、異なる点が目立ち、黄色である花とは異なる色相の服を着ているために浮き彫りにされるので、映像処理装置１０００は、映像において、人に対応する領域を突出領域に該当すると判断し、映像内で人に対応する領域を関心領域と推定し、焦点を合わせることができる。
【００４２】
図４Ｂを参照すれば、長く続く道路と、森の中に、やはり長く続くフェンスとがある映像において、ぽつんと建てられた赤色の公衆電話ボックスに対応する領域を、映像処理装置１０００は、突出領域に該当すると判断し、映像内において、公衆電話ボックスに対応する領域を関心領域と推定し、焦点を合わせることができる。
【００４３】
制御部１２００を構成する少なくとも１つのプロセッサは、第２条件を満足するとき、第２データ認識モデルが学習した個人化された関心情報に該当するか否かということを判断する基準により、個人化された関心情報に対応する領域を、ユーザの関心領域と推定することができる。個人化された関心情報は、映像処理装置１０００に保存されたユーザの映像についての所定統計によっても決定される。第２データ認識モデルは、個人化された関心情報に該当するか否かということを判断する基準について学習することができる。第２データ認識モデルは、撮影部１６１０で獲得されたライブビュー映像において、個人化された関心情報に対応する領域を決定するとき、学習した個人化された関心情報に該当するか否かということを判断する基準を利用することができる。
【００４４】
図５Ａ及び図５Ｂは、一実施形態による映像処理装置１０００において個人化された関心情報に対応する領域を、ユーザの関心領域と推定し、焦点を合わせた例について説明するための図面である。
【００４５】
図５Ａを参照すれば、人と自動車とが含まれた映像において、映像処理装置１０００は、個人化された関心情報が自動車である場合、映像内において、自動車に対応する領域を関心領域と推定し、焦点を合わせることができる。すなわち、人と自動車とが含まれた映像において、人に焦点を合わせるのが一般的ではあるが、個人化された関心情報が自動車であると決定されている場合、自動車に対応する領域を、ユーザの関心領域と推定し、焦点を合わせることができる。
【００４６】
図５Ｂを参照すれば、何人かの乳児が含まれた映像において、映像処理装置１０００は、個人化された関心情報がユーザ自身の子である場合、映像内において、ユーザ自身の子に対応する領域を関心領域と推定し、焦点を合わせることができる。すなわち、何人かの乳児が含まれた映像において、全ての乳児、または最も近くにいる乳児に焦点を合わせるのが一般的ではあるが、個人化された関心情報が、ユーザ自身の子と決定されている場合、ユーザ自身の子に対応する領域を、ユーザの関心領域と推定し、焦点を合わせることができる。
【００４７】
一方、第２条件は、映像処理装置１０００に保存された映像の枚数が、所定枚数より多く、個人化された関心情報に対する信頼度が所定条件を満足する場合であり、第１条件は、第２条件を満足しない場合であるということを意味する。映像処理装置１０００に保存された映像の枚数が、所定枚数に達するほど多くないか、あるいは個人化された関心情報に対する信頼度が所定条件を満足しない場合、第２条件を満足しないと見なし、個人化された関心情報の正確度が下がるので、第１データ認識モデルを利用し、関心領域を推定する。
【００４８】
制御部１２００を構成する少なくとも１つのプロセッサは、関心情報の優先順位に基づき、優先順位が高い関心情報に対応する領域を、ユーザの関心領域と推定することができる。
【００４９】
制御部１２００を構成する少なくとも１つのプロセッサは、複数個の関心領域が推定された場合、複数個の関心領域のいずれについても、焦点を合わせる多重焦点を遂行することができる。また、制御部１２００を構成する少なくとも１つのプロセッサは、複数個の関心領域が推定された場合、複数個の関心領域のうち、ユーザが選択した関心領域に対して焦点を合わせることもできる。
【００５０】
制御部１２００を構成する少なくとも１つのプロセッサは、推定された関心領域に焦点を合わせるための制御信号を、撮影部１６１０に伝送することができる。
【００５１】
図６は、一実施形態による制御部１２００のブロック図である。
【００５２】
図６を参照すれば、一部実施形態による制御部１２００は、データ学習部１２１０及びデータ認識部１２２０を含んでもよい。
【００５３】
データ学習部１２１０は、データ認識モデル（例：図３の第１データ認識モデル、第２データ認識モデル）が、映像内において、ユーザの関心領域を推定するために、映像内のどの領域が関心情報に該当するかということを判断する判断基準を有するように学習することができる。データ学習部１２１０は、関心情報に該当するか否かということを判断するために、いかなるデータを利用するか、データを利用し、関心情報に該当するか否かということをいかように判断するかということについての判断基準を、データ認識モデルが有するように学習することができる。データ学習部１２１０は、学習に利用されるデータを獲得し、獲得されたデータをデータ認識モデルに適用することにより、映像内のどの領域が関心情報に該当するかということを判断する判断基準を学習することができる。
【００５４】
データ認識部１２２０は、多種のデータに基づいて、映像内のどの領域が関心情報に該当するかということを判断することができる。データ認識部１２２０は、データ認識モデルのうち、所定条件に対応して学習されたデータ認識モデルを利用し、映像内のどの領域が関心情報に該当するかということを判断することができる。データ認識部１２２０は、データ認識モデル別に、学習によって獲得した基準により、少なくとも１つの被写体を含むライブビュー映像を入力値にし、データ認識モデルを適用することにより、映像内のどの領域が関心情報に該当するかということを判断することができる。一方、データ認識モデルを適用し、映像内のどの領域が関心情報に該当するかということを判断し、ユーザの関心領域を推定した結果、及び推定結果に対するユーザの応答は、データ認識モデル更新にも利用される。
【００５５】
データ学習部１２１０及びデータ認識部１２２０のうち少なくとも一つは、少なくとも１つのハードウェアチップ状に作製され、映像処理装置にも搭載される。例えば、データ学習部１２１０及びデータ認識部１２２０のうち少なくとも一つは、人工知能（ＡＩ）のための専用ハードウェアチップ状にも作製され、または既存の汎用プロセッサ（例：ＣＰＵまたはアプリケーションプロセッサ）またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部として作製され、前述の各種映像処理装置にも搭載される。
【００５６】
その場合、データ学習部１２１０及びデータ認識部１２２０は、１つの映像処理装置にも搭載され、または別個の映像処理装置にもそれぞれ搭載される。例えば、データ学習部１２１０及びデータ認識部１２２０のうち一つは、映像処理装置に含まれ、残り一つは、サーバに含まれてもよい。また、データ学習部１２１０及びデータ認識部１２２０は、有線または無線で通じ、データ学習部１２１０が構築したモデル情報を、データ認識部１２２０に提供することもでき、データ認識部１２２０に入力されたデータが、追加学習データとして、データ学習部１２１０にも提供される。
【００５７】
一方、データ学習部１２１０及びデータ認識部１２２０のうち少なくとも一つは、ソフトウェアモジュールによっても具現される。データ学習部１２１０及びデータ認識部１２２０のうち少なくとも一つが、ソフトウェアモジュール（または、インストラクション（instruction）含むプログラムモジュール）によって具現される場合、該ソフトウェアモジュールは、コンピュータで読み取り可能な非一時的可読記録媒体（non-transitory computer readable media）にも保存される。また、その場合、少なくとも１つのソフトウェアモジュールは、ＯＳによって提供されるか、あるいは所定アプリケーションによっても提供される。または、少なくとも１つのソフトウェアモジュールのうち一部は、ＯＳによって提供され、残り一部は、所定アプリケーションによっても提供されることができる。
【００５８】
図７は、一実施形態によるデータ学習部１２１０のブロック図である。
【００５９】
図７を参照すれば、一部実施形態によるデータ学習部１２１０は、データ獲得部１２１０−１、前処理部１２１０−２、学習データ選択部１２１０−３、モデル学習部１２１０−４及びモデル評価部１２１０−５を含んでもよい。
【００６０】
データ獲得部１２１０−１は、データ認識モデル（例：図３の第１データ認識モデル、第２データ認識モデル）が、映像内のどの領域が関心情報に該当するかということを判断する判断基準を有するように学習するために必要なデータを獲得することができる。データ獲得部１２１０−１は、映像内のどの領域が関心情報に該当するかということを判断するための学習のために必要なデータを獲得することができる。
【００６１】
例えば、データ獲得部１２１０−１は、映像データ、例えば、イメージ、動画などを獲得することができる。データ獲得部１２１０−１は、映像処理装置１０００から直接入力されたデータや、選択されたデータなどを獲得することができる。また、データ獲得部１２１０−１は、映像処理装置１０００において、多様なセンサを利用して感知される多様なセンシング情報を獲得することができる。また、データ獲得部１２１０−１は、映像処理装置１０００と通信する外部サーバ２０００のような外部装置から受信されたデータを獲得することができる。
【００６２】
データ獲得部１２１０−１は、ユーザから入力されたデータ、映像処理装置１０００で撮影されたり、既保存であったりするデータ、またはサーバのような外部装置から受信されたデータなどを獲得することができるが、それらに制限されるものではない。
【００６３】
前処理部１２１０−２は、データ認識モデルが、映像内のどの領域が関心情報に該当するかということを判断するための学習に獲得されたデータが利用されるように、獲得されたデータを前処理することができる。前処理部１２１０−２は、後述するモデル学習部１２１０−４が、状況判断のための学習のために獲得されたデータを利用するように、獲得されたデータを既設定のフォーマットに加工することができる。
【００６４】
例えば、前処理部１２１０−２は、データ獲得部１２１０−１で獲得したイメージ、動画などのデータに対して、意味あるデータを選別するようにノイズを除去したり、所定形態に加工したりすることができる。
【００６５】
学習データ選択部１２１０−３は、データ認識モデルが、前処理されたデータのうち映像内のどの領域が関心情報に該当するかということを判断するための学習に必要なデータを選択することができる。該選択されたデータは、モデル学習部１２１０−４にも提供される。学習データ選択部１２１０−３は、映像内のどの領域が関心情報に該当するかということを判断するための既設定の判断基準により、前処理されたデータのうち映像内のどの領域が関心情報に該当するかということを判断するための学習に必要なデータを選択することができる。また、学習データ選択部１２１０−３は、後述するモデル学習部１２１０−４による学習により、既設定の選別基準によってデータを選択することもできる。
【００６６】
学習データ選択部１２１０−３は、イメージ、動画などのそれぞれのデータ形態ごとに、データ選択のための選別基準を有することができ、そのような選別基準を利用し、学習に必要なデータを選択することができる。
【００６７】
学習データ選択部１２１０−３は、データ認識モデルが、映像内のどの領域が関心情報に該当するかということを学習するための学習に必要なデータを選択することができる。
【００６８】
モデル学習部１２１０−４は、データ認識モデルが学習データに基づいて、映像内のどの領域が関心情報に該当するかということを判断する判断基準を有するように学習することができる。また、モデル学習部１２１０−４は、データ認識モデルが映像内のどの領域が関心情報に該当するかということを判断するために、いかなる学習データを利用しなければならないかということに係わる選別基準を学習することもできる。
【００６９】
モデル学習部１２１０−４は、データ認識モデルが、映像内のどの領域が関心情報に該当するかということをいかように判断するかということを学習することができる。例えば、モデル学習部１２１０−４は、第１データ認識モデルが映像内のどの領域が突出領域に該当するかということをいかように判断するかということを学習することができる。また、モデル学習部１２１０−４は、第２データ認識モデルが、映像内のどの領域が個人化された関心情報に該当するかということをいかように判断するかということを学習することができる。
【００７０】
また、モデル学習部１２１０−４は、映像内のどの領域が関心情報に該当するかということを判断するのに利用されるデータ認識モデルを、学習データを利用して学習させることができる。その場合、データ認識モデルは、あらかじめ構築されたモデルでもある。例えば、データ認識モデルは、基本学習データ（例えば、サンプルテキストなど）を入力され、あらかじめ構築されたモデルでもある。
【００７１】
モデル学習部１２１０−４は、例えば、学習データを入力値にする指導学習（supervised learning）を介して、データ認識モデルを学習させることができる。また、モデル学習部１２１０−４は、例えば、何の指導もなしに、映像内のどの領域が関心情報に該当するかということを判断するために必要なデータの種類を自ら学習することにより、映像内のどの領域が関心情報に該当するかということを判断するための基準を見い出す非指導学習（unsupervised learning）を介して、データ認識モデルを学習させることができる。または、モデル学習部１２１０−４は、例えば、学習による映像内のどの領域が関心情報に該当するかということを判断した結果が、正しいか否かということとに係わるフィードバックを利用する強化学習（reinforcement learning）を介して、データ認識モデルを学習させることができる。
【００７２】
一実施形態によれば、モデル学習部１２１０−４は、第１データ認識モデルが、映像、及び映像に含まれた色または形態のうち少なくとも一つが、周辺と違いがある領域の座標情報などを含む学習データを利用し、関心領域を推定する判断基準を有するように学習することができる。
【００７３】
例えば、モデル学習部１２１０−４は、図４Ａのような映像と、映像内に含まれた人の形態が位置した領域の座標情報とを含む学習データを利用する指導学習方法を利用して学習を進めることができる。
【００７４】
それにより、モデル学習部１２１０−４によって学習された第１データ認識モデルは、映像撮影装置１０００が生成したライブビュー映像に含まれた客体を認識し、認識された客体のうち、周辺領域と色相及び／または形態が異なる客体が位置した領域を、関心領域と推定することができる。
【００７５】
また、一実施形態によれば、モデル学習部１２１０−４は、第２データ認識モデルが、ユーザが映像撮影装置１０００を利用して撮影した映像を利用して関心領域を推定する判断基準を有するように学習することができる。
【００７６】
例えば、モデル学習部１２１０−４は、非指導学習方法を利用し、図５Ａのようなユーザが撮影した映像を入力され、関心領域を推定する判断基準を有するように学習することができる。
【００７７】
具体的には、モデル学習部１２１０−４は、ユーザが撮影した映像において、客体を認識することができる。例えば、モデル学習部１２１０−４は、ギャラリアプリケーションに保存されたユーザによって撮影された多数映像に対してそれぞれ客体を認識することができる。モデル学習部１２１０−４は、認識された客体の形態により、類似した形態の客体をグループ別に区分することができる。または、モデル学習部１２１０−４は、認識された客体の頻度数により、生成されたグループの順位を選定することができる。従って、モデル学習部１２１０−４は、映像撮影装置１０００のユーザが主に撮影し、多く撮影する客体を利用して学習することができる。
【００７８】
それにより、モデル学習部１２１０−４によって学習された第２データ認識モデルは、映像撮影装置１０００が生成したライブビュー映像に含まれた客体のうち、映像撮影装置１０００のユーザ選好度の高い客体が位置した領域を関心領域と推定することができる。すなわち、第２データ認識モデルは、映像撮影装置１０００を使用するユーザの選好度に合わせられた関心領域を推定することができる。
【００７９】
多様な実施形態によれば、映像処理装置１０００は、第２データ認識モデルのうち、ユーザの選好度が高い一部客体のみを推定するように学習された第４データ認識モデルを生成することができる。例えば、モデル学習部１２１０−４は、ユーザが撮影した映像を学習した結果、Ａグループ、Ｂグループ、Ｃグループ、Ｄグループを生成することができる。そのとき、映像処理装置１０００は、ユーザが撮影した映像で検出された客体のうち、頻度数が最も高いＡグループに属した客体のみを検出することができる第４データ認識モデルを生成することができる。その場合、映像処理装置１０００は、与えられた状況により、第２データ認識モデルと第４データ認識モデルとを選択的または順次に使用することができる。
【００８０】
データ認識モデルは、認識モデルの適用分野、学習の目的、または装置のコンピュータ性能などを考慮しても構築される。該データ認識モデルは、例えば、神経網（neural network）を基盤とするモデルでもある。例えば、ＤＮＮ（deep neural network）、ＲＮＮ（recurrent neural network）、ＢＲＤＮＮ（bidirectional recurrent deep neural network）のようなモデルが、データ認識モデルとしても使用されるが、それらに限定されるものではない。
【００８１】
多様な実施形態によれば、モデル学習部１２１０−４は、あらかじめ構築されたデータ認識モデルが複数個存在する場合、入力された学習データと基本学習データとの関連性が大きいデータ認識モデルを、学習するデータ認識モデルに決定することができる。その場合、該基本学習データは、データのタイプ別に既分類のものでもあり、該データ認識モデルは、データのタイプ別に事前に構築されてもある。例えば、該基本学習データは、学習データが生成された地域、学習データが生成された時間、学習データの大きさ、学習データのジャンル、学習データの生成者、学習データ内のオブジェクトの種類のような多様な基準でもって既分類のものでもある。
【００８２】
また、モデル学習部１２１０−４は、例えば、エラー逆伝播法（error back-propagation）または傾斜下降法（gradient descent）を含む学習アルゴリズムなどを利用し、データ認識モデルを学習させることができる。
【００８３】
また、データ認識モデルが学習されれば、モデル学習部１２１０−４は、学習されたデータ認識モデルを保存することができる。その場合、モデル学習部１２１０−４は、学習されたデータ認識モデルを、データ認識部１２２０を含む映像処理装置のメモリに保存することができる。または、モデル学習部１２１０−４は、学習されたデータ認識モデルを、映像処理装置と有線ネットワークまたは無線ネットワークに連結されるサーバのメモリに保存することもできる。
【００８４】
その場合、学習されたデータ認識モデルが保存されるメモリは、例えば、映像処理装置の少なくとも１つの他の構成要素に係わる命令またはデータを共に保存することもできる。また、該メモリは、ソフトウェア及び／またはプログラムを保存することもできる。該プログラムは、例えば、カーネル、ミドルウェア、アプリケーションプログラミングインターフェース（ＡＰＩ）及び／またはアプリケーションプログラム（または、「アプリケーション」）などを含んでもよい。
【００８５】
モデル評価部１２１０−５は、データ認識モデルに評価データを入力し、評価データから出力される認識結果が所定基準を満足することができない場合、モデル学習部１２１０−４をして、さらに学習させる。その場合、該評価データは、データ認識モデルを評価するための既設定のデータでもある。
【００８６】
例えば、モデル評価部１２１０−５は、評価データに係わる学習されたデータ認識モデルの認識結果のうち、該認識結果が正確ではない評価データの個数または比率が、事前に設定された臨界値を超える場合、所定基準を満足することができなかったと評価することができる。例えば、所定基準が比率２％に定義される場合、学習されたデータ認識モデルが、総１，０００個の評価データのうち２０個を超える評価データについて誤った認識結果を出力する場合、モデル評価部１２１０−５は、学習されたデータ認識モデルが適切ではないと評価することができる。
【００８７】
一方、学習されたデータ認識モデルが複数個存在する場合、モデル評価部１２１０−５は、それぞれの学習されたデータ認識モデルについて、所定基準を満足するか否かということを評価し、所定基準を満足するモデルを、最終データ認識モデルとして決定することができる。その場合、所定基準を満足するモデルが複数個である場合、モデル評価部１２１０−５は、評価点数が高い順に、事前に設定されたいずれか一つ、または所定個数のモデルを、最終データ認識モデルとして決定することができる。
【００８８】
多様な実施形態によれば、データ学習部１２１０は、データ獲得部１２１０−１及びモデル学習部１２１０−４を含み、前処理部１２１０−２、学習データ選択部１２１０−３及びモデル評価部１２１０−５は、選別的に含んでもよい。
【００８９】
一方、データ学習部１２１０内のデータ獲得部１２１０−１、前処理部１２１０−２、学習データ選択部１２１０−３、モデル学習部１２１０−４及びモデル評価部１２１０−５のうち少なくとも一つは、少なくとも１つのハードウェアチップ状に作製され、映像処理装置にも搭載される。例えば、データ獲得部１２１０−１、前処理部１２１０−２、学習データ選択部１２１０−３、モデル学習部１２１０−４及びモデル評価部１２１０−５のうち少なくとも一つは、人工知能（ＡＩ）のための専用ハードウェアチップ状にも作製され、または既存の汎用プロセッサ（例：ＣＰＵまたはアプリケーションプロセッサ）またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部として作製され、前述の各種映像処理装置にも搭載される。
【００９０】
また、データ獲得部１２１０−１、前処理部１２１０−２、学習データ選択部１２１０−３、モデル学習部１２１０−４及びモデル評価部１２１０−５は、１つの映像処理装置にも搭載され、または別個の映像処理装置にもそれぞれ搭載される。例えば、データ獲得部１２１０−１、前処理部１２１０−２、学習データ選択部１２１０−３、モデル学習部１２１０−４及びモデル評価部１２１０−５のうち一部は、映像処理装置に含まれ、残り一部は、サーバに含まれてもよい。
【００９１】
また、データ獲得部１２１０−１、前処理部１２１０−２、学習データ選択部１２１０−３、モデル学習部１２１０−４及びモデル評価部１２１０−５のうち少なくとも一つは、ソフトウェアモジュールとしても具現される。データ獲得部１２１０−１、前処理部１２１０−２、学習データ選択部１２１０−３、モデル学習部１２１０−４及びモデル評価部１２１０−５のうち少なくとも一つが、ソフトウェアモジュール（または、インストラクションを含むプログラムモジュール）として具現される場合、該ソフトウェアモジュールは、コンピュータで読み取り可能な非一時的可読記録媒体にも保存される。また、その場合、少なくとも１つのソフトウェアモジュールは、ＯＳによっても提供されるか、あるいは所定アプリケーションによっても提供される。または、少なくとも１つのソフトウェアモジュールのうち一部は、ＯＳによっても提供され、残り一部は、所定アプリケーションによっても提供される。
図８は、一実施形態によるデータ認識部１２２０のブロック図である。
【００９２】
図８を参照すれば、一部実施形態によるデータ認識部１２２０は、データ獲得部１２２０−１、前処理部１２２０−２、認識データ選択部１２２０−３、認識結果提供部１２２０−４及びモデル更新部１２２０−５を含んでもよい。
【００９３】
データ認識部１２２０は、複数個の学習されたデータ認識モデルのうち、所定条件に対応するデータ認識モデルを利用し、データ認識モデルが学習した関心情報に該当するか否かということを判断する判断基準により、映像内のどの領域が関心情報に該当するかということを判断することができる。
【００９４】
データ獲得部１２２０−１は、データ認識モデルが映像内のどの領域が関心情報に該当するかということを判断するために必要な多種のデータを獲得することができる。例えば、データ獲得部１２２０−１は、イメージ、動画のような映像データを獲得することができる。例えば、データ獲得部１２２０−１は、映像処理装置１０００から直接入力されたデータや、選択されたデータなどを獲得したり、映像処理装置１０００において、多様なセンサを利用して感知される多様なセンシング情報を獲得したりすることができる。また、データ獲得部１２２０−１は、映像処理装置１０００と通信する外部サーバ２０００のような外部装置から受信されたデータを獲得することができる。
【００９５】
前処理部１２２０−２は、データ認識モデルが、映像内のどの領域が関心情報に該当するかということを判断するために獲得されたデータが利用されるように、獲得されたデータを前処理することができる。前処理部１２２０−２は、後述する認識結果提供部１２２０−４が、映像内のどの領域が関心情報に該当するかということを判断するために獲得されたデータを利用するように、獲得されたデータを、既設定のフォーマットに加工することができる。
【００９６】
例えば、前処理部１２２０−２は、データ獲得部１２２０−１で獲得したイメージ、動画などの映像データに対して、意味あるデータを選別するようにノイズを除去したり、所定形態に加工したりすることができる。
【００９７】
認識データ選択部１２２０−３は、前処理されたデータのうち、データ認識モデルが映像内のどの領域が関心情報に該当するかということを判断するのに必要なデータを選択することができる。選択されたデータは、認識結果提供部１２２０−４にも提供される。認識データ選択部１２２０−３は、映像内のどの領域が関心情報に該当するかということを判断するための既設定の判断基準により、前処理されたデータのうち一部または全部を選択することができる。また、認識データ選択部１２２０−３は、後述するモデル学習部１２１０−４による学習により、既設定の選別基準により、データを選択することもできる。
【００９８】
認識結果提供部１２２０−４は、選択されたデータをデータ認識モデルに適用し、映像内のどの領域が関心情報に該当するかということを判断することができる。認識結果提供部１２２０−４は、データの認識目的により、映像内の関心情報に対応する領域を提供することができる。認識結果提供部１２２０−４は、認識データ選択部１２２０−３によって選択されたデータを入力値として利用することにより、選択されたデータをデータ認識モデルに適用することができる。また、認識結果は、データ認識モデルによっても決定される。認識結果提供部１２２０−４は、複数個のデータ認識モデルのうち、所定条件に対応するデータ認識モデルに基づいて、映像内のどの領域が関心情報に該当するかということを判断することができる。
【００９９】
認識結果提供部１２２０−４は、第１条件を満足するとき、第１データ認識モデルが学習した突出領域に該当するか否かということを判断する基準により、該突出領域を、ユーザの関心領域と推定することができる。第１データ認識モデルは、撮影部１６１０で獲得されたライブビュー映像で突出領域を決定するとき、学習した突出領域に該当するか否かということを判断する基準を利用することができる。
【０１００】
例えば、認識結果提供部１２２０−４は、映像処理装置１０００が第１条件を満足するとき、第１データ認識モデルを利用し、図４Ｂのような入力映像において、電話ブースを検出し、電話ブースがある領域を関心領域として推定することができる。
【０１０１】
認識結果提供部１２２０−４は、第２条件を満足するとき、第２データ認識モデルが学習した個人化された関心情報に該当するか否かということを判断する基準により、個人化された関心情報に対応する領域を、ユーザの関心領域と推定することができる。第２データ認識モデルは、撮影部１６１０で獲得されたライブビュー映像において、個人化された関心情報に対応する領域を決定するとき、学習した個人化された関心情報に該当するか否かということを判断する基準を利用することができる。
【０１０２】
例えば、認識結果提供部１２２０−４は、映像処理装置１０００が第２条件を満足するとき、第２データ認識モデルを利用し、図５Ｂのような入力映像において、子供の顔を検出し、子供の顔がある領域を関心領域と推定することができる。
【０１０３】
また、モデル学習部（例：図７のモデル学習部１２１０−４）がユーザが撮影した映像を学習した結果、自動車と類似した形状の含まれた映像が最も高さ頻度数である場合、認識結果提供部１２２０−４は、第４データ認識モデルを利用し、図５Ａのような入力映像において、自動車と類似した形状を検出し、自動車と類似した形状がある領域を関心領域と推定することができる。
【０１０４】
すなわち、ユーザが映像処理装置１０００を購入した初期、第２条件を満足することができない場合、映像処理装置１０００は、第１データ認識モデルを利用し、関心領域を推定することができる。そして、映像処理装置１０００に撮影された映像の数が増加し、第２条件を満足する場合、映像処理装置１０００は、第２データ認識モデル及び／または第４データ認識モデルを利用し、関心領域を推定することができる。
【０１０５】
モデル更新部１２２０−５は、認識結果提供部１２２０−４によって提供される認識結果に対する評価に基づき、データ認識モデルが更新されるようにする。例えば、モデル更新部１２２０−５は、認識結果提供部１２２０−４によって提供される映像内のどの領域が関心情報に該当するかということを判断した結果を、モデル学習部１２１０−４に提供することにより、モデル学習部１２１０−４をして、データ認識モデルを更新させる。
【０１０６】
多様な実施形態によれば、データ認識部１２２０は、データ獲得部１２２０−１及び認識結果提供部１２２０−４を含み、前処理部１２３０−２、認識データ選択部１２２０−３及びモデル更新部１２２０−５は、選別的に含んでもよい。
【０１０７】
一方、データ認識部１２２０内のデータ獲得部１２２０−１、前処理部１２２０−２、認識データ選択部１２２０−３、認識結果提供部１２２０−４及びモデル更新部１２２０−５のうち少なくとも一つは、少なくとも１つのハードウェアチップ状に作製され、映像処理装置にも搭載される。例えば、データ獲得部１２２０−１、前処理部１２２０−２、認識データ選択部１２２０−３、認識結果提供部１２２０−４及びモデル更新部１２２０−５のうち少なくとも一つは、人工知能（ＡＩ）のための専用ハードウェアチップ状にも作製され、または既存の汎用プロセッサ（例：ＣＰＵまたはアプリケーションプロセッサ）またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部としても作製され、前述の各種映像処理装置にも搭載される。
【０１０８】
また、データ獲得部１２２０−１、前処理部１２２０−２、認識データ選択部１２２０−３、認識結果提供部１２２０−４及びモデル更新部１２２０−５は、１つの映像処理装置にも搭載され、または別個の映像処理装置にもそれぞれ搭載される。例えば、データ獲得部１２２０−１、前処理部１２２０−２、認識データ選択部１２２０−３、認識結果提供部１２２０−４及びモデル更新部１２２０−５のうち一部は、映像処理装置に含まれ、残り一部は、サーバに含まれてもよい。
【０１０９】
また、データ獲得部１２２０−１、前処理部１２２０−２、認識データ選択部１２２０−３、認識結果提供部１２２０−４及びモデル更新部１２２０−５のうち少なくとも一つは、ソフトウェアモジュールとしても具現される。データ獲得部１２２０−１、前処理部１２２０−２、認識データ選択部１２２０−３、認識結果提供部１２２０−４及びモデル更新部１２２０−５のうち少なくとも一つが、ソフトウェアモジュール（または、インストラクション含むプログラムモジュール）として具現される場合、該ソフトウェアモジュールは、コンピュータで読み取り可能な非一時的可読記録媒体にも保存される。また、その場合、少なくとも１つのソフトウェアモジュールは、ＯＳによって提供されるか、あるいは所定アプリケーションによっても提供される。または、少なくとも１つのソフトウェアモジュールのうち一部は、ＯＳによっても提供され、残り一部は、所定アプリケーションによっても提供される。
【０１１０】
図９は、他の一実施形態による映像処理装置について説明するためのブロック図である。本実施形態と係わる技術分野で当業者であるならば、図９に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということが分かるであろう。図１で説明された構成要素については、重複説明を省略する。
【０１１１】
外部サーバ２０００は、ユーザが撮影した映像を所定基準によって分類し、分類された映像によって第３データ認識モデルを学習させ、個人化された関心情報に該当するか否かということを判断する判断基準を獲得することができる。
【０１１２】
一実施形態によれば、第３データ認識モデルは、第２データ認識モデルと類似した方式によって学習され、ユーザに合わせられた関心情報を判断する判断基準を獲得することができる。
【０１１３】
映像処理装置１０００は、外部サーバ２０００に保存されたユーザの映像を利用し、第３データ認識モデルが、学習した個人化された関心情報に該当するか否かということを判断する判断基準を外部サーバ２０００から受信する通信部１５００をさらに含んでもよい。
【０１１４】
制御部１２００を構成する少なくとも１つのプロセッサは、映像処理装置１０００に設けられたデータ認識モデルが、外部サーバ２０００から受信した個人化された関心情報に該当するか否かということを判断する基準により、個人化された関心情報に対応する領域を、ライブビュー映像において、ユーザの関心領域と推定することができる。
【０１１５】
一方、映像処理装置１０００は、映像処理装置１０００で獲得したライブビュー映像を、通信部１５００を介して、外部サーバ２０００に伝送することができる。外部サーバ２０００は、第３データ認識モデルが、学習した個人化された関心情報に該当するか否かということを判断する基準により、映像処理装置１０００から伝送されたライブビュー映像において、個人化された関心情報に対応する領域を、ユーザの関心領域と推定し、推定された関心領域に係わる情報を映像処理装置１０００にも伝送する。
図１０は、一部実施形態による映像処理装置１０００及び外部サーバ２０００が互いに連動することにより、データを学習して認識する例示を示す図面である。
【０１１６】
図１０を参照すれば、外部サーバ２０００は、映像内のどの領域が関心情報に該当するかということを判断するための基準を学習することができ、映像処理装置１０００は、外部サーバ２０００で学習されたデータ認識モデルを利用し、映像内のどの領域が関心情報に該当するかということを判断することができる。
【０１１７】
その場合、外部サーバ２０００のデータ学習部２２１０は、図７に図示されたデータ学習部１２１０の機能を遂行することができる。外部サーバ２０００のデータ学習部２２１０は、映像内のどの領域が関心情報に該当するかということを判断するために、いかなるデータを利用するか、データを利用し、映像内のどの領域が関心情報に該当するかということをいかように判断するかということについての判断基準を学習することができる。外部サーバ２０００のデータ学習部２２１０は、学習に利用されるデータを獲得し、獲得されたデータを、後述するデータ認識モデルに適用することにより、映像内のどの領域が関心情報に該当するかということを判断するための判断基準を学習することができる。
【０１１８】
また、映像処理装置１０００の認識結果、提供部１２２０−４は、認識データ選択部１２２０−３によって選択されたデータを、外部サーバ２０００によって生成されたデータ認識モデルに適用し、映像内のどの領域が関心情報に該当するかということを判断することができる。例えば、認識結果提供部１２２０−４は、認識データ選択部１２２０−３によって選択されたデータを、外部サーバ２０００に伝送し、外部サーバ２０００が、認識データ選択部１２２０−３によって選択されたデータを、データ認識モデルに適用し、映像内のどの領域が関心情報に該当するかということを判断することを要請することができる。また、認識結果提供部１２２０−４は、外部サーバ２０００によって判断された映像内の関心情報に対応する領域を、外部サーバ２０００から受信することができる。
【０１１９】
例えば、映像処理装置１０００は、映像処理装置１０００で獲得されたライブビュー映像を、外部サーバ２０００に伝送することができる。外部サーバ２０００は、映像処理装置１０００から受信されたライブビュー映像を、外部サーバ２０００に保存されたデータ認識モデルに適用させることにより、映像内のどの領域が関心情報に該当するかということを判断することができる。外部サーバ２０００は、外部サーバ２０００に保存されたユーザの映像をさらに反映させ、映像内のどの領域が関心情報に該当するかということを判断することができる。外部サーバ２０００で判断された映像内の関心情報に対応する領域は、映像処理装置１０００にも伝送される。
【０１２０】
または、映像処理装置１０００の認識結果提供部１３２０−４は、外部サーバ２０００によって生成されたデータ認識モデルを外部サーバ２０００から受信し、受信されたデータ認識モデルを利用し、映像内のどの領域が関心情報に該当するかということを判断することができる。その場合、映像処理装置１０００の認識結果提供部１２２０−４は、認識データ選択部１２２０−３によって選択されたデータを、外部サーバ２０００から受信されたデータ認識モデルに適用し、映像内のどの領域が関心情報に該当するかということを判断することができる。
【０１２１】
例えば、映像処理装置１０００は、映像処理装置１０００で獲得されたライブビュー映像を、外部サーバ２０００から受信されたデータ認識モデルに適用させることにより、映像内のどの領域が関心情報に該当するかということを判断することができる。外部サーバ２０００は、外部サーバ２０００に保存されたユーザの映像を、映像処理装置１０００に伝送し、映像処理装置１０００が、映像内のどの領域が関心情報に該当するかということを判断するときにさらに利用することができるようにする。
【０１２２】
図１１は、他の一実施形態による映像処理装置１０００について説明するためのブロック図である。
【０１２３】
図１１に図示されているように、他の一実施形態による映像処理装置１０００は、メモリ１１００、制御部１２００、入出力部１３００、センシング部１４００、通信部１５００及びＡ／Ｖ（audio/video）入力部１６００を含んでもよい。
【０１２４】
メモリ１１００は、制御部１２００の処理及び制御のためのプログラムを保存することができ、映像処理装置１０００に入力されるか、あるいは映像処理装置１０００から出力されるデータを保存することもできる。メモリ１１００は、コンピュータ実行可能命令語を保存することができる。
【０１２５】
メモリ１１００は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＳＤメモリまたはＸＤメモリなど）、ＲＡＭ（random access memory）、ＳＲＡＭ（static random access memory）、ＲＯＭ（read-only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、ＰＲＯＭ（programmable read-only memory）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも１つのタイプの記録媒体を含んでもよい。
【０１２６】
メモリ１１００に保存されたプログラムは、その機能により、複数個のモジュールに分類することができるが、例えば、ＵＩ（user interface）モジュール、タッチスクリーンモジュール、お知らせモジュールなどにも分類される。
【０１２７】
ＵＩモジュールは、アプリケーション別に、映像処理装置１０００と連動される特化されたＵＩ、ＧＵＩ（graphic user interface）などを提供することができる。タッチスクリーンモジュールは、ユーザのタッチスクリーン上のタッチジェスチャを感知し、タッチジェスチャについての情報を制御部１２００に伝達することができる。一部実施形態によるタッチスクリーンモジュールは、タッチコードを認識して分析することができる。該タッチスクリーンモジュールは、別途のハードウェアによっても構成される。ユーザのタッチジェスチャには、タップ、タッチ＆ホールド、ダブルタップ、ドラッグ、パンニング、フリック、ドラッグアンドドロップ、スワイプなどがある。お知らせモジュールは、映像処理装置１０００のイベント発生を知らせるための信号を発生させることができる。映像処理装置１０００で生じるイベントの例としては、メッセージ受信、キー信号入力、コンテンツ入力、コンテンツ伝送、所定条件に該当するコンテンツ検出などがある。お知らせモジュールは、ディスプレイ部１３２２を介して、ビデオ信号形態でお知らせ信号を出力することもでき、音響出力部１３２４を介して、オーディオ信号形態でお知らせ信号を出力することもでき、振動モータ１３２６を介して、振動信号形態でお知らせ信号を出力することもできる。
【０１２８】
制御部１２００は、一般的に、映像処理装置１０００の全般的な動作を制御する。例えば、制御部１２００は、メモリ１１００に保存されたプログラムを実行することにより、入出力部１３００、センシング部１４００、通信部１５００、Ａ／Ｖ入力部１６００などを全般的に制御することができる。
【０１２９】
具体的には、制御部１２００は、少なくとも１つのプロセッサを具備することができる。制御部１２００は、その機能及び役割により、複数のプロセッサを含むか、あるいは統合された形態の１つのプロセッサを含んでもよい。
【０１３０】
制御部１２００を構成する少なくとも１つのプロセッサは、メモリ１１００に保存されたコンピュータ実行可能命令語を実行することにより、データ認識モデルのうち、所定条件に対応するデータ認識モデルに基づき、データ認識モデルが学習した関心情報に該当するか否かということを判断する基準により、獲得されたライブビュー映像におけるユーザ関心領域を推定し、推定された関心領域に焦点を合わせることができる。
【０１３１】
制御部１２００を構成する少なくとも１つのプロセッサは、第１条件を満足するとき、第１データ認識モデルが学習した突出領域に該当するか否かということを判断する基準により、該突出領域を、ユーザの関心領域と推定し、第２条件を満足するとき、第２データ認識モデルが学習した個人化された関心情報に該当するか否かということを判断する基準により、個人化された関心情報に対応する領域を、ユーザの関心領域と推定することができる。
学習されたデータ認識モデルは、映像処理装置１０００外部のサーバに保存されており、映像処理装置１０００の要請により、サーバから受信される。
【０１３２】
入出力部１３００は、ユーザ入力部１３１０と出力部１３２０とを含んでもよい。入出力部１３００は、ユーザ入力部１３１０と出力部１３２０とが分離された形態であるか、あるいはタッチスクリーンと共に統合された１つの形態でもある。
入出力部１３００は、推定された関心領域に焦点を合わせたライブビュー映像をディスプレイすることができる。
【０１３３】
ユーザ入力部１３１０は、ユーザが映像処理装置１０００を制御するためのデータを入力する手段を意味する。ユーザ入力部１３１０は、ユーザから縮約語を入力され、ユーザから縮約語に対応する文章を選択される。
【０１３４】
ユーザ入力部１３１０は、キーパッド（key pad）１３１２、タッチパネル１３１４（接触式静電容量方式、圧力式抵抗膜方式、赤外線感知方式、表面超音波伝導方式、積分式張力測定方式、ピエゾ効果方式など）、ペン認識パネル１３１６などにもなる。それだけではなく、ユーザ入力部１３１０は、ジョグホイール、ジョグスイッチなどがあるが、それらに限定されるものではない。
【０１３５】
出力部１３２０は、映像処理装置１０００でアプリケーションが実行された結果を出力することができる。出力部１３２０は、映像処理装置１０００の動作結果を出力することができ、ユーザ入力がある場合、ユーザの入力によって変更された結果を出力することができる。
【０１３６】
出力部１３２０は、オーディオ信号、ビデオ信号または振動信号を出力することができ、出力部１３２０は、ディスプレイ部１３２２、音響出力部１３２４及び振動モータ１３２６を含んでもよい。
【０１３７】
ディスプレイ部１３２２は、映像処理装置１０００で処理される情報をディスプレイする。例えば、ディスプレイ部１３２２は、カメラアプリケーションの実行画面をディスプレイしたり、ユーザの操作を入力されるためのユーザインターフェースをディスプレイしたりすることができる。
【０１３８】
一方、ディスプレイ部１３２２とタッチパッドとがレイヤ構造をなし、タッチスクリーンとして構成される場合、ディスプレイ部１３２２は、出力装置以外に、入力装置としても使用される。ディスプレイ部１３２２は、液晶ディスプレイ（liquid crystal display）、薄膜トランジスタ液晶ディスプレイ（thin film transistor-liquid crystal display）、有機発光ダイオード（organic light-emitting diode）、フレキシブルディスプレイ（flexible display）、三次元ディスプレイ（３Ｄ display）、電気泳動ディスプレイ（electrophoretic display）のうち少なくとも一つを含んでもよい。そして、映像処理装置１０００の具現形態により、映像処理装置１０００は、ディスプレイ部１３２２を２個以上含んでもよい。そのとき、２個以上のディスプレイ部１３２２は、ヒンジ（hinge）を利用し、対向するようにも配置される。
【０１３９】
音響出力部１３２４は、通信部１５００から受信されるか、あるいはメモリ１１００に保存されたオーディオデータを出力する。また、音響出力部１３２４は、映像処理装置１０００で遂行される機能（例えば、コール信号受信音、メッセージ受信音、お知らせ音）と係わる音響信号を出力する。そのような音響出力部１３２４には、スピーカ、ブザーなどが含まれてもよい。
【０１４０】
振動モータ１３２６は、振動信号を出力することができる。例えば、振動モータ１３２６は、オーディオデータまたはビデオデータ（例えば、コール信号受信音、メッセージ受信音など）の出力に対応する振動信号を出力することができる。また、振動モータ１３２６は、タッチスクリーンにタッチが入力される場合、振動信号を出力することもできる。
【０１４１】
センシング部１４００は、映像処理装置１０００の状態、または映像処理装置１０００周辺の状態を感知し、感知された情報を制御部１２００に伝達することができる。
【０１４２】
センシング部１４００は、地磁気センサ（magnetic sensor）１４１０、加速度センサ（acceleration sensor）１４２０、温度／湿度センサ１４３０、赤外線センサ１４４０、ジャイロスコープセンサ１４５０、位置センサ（例えば、ＧＰＳ（global position system））１４６０、気圧センサ１４７０、近接センサ１４８０及びＲＧＢセンサ（illuminance sensor）１４９０のうち少なくとも一つを含んでもよいが、それらに限定されるものではない。各センサの機能は、その名称から当業者が直観的に推論することができるので、具体的な説明は、省略する。
【０１４３】
通信部１５００は、映像処理装置１０００と、異なる装置またはサーバとの通信を行わせる１以上の構成要素を含んでもよい。例えば、通信部１５００は、近距離通信部１５１０、移動通信部１５２０、放送受信部１５３０を含んでもよい。
【０１４４】
近距離通信部（short-range wireless communication unit）１５１は、ブルートゥース（登録商標）（Bluetooth）（登録商標）通信部、ＢＬＥ（Bluetooth low energy）通信部、近距離無線通信部（near field communication unit）、ＷＬＡＮ（Ｗｉ−Ｆｉ（wireless fidelity））通信部、ジグビー（Zigbee）通信部、赤外線（ＩｒＤＡ：infrared data association）通信部、ＷＦＤ（Ｗｉ−Ｆｉ direct）通信部、ＵＷＢ（ultra wideband）通信部、Ａｎｔ＋通信部などを含んでもよいが、それらに限定されるものではない。
【０１４５】
移動通信部１５２０は、移動通信網上において、基地局、外部端末、サーバのうち少なくとも一つと無線信号を送受信する。ここで、該無線信号は、音声号信号、画像通話号信号、または文字／マルチメディアメッセージ送受信による多様な形態のデータを含んでもよい。
【０１４６】
放送受信部１５３０は、放送チャネルを介して、外部から放送信号及び／または放送に係わる情報を受信する。該放送チャネルは、衛星チャネル、地上波チャネルを含んでもよい。一具現例により、映像処理装置１０００が放送受信部１５３０を含まない。
また、通信部１５００は、コンテンツを、送受信またはアップロードするために、他の装置、サーバ、周辺機器などと通信を行うことができる。
【０１４７】
Ａ／Ｖ入力部１６００は、オーディオ信号入力またはビデオ信号入力のためのものであり、それには、撮影部１６１０やマイクロフォン１６２０などが含まれてもよい。撮影部１６１０は、画像通話モードまたは撮影モードにおいて、イメージセンサを介して、静止映像または動画などの画像フレームを得ることができる。イメージセンサを介してキャプチャされたイメージは、制御部１２００または別途のイメージ処理部（図示せず）を介しても処理される。
【０１４８】
撮影部１６１０で処理された画像フレームは、メモリ１１００に保存されたり、通信部１５００を介して外部に伝送されたりもする。撮影部１６１０は、映像処理装置１０００の構成様態により、２個以上が具備される。
【０１４９】
マイクロフォン１６２０は、外部の音響信号を入力され、電気的な音声データに処理する。例えば、マイクロフォン１６２０は、外部デバイスまたは話者から音響信号を受信することができる。マイクロフォン１６２０は、外部の音響信号を入力される過程で生じるノイズ（noise）を除去するための多様なノイズ除去アルゴリズムを利用することができる。
図１２は、一実施形態による映像処理方法を示すフローチャートである。
１２１０段階において、映像処理装置１０００は、少なくとも１つの被写体を含むライブビュー映像を獲得する。
【０１５０】
１２２０段階において、映像処理装置１０００は、データ認識モデルのうち、所定条件に対応するデータ認識モデルに基づき、データ認識モデルが学習した関心情報に該当するか否かということを判断する基準により、獲得されたライブビュー映像におけるユーザ関心領域を推定する。
【０１５１】
映像処理装置１０００は、第１条件を満足するとき、第１データ認識モデルが学習した突出領域に該当するか否かということを判断する基準により、突出領域を、ユーザの関心領域と推定し、第２条件を満足するとき、第２データ認識モデルが学習した個人化された関心情報に該当するか否かということを判断する基準により、個人化された関心情報に対応する領域を、ユーザの関心領域と推定することができる。該突出領域は、被写体が映像で占める面積、または映像の色相分布についての所定基準によって決定され、個人化された関心情報は、映像処理方法が遂行される映像処理装置１０００に保存されたユーザの映像についての所定統計によっても決定される。そのとき、第２条件は、映像処理方法が遂行される映像処理装置１０００に保存された映像の枚数が所定枚数より多く、個人化された関心情報に対する信頼度が所定条件を満足する場合であり、第１条件は、第２条件を満足しない場合であることを意味する。
【０１５２】
一方、映像処理装置１０００は、ユーザの映像を所定基準によって分類し、分類された映像で第３データ認識モデルを学習させ、個人化された関心情報に該当するか否かということを判断する基準を獲得する外部サーバ２０００と通信を行うことができる。映像処理装置１０００は、外部サーバ２０００に保存されたユーザの映像を利用し、第３データ認識モデルが学習した個人化された関心情報に該当するか否かということを判断する基準を、外部サーバ２０００から受信することができる。映像処理装置１０００に設けられたデータ認識モデルが、受信した個人化された関心情報に該当するか否かということを判断する基準により、個人化された関心情報に対応する領域を、ユーザの関心領域と推定することができる。
【０１５３】
映像処理装置１０００は、関心情報の優先順位に基づき、優先順位が高い関心情報に対応する領域を、ユーザの関心領域と推定することができる。映像処理装置１０００は、複数個の関心領域が推定された場合、複数個の関心領域のいずれに対しても焦点を合わせる多重焦点を遂行することができる。映像処理装置１０００は、複数個の関心領域が推定された場合、複数個の関心領域のうちユーザが選択した関心領域に対して焦点を合わせることができる。
１２３０段階において、映像処理装置１０００は、推定された関心領域に焦点を合わせる。
【０１５４】
１２４０段階において、映像処理装置１０００は、推定された関心領域に焦点を合わせたライブビュー映像をディスプレイする。映像処理装置１０００は、ユーザの撮影命令に対する応答として、推定された関心領域に焦点を合わせて映像を撮影することができる。
【０１５５】
図１３は、一実施形態による映像処理装置が、第１プロセッサ及び第２プロセッサを含む場合、関心領域を推定する状況について説明するためのフローチャートである。
【０１５６】
第１プロセッサ１２００ａは、映像処理装置１０００にインストールされた少なくとも１つのアプリケーションの実行を制御し、映像処理装置１０００に獲得されるイメージ（例：ライブビューイメージ、撮影されたイメージなど）に対するグラフィック処理を行うことができる。第１プロセッサ１２００ａは、ＣＰＵ、ＧＰＵ、通信チップ及びセンサなどの機能が統合されたＳｏＣ（system on chip）形態にｍｏ具現される。また、第１プロセッサ１２００ａは、本明細書内において、ＡＰ（アプリケーションプロセッサ）とも説明される。
【０１５７】
第２プロセッサ１２００ｂは、データ認識モデルを利用し、イメージの関心領域を推定することができる。
【０１５８】
一方、第２プロセッサ１２００ｂは、データ認識モデルを利用した関心領域推定の機能を遂行する人工知能（ＡＩ）のための専用ハードウェアチップ状にも作製される。多様な実施形態によれば、視覚的理解を要素技術にするデータ認識モデルの場合、人工知能（ＡＩ）のための専用ハードウェアチップは、ＧＰＵを含んでもよい。
【０１５９】
一実施形態によれば、映像処理装置１０００は、第１プロセッサ１２００ａ及び第２プロセッサ１２００ｂを含んでもよい。
【０１６０】
Ｓ１３１０段階において、第１プロセッサ１２００ａは、ライブビュー映像を獲得することができる。該ライブビュー映像は、例えば、少なくとも１つの被写体を含んでもよい。
【０１６１】
Ｓ１３２０段階において、第１プロセッサ１２００ａは、所定条件に対応するデータ認識モデルを決定することができる。
【０１６２】
例えば、第１プロセッサ１２００ａは、映像処理装置１０００が図３で説明した第２条件を満足する場合、第２データ認識モデルまたは第４データ認識モデルを利用することを決定することができる。一実施形態によれば、第１プロセッサ１２００ａは、映像処理装置１０００の製造社が設定した基本値、またはユーザの選択により、第２データ認識モデルまたは第４データ認識モデルのうち、一つを選択することができる。
【０１６３】
また、第１プロセッサ１２００ａは、映像処理装置１０００が第２条件を満足することができない場合、第１条件を満足すると決定し、第１データ認識モデルを利用することを決定することができる。
【０１６４】
Ｓ１３３０段階において、第１プロセッサ１２００ａは、決定されたデータ認識モデルを利用し、関心領域を推定することを、第２プロセッサ１２００ｂに対して要請することができる。
【０１６５】
Ｓ１３４０段階において、第２プロセッサ１２００ｂは、決定されたデータ認識モデルを利用し、関心領域を推定することができる。
【０１６６】
例えば、第２プロセッサ１２００ｂは、第１データ認識モデルが決定された場合、第１データ認識モデルが学習した突出領域に該当するか否かということを判断する基準により、該突出領域を、ユーザの関心領域と推定することができる。第２プロセッサ１２００ｂは、第２データ認識モデルが決定された場合、第２データ認識モデルが学習した個人化された関心情報に該当するか否かということを判断する基準により、個人化された関心情報に対応する領域を、ユーザの関心領域と推定することができる。
【０１６７】
第２プロセッサ１２００ｂは、第４データ認識モデルが決定された場合、第４データ認識モデルを利用し、個人化されたグァムシム情報に対応する領域を、ユーザの関心領域と推定することができる。
【０１６８】
Ｓ１３５０段階において、第２プロセッサ１２００ｂは、推定された関心領域を第１プロセッサ１２００ａに伝送することができる。
【０１６９】
Ｓ１３６０段階において、第１プロセッサ１２００ａは、推定された関心領域に焦点を合わせることができる。
【０１７０】
Ｓ１３７０段階において、第１プロセッサ１２００ａは、推定された関心領域に焦点を合わせたライブビュー映像をディスプレイすることができる。
【０１７１】
図１４は、一実施形態による映像処理装置が、第１プロセッサ、第２プロセッサ及び第３プロセッサを含む場合、関心領域を推定する状況について説明するためのフローチャートである。
【０１７２】
一実施形態によれば、映像処理装置１０００は、第１プロセッサ１２００ａ、第２プロセッサ１２００ｂ及び第３プロセッサ１２００ｃを含んでもよい。例えば、第２プロセッサ１２００ｂは、第１データ認識モデルを利用し、関心領域を推定することができる。第３プロセッサ１２００ｃは、第２データ認識モデルまたは第４データ認識モデルを利用し、関心領域を推定することができる。
【０１７３】
Ｓ１４１０段階において、第１プロセッサ１２００ａは、ライブビュー映像を獲得することができる。ライブビュー映像は、例えば、少なくとも１つの被写体を含んでもよい。
Ｓ１４２０段階において、第１プロセッサ１２００ａは、所定条件に対応するデータ認識モデルを決定することができる。
【０１７４】
例えば、第１プロセッサ１２００ａは、映像処理装置１０００が、図３で説明した第２条件を満足する場合、第２データ認識モデルまたは第４データ認識モデルを利用することを決定することができる。
【０１７５】
一実施形態によれば、第１プロセッサ１２００ａは、ユーザの関心領域検出の速度を高めるために、第４データ認識モデルを、第２条件に対応する基本データ認識モデルに設定することができる。しかし、それに限定されるものではない。例えば、第１プロセッサ１２００ａは、映像処理装置１０００の製造社が設定した基本値、またはユーザの選択により、第２データ認識モデルまたは第４データ認識モデルのうち、一つを選択することができる。
【０１７６】
また、第１プロセッサ１２００ａは、映像処理装置１０００が第２条件を満足することができない場合、第１条件を満足すると決定し、第１データ認識モデルを利用することを決定することができる。
【０１７７】
Ｓ１４３０段階を参照すれば、第１データ認識モデルが決定された場合、第１プロセッサ１２００ａは、関心領域を推定することを、第２プロセッサ１２００ｂに要請することができる。また、第２データ認識モデルまたは第４データ認識モデルが決定された場合、第１プロセッサ１２００ａは、関心領域を推定することを、第３プロセッサ１２００ｃに要請することができる。
【０１７８】
Ｓ１４４０段階において、第３プロセッサ１２００ｃは、第４データ認識モデルを利用し、関心領域を推定することができる。
【０１７９】
Ｓ１４５０段階において、第３プロセッサ１２００ｃは、第４データ認識モデルを利用し、関心領域の推定が完了したか否かということ確認することができる。
【０１８０】
Ｓ１４７０段階において、第３プロセッサ１２００ｃは、第４データ認識モデルを利用し、関心領域が推定されたことが確認されれば、推定された関心領域を、第１プロセッサ１２００ａに伝送することができる。
【０１８１】
Ｓ１４６０段階において、第２プロセッサ１２００ｂは、第１データ認識モデルを利用し、関心領域を推定することができる。また、Ｓ１４５０段階において、第３プロセッサ１２００ｃが第４データ認識モデルを利用し、関心領域を推定することに失敗したということが確認されれば、第２プロセッサ１２００ｂは、第１データ認識モデルを利用し、関心領域を推定することができる。
【０１８２】
Ｓ１４７５段階において、第２プロセッサ１２００ｂは、第１データ認識モデルを利用して推定された関心領域を、第１プロセッサ１２００ａに伝送することができる。
【０１８３】
Ｓ１４８０段階において、第１プロセッサ１２００ａは、推定された関心領域に焦点を合わせることができる。
【０１８４】
Ｓ１４９０段階において、第１プロセッサ１２００ａは、推定された関心領域に焦点を合わせたライブビュー映像をディスプレイできる。
【０１８５】
図１５は、一実施形態による映像処理装置が、第１プロセッサ、第２プロセッサ及び第３プロセッサを含む場合、関心領域を推定する他の状況について説明するためのフローチャートである。
【０１８６】
Ｓ１５１０段階において、第１プロセッサ１２００ａは、ライブビュー映像を獲得することができる。該ライブビュー映像は、例えば、少なくとも１つの被写体を含んでもよい。
【０１８７】
Ｓ１５２０段階において、第１プロセッサ１２００ａは、所定条件に対応するデータ認識モデルを決定することができる。
【０１８８】
例えば、第１プロセッサ１２００ａは、映像処理装置１０００が、図３で説明した第２条件を満足する場合、第２データ認識モデルまたは第４データ認識モデルを利用することを決定することができる。
【０１８９】
一実施形態によれば、第１プロセッサ１２００ａは、ユーザの関心領域検出の速度を高めるために、第４データ認識モデルを、第２条件に対応する基本データ認識モデルに設定することができる。しかし、それに限定されるものではない。例えば、第１プロセッサ１２００ａは、映像処理装置１０００の製造社が設定した基本値、またはユーザの選択により、第２データ認識モデルまたは第４データ認識モデルのうち、一つを選択することができる。
【０１９０】
また、第１プロセッサ１２００ａは、映像処理装置１０００が第２条件を満足することができない場合、第１条件を満足すると決定し、第１データ認識モデルを利用することを決定することができる。
【０１９１】
Ｓ１５３０段階を参照すれば、第１データ認識モデルが決定された場合、第１プロセッサ１２００ａは、関心領域を推定することを第２プロセッサ１２００ｂに要請することができる。また、第２データ認識モデルまたは第４データ認識モデルが決定された場合、第１プロセッサ１２００ａは、関心領域を推定することを、第３プロセッサ１２００ｃに要請することができる。
【０１９２】
Ｓ１５４０段階において、第２プロセッサ１２００ｂは、第１データ認識モデルを利用し、関心領域を推定することができる。
【０１９３】
Ｓ１５６０段階において、第２プロセッサ１２００ｂは、推定された関心領域を第１プロセッサ１２００ａに伝送することができる。
【０１９４】
Ｓ１５５０段階において、第３プロセッサ１２００ｃは、第４データ認識モデルを利用し、関心領域を推定することができる。
【０１９５】
Ｓ１５７０段階において、第３プロセッサ１２００ｃは、第４データ認識モデルを利用し、関心領域の推定が完了したか否かということを確認することができる。
【０１９６】
Ｓ１５６５段階において、第３プロセッサ１２００ｃは、第４データ認識モデルを利用し、関心領域が推定されたことが確認されれば、推定された関心領域を、第１プロセッサ１２００ａに伝送することができる。
【０１９７】
Ｓ１５８０段階を参照すれば、第３プロセッサ１２００ｃは、第４データ認識モデルを利用し、関心領域の推定が失敗したか否かということが確認されれば、第２データ認識モデルを利用し、関心領域を推定することができる。
【０１９８】
例えば、第４データ認識モデルは、自動車と類似した形状を関心領域と推定することができるが、ライブビュー映像で検出した客体に自動車と類似した形状がない場合、第３プロセッサ１２００ｃは、第２データ認識モデルを適用し、ユーザにカスタム化された他客体を関心領域と推定することができる。
【０１９９】
Ｓ１５９０段階において、第２プロセッサ１２００ｂは、第１データ認識モデルを利用して推定された関心領域を、第１プロセッサ１２００ａに伝送することができる。
【０２００】
Ｓ１５９３段階において、第１プロセッサ１２００ａは、推定された関心領域に焦点を合わせることができる。
【０２０１】
Ｓ１５９５段階において、第１プロセッサ１２００ａは、推定された関心領域に焦点を合わせたライブビュー映像をディスプレイできる。
図１６は、一実施形態による映像処理装置がサーバを利用し、関心領域を推定する状況について説明するためのフローチャートである。
【０２０２】
その場合、映像処理装置１０００と外部サーバ２０００との間でデータを送受信するためのインターフェースが定義される。
【０２０３】
例えば、データ認識モデルに適用する学習データをパラメータ（または、媒介値または伝達値）として有するＡＰＩ（application programming interface）が定義される。該ＡＰＩは、ある１つのプロトコル（例えば、映像処理装置１０００で定義されたプロトコル）において、他のプロトコル（例えば、外部サーバ２０００で定義されたプロトコル）のある処理のために呼び出すことができるサーブルーチン、または関数の集合とも定義される。すなわち、該ＡＰＩを介して、ある１つのプロトコルにおいて、他のプロトコルの動作が遂行される環境が提供されることができる。
一実施形態によれば、外部サーバ２０００は、第３データ認識モデルを含んでもよい。
【０２０４】
Ｓ１６１０段階において、映像処理装置１０００は、ライブビュー映像を獲得することができる。該ライブビュー映像は、例えば、少なくとも１つの被写体を含んでもよい。
【０２０５】
Ｓ１６２０段階において、映像処理装置１０００は、所定条件に対応するデータ認識モデルを決定することができる。
【０２０６】
例えば、映像処理装置１０００は、図３で説明した第２条件を満足する場合、第２データ認識モデルまたは第４データ認識モデルを利用することを決定することができる。また、映像処理装置１０００は、第２条件を満足することができない場合、第１条件を満足すると決定し、第１データ認識モデルを利用することを決定することができる。
【０２０７】
Ｓ１６３０段階を参照すれば、映像処理装置１０００は、データ認識モデルを利用し、関心領域が推定されたか否かということを確認することができる。
【０２０８】
Ｓ１６４０段階を参照すれば、映像処理装置１０００に含まれたデータ認識モデルを利用し、関心領域が推定された場合、映像処理装置１０００は、推定された関心領域に焦点を合わせることができる。
【０２０９】
Ｓ１６５０段階を参照すれば、映像処理装置１０００に含まれたデータ認識モデルを利用し、関心領域が推定されていない場合、映像処理装置１０００は、外部サーバ２０００に関心領域推定を要請することができる。
【０２１０】
Ｓ１６６０段階において、外部サーバ２０００は、第３データ認識モデルを利用し、関心領域を推定することができる。
【０２１１】
Ｓ１６７０段階において、外部サーバ２０００は、推定された関心領域を、映像処理装置１０００に伝送することができる。
【０２１２】
Ｓ１６８０段階において、映像処理装置１０００は、推定された関心領域に焦点を合わせることができる。
【０２１３】
Ｓ１６９０段階において、映像処理装置１０００は、推定された関心領域に焦点を合わせたライブビュー映像をディスプレイすることができる。
【０２１４】
一方、前述の映像処理方法は、コンピュータで実行されるプログラムによって作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、そのようなプログラムを動作させる汎用デジタルコンピュータでも具現される。そのようなコンピュータで読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＣＤ−ＲＯＭｓ、ＣＤ−Ｒｓ、ＣＤ＋Ｒｓ、ＣＤ−ＲＷｓ、ＣＤ＋ＲＷｓ、ＤＶＤ−ＲＯＭｓ、ＤＶＤ−Ｒｓ、ＤＶＤ＋Ｒｓ、ＤＶＤ−ＲＷｓ、ＤＶＤ＋ＲＷｓ、ＤＶＤ−ＲＡＭｓ、ＢＤ−ＲＯＭｓ、ＢＤ−Ｒｓ、ＢＤ−ＲＬＴＨｓ、ＢＤ−ＲＥｓ、マグネチックテープ、フロッピーディスク、光磁気データ保存装置、光学データ保存装置、ハードディスク、ソリッドステートディスク（ＳＳＤ）、そして命令語またはソフトウェア、関連データ、データファイル及びデータ構造を保存することができ、プロセッサやコンピュータが命令語を実行するように、プロセッサやコンピュータに命令語またはソフトウェア、関連データ、データファイル及びデータ構造を提供することができるいかなる装置にもなる。
【０２１５】
また、開示された実施形態は、コンピュータで読み取り可能な記録媒体に保存された命令語を含むＳ／Ｗプログラムによっても具現される。
【０２１６】
該コンピュータは、記録媒体から保存された命令語を呼び出し、呼び出された命令語により、開示された実施形態による動作が可能な装置であり、開示された実施形態による映像処理装置を含んでもよい。
【０２１７】
コンピュータで読み取り可能な記録媒体は、非一時的（non-transitory）記録媒体の形態でも提供される。ここで、「非一時的」というのは、記録媒体が信号を含まず、実在する（tangible）ということを意味するのみ、データが記録媒体に半永久的または臨時に保存されることを区分しない。
【０２１８】
また、開示された実施形態による制御方法は、コンピュータプログラム製品（computer program product）に含まれても提供される。該コンピュータプログラム製品は、商品として、販売者及び購入者の間でも取り引きされる。
【０２１９】
該コンピュータプログラム製品は、Ｓ／Ｗプログラム、Ｓ／Ｗプログラムが保存されたコンピュータで読み取り可能な記録媒体を含んでもよい。例えば、該コンピュータプログラム製品は、映像処理装置の製造社または電子マーケット（例：グーグルプレイストア、アプリストア）を介して、電子的に配布されるＳ／Ｗプログラム形態の商品（例：ダウンローダブルアプリ）を含んでもよい。電子的配布のために、Ｓ／Ｗプログラムの少なくとも一部は、記録媒体に保存されたり、臨時的に生成されたりもする。その場合、該記録媒体は、製造社のサーバ、電子マーケットのサーバ、またはＳＷプログラムを臨時的に保存する中継サーバの記録媒体にもなる。
【０２２０】
該コンピュータプログラム製品は、サーバ及び映像処理装置で構成されるシステムにおいて、サーバの記録媒体、または映像処理装置の記録媒体を含んでもよい。または、サーバまたは映像処理装置と通信連結される第３装置（例：スマートフォン）が存在する場合、該コンピュータプログラム製品は、第３装置の記録媒体を含んでもよい。または、該コンピュータプログラム製品は、サーバから、映像処理装置または第３装置に伝送されたり、第３装置から映像処理装置に伝送されたりするＳ／Ｗプログラム自体を含んでもよい。
【０２２１】
その場合、サーバ、映像処理装置及び第３装置のうち一つが、コンピュータプログラム製品を実行し、開示された実施形態による方法を遂行することができる。または、サーバ、映像処理装置及び第３装置のうち２以上が、コンピュータプログラム製品を実行し、開示された実施形態による方法を分散して実施することができる。
【０２２２】
例えば、サーバ（例：クラウドサーバまたは人工知能サーバなど）がサーバに保存されたコンピュータプログラム製品を実行し、サーバと通信連結された映像処理装置が、開示された実施形態による方法を遂行するように制御することができる。
【０２２３】
他の例として、第３装置が、コンピュータプログラム製品を実行し、該第３装置と通信連結された映像処理装置が、開示された実施形態による方法を遂行するように制御することができる。該第３装置がコンピュータプログラム製品を実行する場合、該第３装置は、サーバからコンピュータプログラム製品をダウンロードし、ダウンロードされたコンピュータプログラム製品を実行することができる。または、該第３装置は、プリロードされた状態で提供されたコンピュータプログラム製品を実行し、開示された実施形態による方法を遂行することもできる。
【０２２４】
以上、実施形態を中心に説明した。開示された実施形態が属する技術分野で当業者は、開示された実施形態が、本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。発明の範囲は、前述の実施形態の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、発明の範囲に含まれたものであると解釈されなければならないのである。
【図１Ａ】
2020507228.tif 000003
【図１Ｂ】
2020507228.tif 000004
【図２】
2020507228.tif 000005
【図３】
2020507228.tif 000006
【図４ａ】
2020507228.tif 000007
【図４ｂ】
2020507228.tif 000008
【図５ａ】
2020507228.tif 000009
【図５ｂ】
2020507228.tif 000010
【図６】
2020507228.tif 000011
【図７】
2020507228.tif 000012
【図８】
2020507228.tif 000013
【図９】
2020507228.tif 000014
【図１０】
2020507228.tif 000015
【図１１】
2020507228.tif 000016
【図１２】
2020507228.tif 000017
【図１３】
2020507228.tif 000018
【図１４】
2020507228.tif 000019
【図１５】
2020507228.tif 000020
【図１６】
2020507228.tif 000021
【国際調査報告】
2020507228.tif 000022
2020507228.tif 000023