(57)【要約】【課題】複数の動画を同時に見やすく表示することが可能な、新規かつ改良された技術を提供する。【解決手段】表示装置１０は、第１動画のもとになる動画情報の入力を受け付ける動画入力部１３０ａを有する親画面処理部と、第２動画のもとになる動画情報の入力を受け付ける動画入力部１３０ｂ〜１３０ｄを有する、１または複数の子画面処理部と、マスク情報記憶部１７０ｂ〜１７０ｄが記憶するマスク画像情報を取得し、第１動画と第２動画とにおいて対応する画素ごとにマスク画像情報に設定された透過率に従って各画素値を足し合わせる処理を、それぞれの第２動画について行って第３動画を生成するブレンド処理部と、第３動画をモニタに出力する動画出力部１９０と、を備える。【選択図】図３
2010026021.tif 000002
【特許請求の範囲】
【請求項１】
第１動画のもとになる動画情報の入力を受け付ける動画入力部と、
前記第１動画のモニタへの表示サイズを所定のサイズに設定するスケーラ部と、
前記第１動画の前記モニタへの表示位置を所定の位置に設定する位置移動部と、
を有する親画面処理部と、
第２動画を前景とし、前記第１動画を背景とした場合における透過率が当該第２動画を構成する画素ごとに設定されたマスク画像情報を記憶するマスク画像情報記憶部と、
前記第２動画のもとになる動画情報の入力を受け付ける動画入力部と、
前記第２動画の前記モニタへの表示サイズを、前記第２動画の表示サイズよりも小さい所定のサイズに設定するスケーラ部と、
前記第２動画の前記モニタへの表示位置を、当該第２動画の全部が、前記第１動画の一部と重なる所定の位置に設定する位置移動部と、
を有する、１または複数の子画面処理部と、
前記マスク画像情報記憶部が記憶するマスク画像情報を取得し、前記第１動画と前記第２動画とにおいて対応する画素ごとに前記マスク画像情報に設定された透過率に従って各画素値を足し合わせる処理を、それぞれの前記第２動画について行って第３動画を生成するブレンド処理部と、
前記第３動画を前記モニタに出力する動画出力部と、
を備える、表示装置。
【請求項２】
前記ブレンド処理部は、
前記透過率をαとした場合に、
（前記第１動画の画素値）×（１−α）＋（前記第２動画の画素値）×α  …（１）
によって前記各画素値を足し合わせる処理を行う、
請求項１に記載の表示装置。
【請求項３】
前記マスク画像情報は、
前記第２動画に含まれる所定の領域とその他の領域とのうち、当該所定の領域内の画素の透過率αとして１が設定され、当該その他の領域内の画素の透過率αとして０が設定されている、
請求項２に記載の表示装置。
【請求項４】
前記所定の領域は、
略円または略楕円に囲まれる領域である、
請求項３に記載の表示装置。
【請求項５】
前記所定の領域と前記その他の領域とに挟まれる領域として中間領域がさらに存在し、当該中間領域内の画素の透過率は、前記所定の領域に近い画素から前記その他の領域に近づくにつれて、段階的に下がる、
請求項４に記載の表示装置。
【請求項６】
前記１または複数の子画面処理部のそれぞれは、
前記第２動画から顔領域を認識し、当該顔領域を前記所定の領域として前記マスク画像情報の透過率を変更する画像認識部
をさらに備える、請求項１乃至請求項５のいずれかに記載の表示装置。
【請求項７】
前記画像認識部は、
前記マスク画像情報の透過率を変更する際に、前記透過率を徐々に変更する、
請求項６に記載の表示装置。
【請求項８】
前記親画面処理部は、
前記第１動画から文字領域を認識し、当該文字領域を示す値を前記１または複数の子画面処理部の位置移動部のそれぞれに通知する画像認識部をさらに備え、
前記１または複数の子画面処理部のそれぞれの位置移動部は、
前記第２動画の前記モニタへの表示位置を、前記文字領域に重ならない位置に設定する、
請求項１乃至請求項５のいずれかに記載の表示装置。
【請求項９】
前記１または複数の子画面処理部のそれぞれの位置移動部は、
前記第２動画の前記モニタへの表示位置を、前記文字領域に重ならない位置に設定する際に、前記透過率を徐々に変更することによって、表示位置変更前の第２動画を徐々に消すとともに、表示位置変更後の第２動画を徐々に表示する、
請求項８に記載の表示装置。
【請求項１０】
親画面処理部が、
第１動画のもとになる動画情報の入力を受け付けるステップと、
前記第１動画のモニタへの表示サイズを所定のサイズに設定するステップと、
前記第１動画の前記モニタへの表示位置を所定の位置に設定するステップと、
を実行し、
第２動画を前景とし、前記第１動画を背景とした場合における透過率が当該第２動画を構成する画素ごとに設定されたマスク画像情報を記憶するマスク画像情報記憶部を有する、１または複数の子画面処理部が、
前記第２動画のもとになる動画情報の入力を受け付けるステップと、
前記第２動画の前記モニタへの表示サイズを、前記第２動画の表示サイズよりも小さい所定のサイズに設定するステップと、
前記第２動画の前記モニタへの表示位置を、当該第２動画の全部が、前記第１動画の一部と重なる所定の位置に設定するステップと、
を実行し、
ブレンド処理部が、
前記マスク画像情報記憶部が記憶するマスク画像情報を取得し、前記第１動画と前記第２動画とにおいて対応する画素ごとに、前記マスク画像情報に設定された透過率に従って各画素値を算出し、当該算出した各画素値を足し合わせる処理を、それぞれの前記第２動画について行って第３動画を生成するステップを実行し、
動画出力部が、
前記第３動画を前記モニタに出力するステップ
を実行する、表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置および表示方法に関する。詳しくは、複数の動画を効率良く見る為の技術に関する。
【背景技術】
【０００２】
テレビ放送の多チャンネル化の技術や、インターネットでの動画配信の技術が普及するにつれて、ユーザが手軽に見ることが可能な動画が飛躍的に増加してきている。この為、複数の動画を効率良く見る為の技術が望まれている。
【０００３】
複数の動画を効率良く見る為の技術として、例えば、事前に登録された検索条件に合致する動画を検索することによって、動画を特定する技術がある。しかし、ユーザは、動画の一部を実際に見た印象によって、動画をじっくりと見たいか否かを判断するのが一般的である。したがって、ユーザがじっくり見たいと判断する動画が、検索条件に合致するとは限らないという問題があった。
【０００４】
また、複数の動画を同時に表示する技術がある（例えば、特許文献１参照）。この技術によれば、ユーザは、動画の一部を実際に見た印象によって、動画をじっくりと見たいか否かを判断することができる。さらに、ユーザは、動画の先頭から終了までの全体をじっくり見るのではなく、動画の一部分だけをじっくり見たいという場合も多い。この技術によれば、いわゆるナガラ視聴によって、じっくり見たい部分以外の部分が再生されている間に、他の動画を見ることが可能となる。特に、ユーザがじっくり見たいと判断した動画は大きく表示し、他の動画は小さく表示することとするのが有効と考えられる。ここで、大きく表示された画面を親画面、小さく表示された画面を子画面と称することとする。
【０００５】
【特許文献１】特開平９−１６３２６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数の動画を同時に表示する技術では、親画面の一部が、子画面によって隠れてしまうという問題があった。また、このような現象を防ぐために、親画面を縮小することとしてもよいが、親画面が縮小されてしまう為に、親画面が見づらくなってしまうという問題があった。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の動画を同時に見やすく表示することが可能な、新規かつ改良された技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明のある観点によれば、表示装置は、第１動画のもとになる動画情報の入力を受け付ける動画入力部と、第１動画のモニタへの表示サイズを所定のサイズに設定するスケーラ部と、第１動画のモニタへの表示位置を所定の位置に設定する位置移動部と、を有する親画面処理部を備える。
【０００９】
また、表示装置は、第２動画を前景とし、第１動画を背景とした場合における透過率が第２動画を構成する画素ごとに設定されたマスク画像情報を記憶するマスク画像情報記憶部と、第２動画のもとになる動画情報の入力を受け付ける動画入力部と、第２動画のモニタへの表示サイズを、第２動画の表示サイズよりも小さい所定のサイズに設定するスケーラ部と、第２動画のモニタへの表示位置を、第２動画の全部が、第１動画の一部と重なる所定の位置に設定する位置移動部と、を有する、１または複数の子画面処理部を備える。
【００１０】
また、表示装置は、マスク画像情報記憶部が記憶するマスク画像情報を取得し、第１動画と第２動画とにおいて対応する画素ごとにマスク画像情報に設定された透過率に従って各画素値を足し合わせる処理を、それぞれの第２動画について行って第３動画を生成するブレンド処理部と、第３動画をモニタに出力する動画出力部を備える。このような表示装置が提供される。
【００１１】
上記したブレンド処理部は、透過率をαとした場合に、
（第１動画の画素値）×（１−α）＋（第２動画の画素値）×α  …（１）
によって各画素値を足し合わせる処理を行うこととしてもよい。
【００１２】
上記したマスク画像情報は、第２動画に含まれる所定の領域とその他の領域とのうち、所定の領域内の画素の透過率αとして１が設定され、その他の領域内の画素の透過率αとして０が設定されていることとしてもよい。
【００１３】
上記した所定の領域は、略円または略楕円に囲まれる領域であることとしてもよい。
【００１４】
上記した所定の領域とその他の領域とに挟まれる領域として中間領域がさらに存在し、中間領域内の画素の透過率は、所定の領域に近い画素からその他の領域に近づくにつれて、段階的に下がることとしてもよい。
【００１５】
上記した１または複数の子画面処理部のそれぞれは、第２動画から顔領域を認識し、顔領域を所定の領域としてマスク画像情報の透過率を変更する画像認識部をさらに備えることとしてもよい。
【００１６】
上記した画像認識部は、マスク画像情報の透過率を変更する際に、透過率を徐々に変更することとしてもよい。
【００１７】
上記した親画面処理部は、第１動画から文字領域を認識し、文字領域を示す値を１または複数の子画面処理部の位置移動部のそれぞれに通知する画像認識部をさらに備え、１または複数の子画面処理部のそれぞれの位置移動部は、第２動画のモニタへの表示位置を、文字領域に重ならない位置に設定することとしてもよい。
【００１８】
上記した１または複数の子画面処理部のそれぞれの位置移動部は、第２動画のモニタへの表示位置を、文字領域に重ならない位置に設定する際に、透過率を徐々に変更することによって、表示位置変更前の第２動画を徐々に消すとともに、表示位置変更後の第２動画を徐々に表示することとしてもよい。
【発明の効果】
【００１９】
本発明によれば、複数の動画を同時に見やすく表示することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
《一般的な表示装置の概要について》
先ず、一般的な表示装置の概要について説明する。
【００２２】
図１は、一般的な表示装置（分割表示方式）の概要について説明する図である。図１に示すように、一般的な表示装置（分割表示方式）の画面９００には、親画面９１０ａと、第１子画面９２０、第２子画面９３０、第３子画面９４０とが表示されている。このように、第１子画面９２０、第２子画面９３０、第３子画面９４０を親画面９１０ａ上に重ならないように表示すると、親画面９１０ａが小さく表示されてしまう。
【００２３】
図２は、一般的な表示装置（子画面重畳方式）の概要について説明する図である。図２に示すように、一般的な表示装置（子画面重畳方式）の画面９００には、親画面９１０ｂと、第１子画面９２０、第２子画面９３０、第３子画面９４０とが表示されている。このように、第１子画面９２０、第２子画面９３０、第３子画面９４０を親画面９１０ａ上に重なるように表示すると、親画面９１０ｂの一部が表示されなくなってしまう。
【００２４】
《表示装置の構成について》
先ず、本実施形態に係る表示装置の構成について説明する。
【００２５】
図３は、本実施形態に係る表示装置の構成を示す図である。図３に示すように、表示装置１０は、動画入力部１３０ａ〜１３０ｄと、スケーラ部１４０ａ〜１４０ｄと、位置移動部１６０ａ〜１６０ｄと、マスク情報記憶部１７０ａ〜１７０ｄと、ブレンド処理部１８０と、動画出力部１９０とを備えるものである。また、操作入力部１１０、制御部１２０、画像認識部１５０ａ〜１５０ｄ等を備えることとしてもよい。表示装置１０には、モニタ（不図示）が備えられており、このモニタ（不図示）の画面に動画が表示される。図３には、４画面の動画表示を行う場合の例が示されているが、画面数が変わっても、構成の仕方は特に変わるものではない。
【００２６】
ここでは、動画入力部１３０ａ、スケーラ部１４０ａ、画像認識部１５０ａ、位置移動部１６０ａ、マスク情報記憶部１７０ａは、親画面処理部として機能するものとする。また、動画入力部１３０ｂ、スケーラ部１４０ｂ、画像認識部１５０ｂ、位置移動部１６０ｂ、マスク情報記憶部１７０ｂは、子画面処理部として機能するものとする。同様に、動画入力部１３０ｃ、スケーラ部１４０ｃ、画像認識部１５０ｃ、位置移動部１６０ｃ、マスク情報記憶部１７０ｃは、子画面処理部として機能するものとする。また、動画入力部１３０ｄ、スケーラ部１４０ｄ、画像認識部１５０ｄ、位置移動部１６０ｄ、マスク情報記憶部１７０ｄは、子画面処理部として機能するものとする。親画面処理部は、少なくとも１つは存在し、子画面処理部は、１または複数存在するものとする。また、後述するように、親画面処理部と子画面処理部とはユーザからの指示により切り替えが可能である。
【００２７】
動画入力部１３０ａは、第１動画のもとになる動画情報の入力を受け付ける機能を有するものである。動画入力部１３０ｂ〜１３０ｄは、第２動画のもとになる動画情報の入力を受け付ける機能を有するものである。動画入力部１３０ｂ〜１３０ｄは、それぞれ第２動画として、異なるものの入力を受け付けることとするが、同じ動画の入力を受け付けることとしてもよい。
【００２８】
スケーラ部１４０ａは、第１動画のモニタ（不図示）への表示サイズを所定のサイズに設定するものである。スケーラ部１４０ｂ〜１４０ｄは、第２動画のモニタ（不図示）への表示サイズを、第２動画の表示サイズよりも小さい所定のサイズに設定するものである。以下に示すように、例えば、第１動画のモニタ（不図示）への表示サイズは１倍とし、第２動画のモニタ（不図示）への表示サイズは１／３倍とする。
【００２９】
位置移動部１６０ａは、第１動画のモニタ（不図示）への表示位置を所定の位置に設定するものである。位置移動部１６０ｂ〜１６０ｄは、第２動画のモニタ（不図示）への表示位置を、第２動画の全部が、第１動画の一部と重なる所定の位置に設定するものである。以下に示すように、例えば、第１動画のモニタ（不図示）への表示位置は中央とし、第２動画のモニタ（不図示）への表示サイズは左下、中下、右下等とする。
【００３０】
マスク情報記憶部１７０ａ〜１７０ｄは、第２動画を前景とし、第１動画を背景とした場合における透過率が第２動画を構成する画素ごとに設定されたマスク画像情報を記憶するものである。マスク画像情報としては、制御部１２０から設定されたマスク画像（アルファ値画像）の情報を保持が保持される。
【００３１】
マスク画像情報は、第２動画に含まれる所定の領域とその他の領域とのうち、所定の領域内の画素の透過率として第２動画を表示することを示す値が設定され、その他の領域内の画素の透過率として第１動画を表示することを示す値が設定されていることとしてもよい。この所定の領域は、略円または略楕円に囲まれる領域であることとしてもよい。
【００３２】
ブレンド処理部１８０は、マスク情報記憶部１７０ａ〜１７０ｄが記憶するマスク画像情報を取得する。また、ブレンド処理部１８０は、第１動画と第２動画とにおいて対応する画素ごとにマスク画像情報に設定された透過率に従って各画素値を足し合わせる処理を、それぞれの第２動画について行って第３動画を生成する。
【００３３】
ブレンド処理部１８０は、透過率をαとした場合に、
【００３４】
（第１動画の画素値）×（１−α）＋（第２動画の画素値）×α  …（１）
【００３５】
によって各画素値を足し合わせる処理を行うこととしてもよい。これはいわゆるアルファブレンドの処理である。画素値は、画素の値であれば特に限定されるものではないが、例えば、色を示す値、輝度を示す値等である。
【００３６】
マスク画像情報は、第２動画に含まれる所定の領域とその他の領域とのうち、所定の領域内の画素の透過率αとして１が設定され、その他の領域内の画素の透過率αとして０が設定されていることとしてもよい。この所定の領域は、略円または略楕円に囲まれる領域であることとしてもよい。
【００３７】
所定の領域とその他の領域とに挟まれる領域として中間領域がさらに存在し、中間領域内の画素の透過率は、所定の領域に近い画素からその他の領域に近づくにつれて、段階的に下がることとしてもよい。
【００３８】
動画出力部１９０は、第３動画をモニタ（不図示）に出力するものである。
【００３９】
制御部１２０は、スケーラ部１４０ａ〜１４０ｄ、画像認識部１５０ａ〜１５０ｄ、位置移動部１６０ａ〜１６０ｄ、マスク情報記憶部１７０ａ〜１７０ｄに対する初期値設定や、値変更等の処理を行う。また、画像認識結果から、マスクの生成を行う。制御部１２０は、例えば、マイクロコンピュータ等によって構成される。
【００４０】
操作入力部１１０は、ユーザからの操作の入力を受け付け、入力を受け付けた操作を捜査情報として制御部１２０に出力するものである。
【００４１】
画像認識部１５０ａ〜１５０ｄは、動画から、人物・文字等の重要物の有無検出および位置検出を行うものである。特に、画像認識部１５０ｂ〜１５０ｄは、第２動画から顔領域を認識し、顔領域を所定の領域としてマスク画像情報の透過率を変更する。画像認識部１５０ｂ〜１５０ｄは、マスク画像情報の透過率を変更する際に、透過率を徐々に変更することとしてもよい。
【００４２】
画像認識部１５０ａは、第１動画から文字領域を認識し、文字領域を示す値を子画面処理部の位置移動部１６０ｂ〜１６０ｄのそれぞれに通知することとしてもよい。このようにすれば、位置移動部１６０ｂ〜１６０ｄは、第２動画のモニタ（不図示）への表示位置を、文字領域に重ならない位置に設定することとすればよい。
【００４３】
位置移動部１６０ｂ〜１６０ｄは、第２動画のモニタ（不図示）への表示位置を、文字領域に重ならない位置に設定する際に、透過率を徐々に変更することとしてもよい。これによって、表示位置変更前の第２動画を徐々に消すとともに、表示位置変更後の第２動画を徐々に表示する。
【００４４】
《ブレンド処理部の補足説明について》
ブレンド処理部について補足説明を行う。
【００４５】
図４は、本実施形態に係るブレンド処理部について補足説明する図である。親画面２１０（マスク無を指定された動画）は、背景として扱われる。第１子画面２２０、第２子画面２３０、第３子画面２４０（マスクがある動画）は、前景として扱われる。前景と背景は画素単位でブレンド処理（例えば、アルファブレンドの処理）が行われる。アルファブレンド処理では、マスク画像の画素のアルファ値が、例えば、（１）式で示したように、８０％であれば、前景が８０％、背景が２０％の割合で、ブレンドされる。
【００４６】
《表示装置が実行する処理の流れについて》
本実施形態に係る表示装置が実行する処理の流れについて説明する。
【００４７】
図５は、本実施形態に係る表示装置が実行する処理の流れを示す図である。図５（ａ）に示すように、全体フローとして、まず、制御部１２０は、初期設定を行う（ステップＳ１０１）。この初期設定では、スケーラ部１４０ａ〜１４０ｄ、画像認識部１５０ａ〜１５０ｄ、位置移動部１６０ａ〜１６０ｄ、マスク情報記憶部１７０ａ〜１７０ｄに対する初期設定を行う。その後、制御部１２０は、入力１マスク変更（ステップＳ１０２）、入力２マスク変更（ステップＳ１０３）、入力３マスク変更（ステップＳ１０４）、入力４マスク変更（ステップＳ１０５）を行う。これによって、入力１〜４に対して、マスク画像の動的変更を行う。ここで、入力１〜入力４は、それぞれ、動画入力部１３０ａ〜１３０ｄが入力を受け付けた動画を示すものとする。
【００４８】
制御部１２０は、ユーザから親子変更指示が有るか否かを判定する（ステップＳ１０６）。この判定では、操作入力部１１０から出力された操作情報を判定する。制御部１２０は、ユーザから親子変更指示が無いと判定した場合には（ステップＳ１０６で「Ｎｏ」）、ステップＳ１０８に進む。制御部１２０は、ユーザから親子変更指示が有ると判定した場合には（ステップＳ１０６で「Ｙｅｓ」）、親子変更を行い（ステップＳ１０７）、ステップＳ１０８に進む。
【００４９】
制御部１２０は、電源がＯＦＦされたか否かを判定する（ステップＳ１０８）。制御部１２０は、電源がＯＦＦされていないと判定した場合には（ステップＳ１０８で「Ｎｏ」）、ステップＳ１０２に戻る。制御部１２０は、電源がＯＦＦされていると判定した場合には（ステップＳ１０８で「Ｙｅｓ」）、全体フローの処理を終了する。
【００５０】
図５（ｂ）に示すように、初期設定として、制御部１２０は、入力１を「親画面」として設定する（ステップＳ２０１）。また、制御部１２０は、スケーラ（スケーリング比率）を「１：１」とすることで、拡大縮小されることなく表示される。位置移動を「中央」とすることで、入力１が画面全体に表示される。また、制御部１２０は、画像認識を「無」に設定することで、何も認識結果が出力されなくなる。また、制御部１２０は、マスクを「無」に設定することで、ブレンド処理部１８０において背景として扱われる。
【００５１】
制御部１２０は、入力２を「子画面」として設定する（ステップＳ２０２）。また、制御部１２０は、スケーラ（スケーリング比率）を「１／３」とすることで、入力２が縦横１／３に縮小される。位置移動を「左下」とすることで、入力２が画面左下に表示される。また、制御部１２０は、画像認識やマスクには、後の各使用例説明にて述べる「初期値」を設定する。
【００５２】
制御部１２０は、入力３を「子画面」として設定する（ステップＳ２０３）。また、制御部１２０は、スケーラ（スケーリング比率）を「１／３」とすることで、入力３が縦横１／３に縮小される。位置移動を「中下」とすることで、入力２が画面中央下に表示される。また、制御部１２０は、画像認識やマスクには、後の各使用例説明にて述べる「初期値」を設定する。
【００５３】
制御部１２０は、入力４を「子画面」として設定する（ステップＳ２０４）。また、制御部１２０は、スケーラ（スケーリング比率）を「１／３」とすることで、入力４が縦横１／３に縮小される。位置移動を「右下」とすることで、入力２が画面右下に表示される。また、制御部１２０は、画像認識やマスクには、後の各使用例説明にて述べる「初期値」を設定する。
【００５４】
図５（ｃ）に示すように、マスク変更として、制御部１２０は、制御部１２０は、画像認識部１５０ａ〜１５０ｄから得られる認識結果の変化に従って、マスク変更があるか否かを判定する（ステップＳ３０１）。マスク変更が無いと判定した場合には（ステップＳ３０１で「Ｎｏ」）、マスク変更の処理を終了する。マスク変更が有ると判定した場合には（ステップＳ３０１で「Ｙｅｓ」）、認識結果からマスクを変更して（ステップＳ３０２）、マスク変更の処理を終了する。
【００５５】
《マスクについて》
本実施形態に係るマスクの例について説明する。
【００５６】
図６は、本実施形態に係るマスクの例を示す図である。均一マスク３１０は、均一な透過率でブレンドする際に使われるマスク画像である。図６（ａ）に示した例では、均一マスク３１０は、半透明領域３４０（例えば、透過率５０％の領域）から構成されている。
【００５７】
基準マスク３２０は、適切な画像認識結果が得られない際に使われるマスク画像である。図６（ｂ）に示した例では、子画面表示領域３７０が透過率１００％（１００％子画面側を表示）の領域であることを示している。また、親画面表示領域３５０が透過率０％（１００％親画面側を表示）の領域であることを示している。境界部分である中間領域３６０は、グラディエーションが掛かっており、透過率が徐々に（滑らかに）変わるようになっている。子画面表示領域３７０の形が横長楕円になっているのは、子画面の横長画面の中央付近がよりはっきり見えるようにする為である。
【００５８】
認識マスク３３０は、画像認識結果によって自動生成されるマスク画像である。図６（ｃ）に示した例では、基準マスク３２０同様に、子画面表示領域３７０が透過率１００％、親画面表示領域３５０が透過率０％である。縦長楕円が２個並んでいるのは、２人の人物が写っている場合に、その人物の顔に合わせて縦長楕円で囲まれたものである。人物の動きによって、子画面表示領域３７０も追従して動くものである。
【００５９】
《均一マスク使用例について》
本実施形態に係る均一マスクの使用例について説明する。
【００６０】
図７は、本実施形態に係る均一マスクの使用例を示す図である。画像認識は使わずに、常に均一マスク３１０を設定する。半透明領域３４０が親画面２１０に透過率５０％で均一にブレンドされているので、親画面２１０、半透明領域３４０で示される子画面が両方見えるように画面２００に表示されている。
【００６１】
《基準マスク使用例について》
本実施形態に係る基準マスクの使用例について説明する。
【００６２】
図８は、本実施形態に係る基準マスクの使用例を示す図である。画像認識は使わずに、常に基準マスク３２０を設定する。図８に示したように、適切な基準マスク３２０を設定することで、親画面２１０・子画面共に、ある程度見やすい重畳型複数画面表示が可能なことがわかる。
【００６３】
この場合における、図５に示したフローチャートに関して追加説明する。入力２〜４の画像認識設定には、「無」を設定する。入力２〜４のマスクに関しては、「基準マスク」を設定する。マスク変更に関しては、画像認識を行わないので、変更動作も無い。（常に基準マスク）
【００６４】
《認識マスクについて》
本実施形態に係る認識マスクについて説明する。
【００６５】
図９は、本実施形態に係る認識マスクについて説明する図である。画像認識部１５０ａ〜１５０ｄは、入力動画から顔領域３８０を認識結果として出力する（図９（ａ）参照）。制御部１２０は、この認識結果を用いて、マスクパターン（認識マスク３３０）を生成する（図９（ｂ）参照）。さらに、２次元フィルタをかけることによって、制御部１２０は、透過率が徐々に（滑らかに）変化する中間領域３６０を有するマスクパターン（認識マスク３３０）を生成する（図９（ｃ）参照）。
【００６６】
子画面に登場する人物を親画面上に挿入表示する為には、人物の形状を正確に切り抜く方法が考えられる。しかし、その方法では、高精度の認識が要求される。マスクパターンとして楕円を用いることにより、高精度ではない認識でも、良好な挿入表示が可能となる。
【００６７】
人物の動きに応じて、画像認識部１５０ａ〜１５０ｄの認識結果は刻々と変わる。使用するマスクを認識結果に直接連動させると、動きに応じて、マスクパターンが振動する等の、見づらい画像となってしまう。そこで、発生したマスクに対して、時間軸フィルタ（画像フレーム方向のフィルタ）を掛けることにより、振動等が軽減されて、見やすい表示となる。
【００６８】
画像によっては、画像認識部１５０ａ〜１５０ｄが何も認識しない場合がある。そうしたときは、基準マスク３２０を使うことによって、子画面を親画面に適切に重畳することができる。
【００６９】
《認識マスク使用例について》
本実施形態に係る認識マスクの使用例について説明する。
【００７０】
図１０は、本実施形態に係る認識マスクの使用例を示す図である。この例では、画像認識を使って、人物等を認識し、認識結果に合わせた位置に楕円形マスクパターンを配置することにより、子画面内の重要物のみを効果的に表示することができる。楕円形マスクパターンの境界部分である中間領域３６０には、基準マスク３２０と同様にグラディエーションを掛けて、透過率が徐々に（滑らかに）変わるようにしている。図９に示すように、画像認識結果に応じたマスクを使用することで、基準マスク３２０の使用例と比較して、更に見やすい重畳型複数画面表示が可能なことがわかる。
【００７１】
この場合における、図５に示したフローチャートに関して追加説明する。入力２〜４の画像認識設定には、「人物の位置検出」を設定する。入力２〜４のマスクに関しては、初期値として「認識マスク」を設定する。マスク変更に関しては、画像認識の結果からマスクを生成し、マスク情報記憶部１７０ａ〜１７０ｄの内容を書き換える。
【００７２】
《ユーザによる親子入換え指示について》
本実施形態に係るユーザによる親子入換え指示について説明する。
【００７３】
このような親子画面重畳表示を行っているとき、ユーザが子画面を大きくして見たい場合がある。その場合は、図５に示したフローチャートにおいて、動画入力に対する設定変更を行うことにより、親子を入れ換える。例えば、入力１が親画面として表示され、入力３が子画面として表示されている際に、入力１と入力３を入れ換える場合は、初期設定で行った入力１と入力３に対する設定を入れ換えることによって、親子が入れ換わる。ユーザは、例えば、操作入力部１１０に対して入力３を親画面に表示する指示を入力すると、操作入力部１１０は、親画面として入力３が指定された旨を示す操作情報が制御部１２０に出力される。
【００７４】
《親画面の文字スーパーへの対策について》
本実施形態に係る親画面の文字スーパーへの対策について説明する。
【００７５】
図１１は、本実施形態に係る親画面の文字スーパーへの対策について説明する図である。親画面では、放送局の時刻表示や、スポーツ中継の得点表示等の文字スーパーがなされることがある（図１１に示した親画面９１０ｂ参照）。そのとき、文字スーパー上に子画面が表示されると、文字スーパーが見づらくなってしまう。そのような場合の対策として、親画面（図５に示したフローチャートでは入力１）に対して、画像認識設定として文字認識を設定する。親画面の画像認識部１５０ａが文字を認識した場合は、その位置を避けるように子画面（第２子画面９３０）表示位置を変えることで、文字スーパーが見やすくなる。
【００７６】
子画面表示位置を自動で変える場合、瞬間的に自動移動すると、ユーザに違和感を与えることが考えられる。対策として、旧位置の子画面を、透過率を徐々に変えることによってフェードアウトさせ、新位置の子画面を、透過率を徐々に変えることによってフェードインさせることによって、違和感を軽減させることが可能である。
【００７７】
《本実施形態により奏する効果について》
以上に説明したように、マスクを用いて子画面を親画面に重畳することによって、見やすい多画面表示が可能となる。認識を用いず、基準マスクを固定的に用いた重畳でも、比較的見やすい多画面表示が可能となる。既存の放送受信機でも、スケーラやアルファブレンダは既に多く採用されているので、難易度は高くは無い。
【００７８】
画像認識を用いることによって、更に見やすい多画面表示が可能となる。近年デジタルカメラやカムコーダにも画像認識が多く採用されるようになってきた。この認識技術を表示装置にも応用することによって可能となる。
【００７９】
見やすい多画面表示を利用することによって、多チャンネル放送やインターネット動画配信等による大量の動画コンテンツを複数（または多数）同時に、ナガラ視聴することが容易になる。これによって、注目したいコンテンツやその場面を親子切換で大きな画枠で表示することによって、効率の良い複数（または多数）の動画コンテンツの視聴が容易となる。
【００８０】
《本実施形態の変形例について》
上記では、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００８１】
【図１】一般的な表示装置（分割表示方式）の概要について説明する図である。
【図２】一般的な表示装置（子画面重畳方式）の概要について説明する図である。
【図３】本実施形態に係る表示装置の構成を示す図である。
【図４】本実施形態に係るブレンド処理部について補足説明する図である。
【図５】本実施形態に係る表示装置が実行する処理の流れを示す図である。
【図６】本実施形態に係るマスクの例を示す図である。
【図７】本実施形態に係る均一マスクの使用例を示す図である。
【図８】本実施形態に係る基準マスクの使用例を示す図である。
【図９】本実施形態に係る認識マスクについて説明する図である。
【図１０】本実施形態に係る認識マスクの使用例を示す図である。
【図１１】本実施形態に係る親画面の文字スーパーへの対策について説明する図である。
【符号の説明】
【００８２】
１０    表示装置
１１０  操作入力部
１２０  制御部
１３０ａ〜１３０ｄ  動画入力部
１４０ａ〜１４０ｄ  スケーラ部
１５０ａ〜１５０ｄ  画像認識部
１６０ａ〜１６０ｄ  位置移動部
１７０ａ〜１７０ｄ  マスク情報記憶部
１８０  ブレンド処理部
１９０  動画出力部
２００  画面
２１０  親画面
２２０  第１子画面
２３０  第２子画面
２４０  第３子画面
３１０  均一マスク
３２０  基準マスク
３３０  認識マスク
３４０  半透明領域
３５０  親画面表示領域
３６０  中間領域
３７０  子画面表示領域
３８０  顔領域
９００  画面
９１０ａ  親画面
９１０ｂ  親画面
９２０  第１子画面
９３０  第２子画面
９４０  第３子画面
【図１】
2010026021.tif 000003
【図２】
2010026021.tif 000004
【図３】
2010026021.tif 000005
【図４】
2010026021.tif 000006
【図５】
2010026021.tif 000007
【図６】
2010026021.tif 000008
【図７】
2010026021.tif 000009
【図８】
2010026021.tif 000010
【図９】
2010026021.tif 000011
【図１０】
2010026021.tif 000012
【図１１】
2010026021.tif 000013