(57)【要約】【課題】注目部分の滑らかな表示を行うと共に消費電力を抑えることのできる動画表示装置を得る。【解決手段】メッシュ生成部３は、画面を複数のメッシュ領域に分割し、メッシュ情報と優先度情報のディスプレイリストを作成する。仮想Ｚ値生成部４は、各メッシュ領域に対する仮想的なＺ値をディスプレイリストに付加する。描画エリア書き込み判定部５は、メッシュ領域の優先度情報に基づいて、非注目エリアに対するフレームの間引き描画の判定を行う。透視補正マッピング部６は、描画エリア書き込み判定部５の判定結果に基づいて、動画像を、ディスプレイリストに設定されたメッシュ領域単位に、透視補正を施しながらマッピング描画を行う。【選択図】図１
2013186247.tif 000002
【特許請求の範囲】
【請求項１】
動画像から特定の注目エリアを検出する注目エリア検出部と、
前記注目エリアを１つのメッシュ領域として、画面を複数のメッシュ領域に分割し、それぞれのメッシュ領域の画面内の位置を示すメッシュ情報と、前記それぞれのメッシュ領域の優先度情報とを登録するディスプレイリストを作成するメッシュ生成部と、
前記注目エリアとそれ以外の非注目エリアの間で遠近感の表現効果を付加するための仮想的なＺ値を各メッシュ領域に対して生成し、当該Ｚ値を前記ディスプレイリストに付加する仮想Ｚ値生成部と、
前記メッシュ領域の優先度情報に基づいて、前記非注目エリアに対するフレームの間引き描画の判定を行う描画エリア書き込み判定部と、
前記描画エリア書き込み判定部の判定結果に基づいて、前記動画像を、前記Ｚ値が付加されたディスプレイリストに設定されたメッシュ領域単位に、透視補正を施しながらマッピング描画を行う透視補正マッピング部とを備えたことを特徴とする動画表示装置。
【請求項２】
グラフィカルユーザインタフェースのためのＧＵＩ画像を描画するＧＵＩ描画部と、
透視補正マッピング部によって描画された画像と前記ＧＵＩ画像とを、当該ＧＵＩ画像のα値に基づいて合成するピクセル合成部とを備えたことを特徴とする請求項１記載の動画表示装置。
【請求項３】
メモリ帯域の負荷が大きい場合、ＧＵＩ画像の描画の優先度を透視補正マッピング部による画像の描画よりも低くしてピクセル合成部における合成を制御する合成同期制御部を備えたことを特徴とする請求項２記載の動画表示装置。
【請求項４】
注目エリアは拡大表示するエリアであり、非注目エリアは縮小表示を行うエリアであることを特徴とする請求項１から請求項３のうちのいずれか１項記載の動画表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議システムや監視システムなどで、例えば画像に写っている発言者を拡大表示させて他の人は縮小表示させ、注目人物を分かりやすい形でデフォルメさせるといった表示を行う動画表示装置に関する。
【背景技術】
【０００２】
従来、表示画面の一部分を拡大し、他方を縮小表示する方式や変形表示方式としては、例えば特許文献１に記載したようなものがあった。この表示方式は、計算機やワープロ等のディスプレイ装置において、表示画面上の一部を拡大すると同時に他の部分を適当に縮小し、拡大部分とそれ以外との連続性を損なわず、なおかつ画面に表示した情報量を拡大以前と同じに保てるように構成したものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−２７４５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動画の中に映っている注目人物や注目物体を拡大デフォルメさせる表示において、注目部分の動きを滑らかに表示するためには、フルレートでのリアルタイム表示が必要である。また、一般に、デフォルメ処理を施した表示を行うためには、通常表示に比べて演算処理量が増加すると共に、メモリアクセスの回数が増大する。そのため、例えば、特許文献１に記載されたような従来の表示方式を単純に動画表示装置に適用した場合、メモリ帯域が不足して、表示フレームのコマ落ちが発生してしまうという問題があった。また、演算量増大のため、システム全体の消費電力も高くなってしまうという問題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、注目部分の滑らかな表示を行うと共に消費電力を抑えることのできる動画表示装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る動画表示装置は、動画像から特定の注目エリアを検出する注目エリア検出部と、注目エリアを１つのメッシュ領域として、画面を複数のメッシュ領域に分割し、それぞれのメッシュ領域の画面内の位置を示すメッシュ情報と、それぞれのメッシュ領域の優先度情報とを登録するディスプレイリストを作成するメッシュ生成部と、注目エリアとそれ以外の非注目エリアの間で遠近感の表現効果を付加するための仮想的なＺ値を各メッシュ領域に対して生成し、Ｚ値をディスプレイリストに付加する仮想Ｚ値生成部と、メッシュ領域の優先度情報に基づいて、非注目エリアに対するフレームの間引き描画の判定を行う描画エリア書き込み判定部と、描画エリア書き込み判定部の判定結果に基づいて、動画像を、Ｚ値が付加されたディスプレイリストに設定されたメッシュ領域単位に、透視補正を施しながらマッピング描画を行う透視補正マッピング部とを備えたものである。
【発明の効果】
【０００７】
この発明の動画表示装置は、注目エリアと非注目エリアの間で遠近感の表現効果を付加すると共に、非注目エリアに対してフレーム間引きを行うようにしたので、注目部分の滑らかな表示を行うことができると共に消費電力を抑えることができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による動画表示装置を示す構成図である。
【図２】この発明の実施の形態１による動画表示装置の動作を示す説明図である。
【図３】この発明の実施の形態１による動画表示装置の他の例の動作を示す説明図である。
【図４】この発明の実施の形態２による動画表示装置を示す構成図である。
【図５】この発明の実施の形態２による動画表示装置の動作を示す説明図である。
【図６】この発明の実施の形態３による動画表示装置を示す構成図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１による動画表示装置を示す構成図である。
図１に示す動画表示装置は、映像バッファ１、注目エリア検出部２、メッシュ生成部３、仮想Ｚ値生成部４、描画エリア書き込み判定部５、透視補正マッピング部６、フレームバッファ７、ディスプレイ８を備えている。
【００１０】
映像バッファ１は、入力される映像データ（動画像）をフレーム単位に格納するバッファである。注目エリア検出部２は、入力された映像の中から注目すべきエリアを求める処理部である。例えば、テレビ会議システムの場合は、発言している人の顔を顔画像検出および認識回路を用いて検出する。また、監視システムの場合は、不審者やペットなどの画像を認識する。そして、検出された注目エリアのバウンディングボックスの矩形エリア座標を出力する。メッシュ生成部３は、注目エリア検出部２が出力するバウンディングボックスを基準に、全画面をメッシュに分割する処理部である。メッシュはディスプレイリストの形式で図示しないメモリに保存される。仮想Ｚ値生成部４は、各メッシュの頂点における仮想Ｚ値を生成しディスプレイリストに付加する処理部である。描画エリア書き込み判定部５は、ディスプレイリストの中の注目エリアに該当するメッシュをフラグ情報から判断し、各メッシュの描画（フレームバッファ７への書き込み）を毎フレーム行うか否かを判定し、その判定結果を透視補正マッピング部６に出力する。透視補正マッピング部６は、描画エリア書き込み判定部５の判定結果に基づいて、ディスプレイリストのメッシュ情報と映像バッファ１の映像データから透視補正を行いながら映像のマッピング描画を行う処理部である。フレームバッファ７は、透視補正マッピング部６によって描画された画像を格納するバッファである。ディスプレイ８は、ＬＣＤ、有機ＥＬ、電子ペーパなどの表示装置である。
【００１１】
なお、動画表示装置はコンピュータを用いて実現され、注目エリア検出部２〜透視補正マッピング部６は、それぞれの機能に対応したソフトウェアと、これらソフトウェアを実行するためのＣＰＵやメモリといったハードウェアから構成されている。あるいは、少なくともいずれかの機能部を専用のハードウェアで構成してもよい。また、映像バッファ１およびフレームバッファ７は、同一メモリでも、ＣＰＵの主記憶と共用されていても構わない。同様に、ディスプレイリストはオンチップの内蔵ＲＡＭへ格納しても、フレームバッファ７へ格納しても構わない。
【００１２】
次に、実施の形態１の動画表示装置の動作について説明する。
図２は、メッシュ生成部３、仮想Ｚ値生成部４、描画エリア書き込み判定部５、透視補正マッピング部６の動作を説明するための図である。
注目エリア検出部２は、例えば、映像（元画像）中の左から２番目の人物の顔を注目ターゲットとして検出したとすると、顔画像のバウンディングボックスとなる(1)を注目エリアとして出力する。メッシュ生成部３は、注目エリアが画面上の中央に大きく配置されるように、各分割エリア（メッシュ）のスクリーンＸＹ座標生成と、各メッシュに映像をマッピングするときに必要な映像元のＵＶ座標（テクスチャＸＹ座標）の算出を行う。そして、各メッシュ単位にＸＹ座標とＵＶ座標のディスプレイリストを作成する。ディスプレイリストは、後述するＺ座標と、検出結果の注目度の優先順位を格納するための注目度フラグも備える。例えば、(1)には優先順位１を、(2)，(3)，(4)，(5)には優先順位２が設定される。仮想Ｚ値生成部４は、２次元平面の映像に対して、注目エリアを遠近感をつけて強調させるために各メッシュの頂点のＺ値を生成する。例えば、メッシュ(1)を強調させ、メッシュ(2)，(3)，(4)，(5)を目立たなくするための手法として下記の手段が考えられる。
【００１３】
・遠近法Ａ
注目メッシュを手前(視点に近い方)に配置し、非注目メッシュをなだらかに後方に配置する。
・遠近法Ｂ
注目メッシュを手前(視点に近い方)に配置し、非注目メッシュを後方に均一Z値で配置する。
・遠近法Ｃ
注目メッシュが手前(視点に近い方)に配置されるように、全体を球面上にマッピングする。
【００１４】
図２では、説明を簡単にするために水平方向Ｌ０−Ｌ１に対しての遠近法を示しているが、垂直方向に対しても同様に適用される。
透視補正マッピング部６は、ディスプレイリストの各メッシュのＸ，Ｙ，Ｚ，Ｕ，Ｖ座標に基づいて、メッシュに対する映像データのマッピング処理を行う。透視補正を行うために、以下の演算処理によりピクセルを生成する。ここで、Ｕ’，Ｖ’，Ｚ’はＵ／Ｚ，Ｖ／Ｚ，１／Ｚを線形補間した値である。
【００１５】
2013186247.tif 000003
【００１６】
これにより、各種遠近法により生成されたＺ値に基づいた遠近間を映像に対して付加することができ、２次元平面の入力映像に対して、注目部分の拡大表示と遠近感表示により、分かりやすく強調させることができる。こうして、表示画面を見る人は、意識することなく注目部分に自然と目が行くことになる。また、非注目部分は小さいながらも画面上に常に表示されるため、映像全体の状況や雰囲気を把握することが可能である。
【００１７】
描画エリア書き込み判定部５は、ディスプレイリストの注目度フラグ情報から優先順位の高いメッシュを優先して描画するよう判定する。優先度の高いメッシュについては、必ず毎フレームの描画を行い、優先度の低いメッシュについては、フレーム間引きを行いながら描画を行う。優先度の低いメッシュは、非注目エリアであり、フレーム落ちしても目立たないためである。
【００１８】
これにより、メモリ帯域を抑えながらデフォルメの動画処理を実行することが可能となり、システムの貴重なメモリ資源を効率的に使用することができる。特に、画像メモリがＣＰＵなどと共用されたシステムにおいては非常に有効である。また、回路の動作率を低く抑えることができるため、消費電力を小さくすることが可能となる。
【００１９】
図３は、注目フラグの優先順位が高いものが複数ある場合（例えば、テレビ会議などで主要な発言者が複数いる場合）のメッシュ分割とメッシュ生成の例を示したものである（注目(1)，(2)参照）。非注目の面積が小さすぎて潰れてしまわないようにある程度配慮しながら、最適な大きさの分割によりメッシュを生成する。
このように、メッシュの分割方式を変更することにより、注目エリアが複数発生した場合にも、対応が可能で、動的に動画をデフォルメさせて表示を行うことができる。
【００２０】
以上説明したように、実施の形態１の動画表示装置によれば、動画像から特定の注目エリアを検出する注目エリア検出部と、注目エリアを１つのメッシュ領域として、画面を複数のメッシュ領域に分割し、それぞれのメッシュ領域の画面内の位置を示すメッシュ情報と、それぞれのメッシュ領域の優先度情報とを登録するディスプレイリストを作成するメッシュ生成部と、注目エリアとそれ以外の非注目エリアの間で遠近感の表現効果を付加するための仮想的なＺ値を各メッシュ領域に対して生成し、Ｚ値をディスプレイリストに付加する仮想Ｚ値生成部と、メッシュ領域の優先度情報に基づいて、非注目エリアに対するフレームの間引き描画の判定を行う描画エリア書き込み判定部と、描画エリア書き込み判定部の判定結果に基づいて、動画像を、Ｚ値が付加されたディスプレイリストに設定されたメッシュ領域単位に、透視補正を施しながらマッピング描画を行う透視補正マッピング部とを備えたので、注目部分の滑らかな表示を行うことができると共に消費電力を抑えることができる。
【００２１】
また、実施の形態１の動画表示装置によれば、注目エリアは拡大表示するエリアであり、非注目エリアは縮小表示を行うエリアであるようにしたので、より注目部分を分かりやすく強調表示することができる。
【００２２】
実施の形態２．
図４は、実施の形態２の動画表示装置を示す構成図である。
実施の形態２の動画表示装置は、実施の形態１の動画表示装置の構成に加えて、動画のデフォルメとＧＵＩ（グラフィカルユーザインタフェース）描画の合成表示を行うための手段を備えたものである。図中、ＧＵＩ描画部９は、メニュー、テロップ、アニメーションなどを２Ｄ（ベクターグラフィックスを含む）または３Ｄグラフィックス方式でフレームバッファ７へ描画を行う描画部である。ピクセル合成部１０は、透視補正マッピング部６からフレームバッファ７へ描画されたデフォルメ動画とＧＵＩ描画部９から描画されたＧＵＩ画像を画素単位に合成処理するよう構成されている。また、描画エリア書き込み判定部５ａは、実施の形態１の描画エリア書き込み判定部５の機能に加えて、ＧＵＩ描画部で描画されたＧＵＩ画像のα値を書き込みマスク情報として透視補正マッピング部６における描画エリアの判定を行うよう構成されている。なお、図４において、映像バッファ１〜仮想Ｚ値生成部４および透視補正マッピング部６〜ディスプレイ８は、図１に示した実施の形態１の構成と同様であるため、ここでの説明は省略する。
【００２３】
図５は、図４のピクセル合成部１０と描画エリア書き込み判定部５ａの動作を説明するための図である。ＧＵＩ画像は、ＡＲＧＢ（３２ｂｉｔ）のピクセルフォーマットでフレームバッファ７へ格納されるとする。Ａ要素の初期値は０であり、ＧＵＩ描画部９により塗りつぶされた領域には２５５が書き込まれ、文字や図形などのアンチエイリアスのカバレッジ情報も書き込まれる。ピクセル合成部１０は、フレームバッファ７に格納されたＧＵＩ画像とデフォルメされたビデオ動画のピクセルデータを読み出し、ＲＧＢコンポーネントごとに以下のブレンド演算をリアルタイムに実行する。ここで、ＡはＧＵＩ画像のα値、ＣｓはＧＵＩ画像のＲＧＢ値、Ｃｄはデフォルメ画像のＲＧＢ値である。
【００２４】
Ａ＊Ｃｓ＋（２５５−Ａ）＊Ｃｄ
また、Ａは画面における画素単位のマスク情報として、デフォルメされたビデオ画像の書き込みを判定する描画エリア書き込み判定部５ａへも送られる。Ａ＝２５５が設定された領域は、ＧＵＩ画像のみが表示されビデオ画像は表示されないため、ビデオ画像の描画処理を省略するよう透視補正マッピング部６に指示する。一方、Ａ＜＞２５５が設定された領域に対しては、ビデオ画像の書き込みを実行する。
【００２５】
これにより、メニューやテロップの文字や図形の輪郭部においてアンチエイリアス処理を背景のビデオ画像に対してリアルタイムに施すことができる。背景ビデオに対して、文字だけを切り出して合成することも可能となり、ＧＵＩ画像とビデオ画像の高品質な合成表示を実現できる。また、デフォルメされたビデオ画像をフレームバッファ７へ描画するときに、ＧＵＩ画像に隠れて表示されないエリアについては、予め描画処理をマスクすることにより、透視補正マッピング部６は不必要な描画処理を省略できる。この結果、コマ落ちの性能劣化を防ぎメモリ帯域を有効に活用できると同時に、システム全体の消費電力を削減することが可能となる。
【００２６】
以上説明したように、実施の形態２の動画表示装置によれば、グラフィカルユーザインタフェースのためのＧＵＩ画像を描画するＧＵＩ描画部と、透視補正マッピング部によって描画された画像とＧＵＩ画像とを、ＧＵＩ画像のα値に基づいて合成するピクセル合成部とを備えたので、ＧＵＩ画像を合成する場合でもシステム全体の消費電力を削減することができる。
【００２７】
実施の形態３．
図６は、実施の形態３の動画表示装置を示す構成図である。
実施の形態３の動画表示装置は、実施の形態２の動画表示装置の構成に加えて、デフォルメされたビデオ画像とＧＵＩ画像の合成表示の同期制御を行うための手段を備えたものである。図中、合成同期制御部１１は、ＧＵＩのアニメーション画像をデフォルメされたビデオ画像に同期を合わせるための制御部である。この合成同期制御部１１は、デフォルメされたビデオ画像の垂直同期信号（ＶＳＹＮＣ）に合わせて、ＧＵＩ描画部９からの描画コマンドを発行開始することにより、ビデオ画像とＧＵＩアニメーションの描画を同期させる。なお、図６において、映像バッファ１〜ピクセル合成部１０は、図４に示した実施の形態２の構成と同様であるため、ここでの説明は省略する。
【００２８】
次に、実施の形態３の動画表示装置の動作について説明する。
メモリ帯域が不足して、デフォルメされたビデオ画像またはＧＵＩアニメーション画像のどちらか一方のコマ落ちが発生する場合、合成同期制御部１１は、ＧＵＩ描画部９によるＧＵＩアニメーションのための描画処理の優先度を落とす。これにより、透視補正マッピング部６におけるデフォルメされたビデオ画像のフルレート描画を優先させることができる。この際、フレームバッファ７の図示しないバス調停回路は、デフォルメされたビデオ画像の描画アクセスが発生した場合、ＧＵＩアクセス要求を受け付けない。ビデオ画像のひとかたまりデータのアクセス（例えば１スキャンラインなど）が完了後、ＧＵＩからのアクセス要求を受け付け、ＧＵＩ描画部９からのＧＵＩ描画を許可する。また、ピクセル合成部１０は、ＧＵＩ描画部９からの描画が完了するまでは、直前のＧＵＩ画像を読み続けることにより、合成処理を行う。
【００２９】
以上説明したように、実施の形態３の動画表示装置によれば、メモリ帯域の負荷が大きい場合、ＧＵＩ画像の描画の優先度を透視補正マッピング部による画像の描画よりも低くしてピクセル合成部における合成を制御する合成同期制御部を備えたので、メモリ帯域の負荷が重くなった場合でも、デフォルメされたビデオ画像表示をコマ落ちさせることなく、ＧＵＩとの合成表示を実現することが可能となる。
【００３０】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００３１】
１  映像バッファ、２  注目エリア検出部、３  メッシュ生成部、４  仮想Ｚ値生成部、５，５ａ  描画エリア書き込み判定部、６  透視補正マッピング部、７  フレームバッファ、８  ディスプレイ、９  ＧＵＩ描画部、１０  ピクセル合成部、１１  合成同期制御部。
【図１】
2013186247.tif 000004
【図２】
2013186247.tif 000005
【図３】
2013186247.tif 000006
【図４】
2013186247.tif 000007
【図５】
2013186247.tif 000008
【図６】
2013186247.tif 000009