(57)【要約】  符号化された映像コンテンツの復号処理の負荷を軽減しながら、マルチ画面表示を用いてより多くの映像を違和感なく表示させるマルチ画面表示装置を提供する。このマルチ画面表示装置は、Ｉ，Ｐ，Ｂピクチャを混在して含む符号化データからなる複数の映像を単一画面に表示するマルチ画面表示装置であって、前記複数の映像のうち強調する映像を表示する画面を所定時間おきに指定する強調画面決定部と、前記強調画面決定部で決定された画面に表示される映像以外に対する復号処理部における処理負荷を、Ｂピクチャを削除することにより削減する負荷軽減部と、を備えたものである。これにより、強調させた映像が所定時間毎に変化させながら表示されるので、ユーザの視線を滑らかな映像へと向くように誘導することができる。
2009093557.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像を単一画面に表示するマルチ画面表示装置において、前記複数の映像のうち強調する映像を表示する画面を指定する強調画面決定部と、前記強調画面決定部で決定された画面に表示される映像以外に対する復号処理部における処理負荷を削減する負荷軽減部と、を備えることを特徴とするマルチ画面表示装置。
【請求項２】
請求項１に記載のマルチ画面表示装置において、前記負荷軽減部は、前記映像の表示サイズが所定の大きさよりも小さい場合に、該映像に対する復号処理部における処理負荷を削減することを特徴とするマルチ画面表示装置。
【請求項３】
請求項１または２に記載のマルチ画面表示装置において、前記強調画面決定部は、強調表示を行う画面を所定時間おきに決定することを特徴とするマルチ画面表示装置。
【請求項４】
請求項１、２または３に記載のマルチ画面表示装置において、前記映像が、フレーム内で情報圧縮された２次元圧縮映像データであるＩピクチャと、時間的に前方向のＩピクチャによる動き補償を加えて情報圧縮された３次元圧縮映像データであるＰピクチャと、時間的に前後方向のＩピクチャまたはＰピクチャによる動き補償を加えて情報圧縮された３次元圧縮映像データであるＢピクチャとを混在して含む符号化データであった場合、前記負荷軽減部は、前記強調画面決定部で決定された画面に表示される映像以外に対して、Ｂピクチャの削除を行うことにより復号処理における処理負荷を削減することを特徴とするマルチ画面表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像コンテンツを同時に表示するマルチ画面表示装置に関し、符号化された映像コンテンツの復号処理の負荷を軽減したマルチ画面表示装置に関する。
【背景技術】
【０００２】
テレビジョン放送におけるチャンネル数の増加、録画機器の記憶容量の増大による記録番組数の増加、インターネット上の動画コンテンツの増加等により、ユーザは多様な映像コンテンツ（動画）の中から視聴する映像を決めることができるようになってきた。【０００３】
現在、テレビジョン番組は、ＥＰＧ（電子番組表）を用いた文字情報からチャンネルを選択したり、録画機器に記録された録画番組では各番組の静止画像とＥＰＧからの番組情報を同一画面上に複数並べたサムネイル表示から選択したり、インターネット上においてはキーワードを用いた文字検索による動画の絞り込みなどによって映像の選択がなされている。【０００４】
また、表示装置の大画面化、高精細化により、複数の映像信号から取り出した映像を複数の領域に分割された画面の各領域へ同時に表示させるマルチ画面表示システムが利用されるようになってきている。今後のさらなる表示装置の大画面、高精細表示装置の普及によって、数十から数百の映像を同時に表示し、多くの映像の中から視聴したい映像を選択するという映像選択方法が可能となるものと思われる。【０００５】
上記のように、大画面表示装置において、非常に多くの映像の中から所望の映像を選択するための手段として、マルチ画面表示システムが有用であり、例えば、特許文献１の番組選択支援装置では、マルチ画面に表示された番組のうち、ユーザが見ている時間の長さに応じて番組の表示サイズを変更させることによって、番組選択の効率低下を防止している。【０００６】
ところで、テレビジョン放送や録画機器等では、ＭＰＥＧ（Moving Picture coding Experts Group）方式の動画像符号化が用いられている。図１０は、この動画再生方式の構成例を示すブロック図である。【０００７】
ＭＰＥＧで符号化された画像データを復号する装置においては、入力された符号化データをバッファ１１に順次格納し、その入力データを順次読み出し、多重化分離器１２によって必要な情報を分離する。次に、可変長復号部１３、逆量子化器１４、逆ＤＣＴ（Inverse Discrete Cosine Transform）部１５、ピクチャ蓄積部１９で蓄積される前もしくは後ろのフレームを用いた動き予測部１８による動き補償の各処理を行い、フレームバッファに格納し、このフレームバッファからピクチャ並び替え部１７によってピクチャの順序を整え、表示すべき順に読み出して画面上に出力している。【０００８】
このＭＰＥＧ方式によって符号化される動画像データは、フレーム間予測方法に基づく３種類の画像(ピクチャ)タイプ、即ち、画像内独立符号化される画像であるＩピクチャ、片側方向フレーム間予測符号化される画像であるＰピクチャ、双方向フレーム間予測符号化される画像であるＢピクチャを持っている。【０００９】
上記した複数の映像を同時に表示させるマルチ画面表示システムでは、複数の入力映像信号に対して同時に復号処理を行う必要があり、同時に表示しようとする映像の数が増えるほど復号処理部における処理負荷が増加するため、数百もの動画に対して同時に復号処理を行うことは難しい。
しかし、復号処理部における処理負荷軽減を行わなければ、一動画当りの復号処理が大きくなり、最大表示動画の数が減ってしまうという問題がでてくる。【００１０】
特許文献２の動画像復号装置では、ＭＰＥＧ方式によって符号化された動画像データの再生において、Ｉ，Ｐ間およびＰ，Ｐ間のＢピクチャを一部または全部削除して、残りをビデオ復号部に供給することで、復号時の処理負荷を削減している。
【特許文献１】特開２００５−３３３５２４号公報
【特許文献２】特開２０００−２９９８６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献２のように、フレーム間予測の参照画像とならない画像の符号列（Ｂピクチャの符号列）の間引きによって復号処理を簡略化することは可能ではあるが、マルチ表示されるすべての映像がコマ落ちで表示されてしまうため、映像の内容が把握しにくくなり、所望の映像であるか判断できなくなってしまう可能性がある。【００１２】
本発明は、上記の実情を考慮してなされたものであり、符号化された映像コンテンツの復号処理の負荷を軽減しながら、マルチ画面表示を用いてより多くの映像を違和感なく表示させるマルチ画面表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明を次のような構成とする。
本発明のマルチ画面表示装置は、複数の映像を単一画面に表示するマルチ画面表示装置であって、前記複数の映像のうち強調する映像を表示する画面を指定する強調画面決定部と、前記強調画面決定部で決定された画面に表示される映像以外に対する復号処理部における処理負荷を削減する負荷軽減部と、を備えたものである。【００１４】
さらに、前記負荷軽減部において、前記映像の表示サイズが所定の大きさよりも小さい場合に、該映像に対する復号処理部における処理負荷を削減するようにしてもよい。
さらに、前記負荷軽減部は、前記映像が、フレーム内で情報圧縮された２次元圧縮映像データであるＩピクチャと、時間的に前方向のＩピクチャによる動き補償を加えて情報圧縮された３次元圧縮映像データであるＰピクチャと、時間的に前後方向のＩピクチャまたはＰピクチャによる動き補償を加えて情報圧縮された３次元圧縮映像データであるＢピクチャとを混在して含む符号化データであった場合、前記強調画面決定部で決定された画面に表示される映像以外に対して、Ｂピクチャの削除を行うことにより復号処理における処理負荷を削減する。【００１５】
また、前記強調画面決定部において、強調表示を行う画面を所定時間おきに決定することにより、ユーザの視線を滑らかな映像へと向くように誘導することができる。
【発明の効果】
【００１６】
本発明によれば、符号化された映像コンテンツの復号処理の負荷を軽減しながら、マルチ画面表示を用いてより多くの映像を違和感なく表示させることができる。
【図面の簡単な説明】
【００１７】
【図１】視線の移動方向が同一方向横向きに移動する場合の視線移動例である。
【図２】視線の移動方向がＦの字を描くように移動する場合の視線移動例である。
【図３】視線の移動方向が左右方向に交互に繰り返す途切れのない場合の視線移動例である。
【図４】本実施形態に係るマルチ画面表示装置の概略構成図である。
【図５】本実施形態に係る復号器の構成を示すブロック図である。
【図６】本実施形態に係る復号器における負荷軽減部の構成を示すブロック図である。
【図７】本実施形態に係る復号器の処理の流れを示すフローチャートである。
【図８】本実施形態に係るマルチ画面生成部の構成を示すブロック図である。
【図９】マルチ画面生成部の処理の流れを示すフローチャートである。
【図１０】従来の復号器の構成例を示すブロック図である。
【符号の説明】
【００１８】
１…映像選択部、２…表示位置決定部、３…表示データ抽出部、４…データ蓄積部、５…復号処理部、１１…バッファ、１２…多重化分離器、１３…可変長復号部、１４…逆量子化器、１５…逆ＤＣＴ部、１６…加算器、１７…ピクチャ並び替え部、１８…動き予測部、１９…ピクチャ蓄積部、２０…負荷軽減部、２１…表示サイズ判定部、２２…強調映像判定部、２３…Ｂピクチャスキップ部、６…マルチ画面生成部、６１…リサイズ部、６２…輝度調整部、６３…合成部、７…表示部、８…強調画面決定部。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明に係るマルチ画面表示装置の好適な実施形態について説明する。本実施形態では、ハードディスク等のデータ蓄積装置に蓄積したテレビ放送やインターネットからの映像コンテンツに対してマルチ表示を行う場合について説明する。【００２０】
まず、マルチ表示するときの画面割を予めあるいはユーザによって設定しておく必要がある。例えば、表示装置の画面を縦１０映像×横１０映像に分割すると、１００個の映像がマルチ表示される。以下、マルチ表示の個々の映像が表示される画面を小画面と呼ぶことにする。【００２１】
次に、ユーザがマルチ表示を指示すると、データ蓄積装置に蓄積した映像コンテンツの一覧表示が表示され、この一覧表示からマルチ表示したい映像コンテンツをユーザに選択させる。
選択された映像コンテンツは、データ蓄積装置から読み出され、それぞれ小画面のサイズにリサイズされて、表示装置の１画面に合成され、マルチ表示がなされる。
ここで、選択された映像コンテンツの個数が小画面の個数より多い場合には、マルチ表示を複数回に分けて実行し、さもなければ表示対象の映像コンテンツのない小画面に何も表示させないか、あるいは、画面割を変更するようにしてもよい。【００２２】
マルチ表示の中から所望の映像コンテンツを選択するときには、例えば、ユーザは、マルチ画面表示装置に備えられたリモコンの十字キーによって、所望の映像コンテンツが表示された小画面上へカーソルを移動させて決定キーによって選択する。所望の映像コンテンツが選択されると、その映像コンテンツが表示装置の１画面に拡大して表示される。【００２３】
尚、本発明では、マルチ表示された中から所望の映像コンテンツを選び易いように、ユーザの視線を誘導するようにしている。
一般に、人がマルチ表示された映像コンテンツを見る場合、その視線は左から右へ、上から下へと移動することが知られており、本発明では、この性質を利用するため、ユーザが注視している小画面に表示された映像が他の小画面に表示された映像より相対的に強調されるようにし、この強調した映像を表示する小画面を一定の時間間隔で他の小画面に移動させてユーザの注意をひきつけることによって、ユーザの視線を誘導する。【００２４】
ユーザの視線を誘導する方向には、次に示すような移動方向がある。
図１は、視線の移動方向が同一方向横向きに移動する場合であり、走査型横移動と呼ぶ。図２は、視線の移動方向がＦの字を描くように移動する場合であり、Ｆの字型移動と呼ぶ。また、図３は、視線の移動方向が左右方向に交互に繰り返す途切れのない場合であり、ジグザグ型横移動と呼ぶ。【００２５】
ここで、図１，２，３に示される数字は、強調した映像が表示される順番号を表すものである。図１の例では、順番号１の小画面が強調されており、その周辺の順番号２，９，１０に対応する小画面は順番号１より強調を落とし、その他の順番号に対する小画面はさらに強調を落として表示されている。また、順番号２８の小画面が注視の対象となった場合には、この小画面を強調表示し、その周辺の順番号１９，２０，２１，２７，２９，３５，３６，３７に対応する小画面は順番号２８より強調を落とし、その他の順番号に対する小画面はさらに強調を落として表示されている。
図２および３の例でも同様に注視すべき順番号の小画面およびその周辺の小画面の強調をその他の小画面よりも際立たせるようにしている。【００２６】
ユーザの視線がある小画面から次の小画面に移動する時間間隔（以下、遷移タイミングと呼ぶ）を１秒に設定した場合、１秒毎に図１乃至図３で示されている順番に従って、強調した映像を表示する小画面を移動させることによって、視線の移動をユーザに促すようにする。【００２７】
視線の移動方向は、上記のものに限られたものではなく、それぞれの図に示される順番を上下もしくは左右を逆にした順番であってもよい。
また、横方向への移動だけでなく、縦方向に移動する走査型縦移動、ジグザグ型縦移動であってもよい。【００２８】
さらに、上記の移動順をユーザの好みに合わせて設定することも可能である。これは、移動順記録モードを設けることにより、リモコン等で実際にユーザがマルチ画面映像の移動操作を行い、その移動順と移動時間（遷移タイミング）を記憶することで実現することができる。【００２９】
次に、本実施形態に係るマルチ画面表示装置について説明する。
図４は、本実施形態に係るマルチ画面表示装置の概略構成図である。同図において、マルチ画面表示装置は、映像選択部１、表示位置決定部２、表示データ抽出部３、データ蓄積部４、復号処理部５、マルチ画面生成部６、表示部７、強調画面決定部８を含んで構成されている。【００３０】
データ蓄積部４は、マルチ表示する対象となるＭＰＥＧ方式で符号化された映像コンテンツを蓄積するものであり、ハードディスク等の大容量しかも読出し速度の高速な記憶媒体で構成されている。このデータ蓄積部４に蓄積されるのは、放送波から得られる信号をチューナ部によって変換される映像信号、ネットワークに接続されたサーバが保持する映像コンテンツから得られる映像信号、およびその他の外部映像出力器（例えば、ＤＶＤ機器）から入力される映像信号が対象である。【００３１】
映像選択部１は、ユーザがマルチ表示を指示すると、データ蓄積部４に蓄積した映像コンテンツの一覧表示を表示し、この一覧表示からマルチ表示したい映像コンテンツをユーザに選択させ、選択された映像コンテンツの格納されているアドレスを表示位置決定部２へ供給する。【００３２】
表示位置決定部２は、映像選択部１から供給された各映像コンテンツに対して、小画面のいずれに表示するかを決定する。これは、予め設定された分割数に応じて、マルチ表示したときの各小画面の表示位置に対して固有の番号（画面番号という）を与え、この画面番号と映像コンテンツの格納されているアドレスとを対応させて、表示データ抽出部３に供給する。【００３３】
表示データ抽出部３は、表示位置決定部２から供給された各映像コンテンツの符号データを同時に復号処理部５に供給する。ここで、映像コンテンツの符号データは、データ蓄積部４を参照して、映像コンテンツが格納されているアドレスから符号化データを取り出す。また、符号データを送る際には、この符号化データが復号された映像が表示される小画面の画面番号も付加して復号処理部５に送る。【００３４】
強調画面決定部８は、強調する小画面の画面番号を生成して、遷移タイミングの間はその画面番号を復号処理部５およびマルチ画面生成部６へ供給し続ける。
このために、次の情報を既定値として、あるいはユーザによって予め設定しておく。【００３５】
（１）遷移タイミングの設定：
遷移タイミングは、強調する小画面を変更する時間間隔を示すものであり、既定値としては、１秒を設定する。【００３６】
（２）遷移順番号テーブルの設定：
遷移順番号テーブルは、強調表示する順番の順序で、強調表示する小画面の画面番号を記憶するテーブルであり、画面分割数と視線の移動方向が決定されたときに設定される。
強調表示する順番号は、上述の３種類の視線の移動方向あるいはユーザが設定したものから決定される。
例えば、図１の走査型横移動の場合には、小画面番号と強調表示する順番号とは同じになるが、図２や図３の場合には、小画面番号と強調表示する順番号とは一致したものとはならない。【００３７】
強調画面決定部８は、遷移タイミングごとに強調表示する順番をカウントアップし、遷移順番号テーブルのこのカウントに対する位置の小画面の画面番号を取得し、遷移タイミングの間はその画面番号を強調画面情報として復号処理部５およびマルチ画面生成部６へ供給し続ける。
ここで、強調表示する順番が遷移順番号テーブルの最後まできた場合には、遷移順番号テーブルの先頭へ戻してカウントアップさせるようにする。【００３８】
次に、復号処理部５について説明する。
復号処理部５は、供給される複数の符号化データ（映像信号データ）を同時に復号処理するために、各符号化データに対応した複数の復号器を備えている。
単一の符号化データを復号処理する各復号器は、表示データ抽出部３から供給された符号化データを復号処理して得た映像出力とその映像が表示される小画面の画面番号とをマルチ画面生成部６へ供給する。
以下では、単一の符号化データを復号処理する復号器について説明する。【００３９】
図５は、本実施形態に係る復号器の構成を示すブロック図である。同図において、復号器は、バッファ１１、多重化分離器１２、負荷軽減部２０、可変長復号部１３、逆量子化器１４、逆ＤＣＴ部１５、加算器１６、ピクチャ並び替え部１７、動き予測部１８、ピクチャ蓄積部１９を含んで構成されている。【００４０】
復号器は、表示データ抽出部３から供給された符号化データをバッファ１１に順次格納し、復号化処理の進行に従って、バッファ１１から符号化データを順次読み出し、多重化分離器１２に供給する。
多重化分離器１２は、符号化データのヘッダを解析して、Ｉ，Ｐ，Ｂタイプの符号の場合には、ピクチャタイプ、水平方向の画素数、垂直方向のライン数および符号化データを負荷軽減部２０に供給する。また、動きベクトルの場合には、その動きベクトルおよび符号化モードを動き予測部１８に供給する。【００４１】
負荷軽減部２０は、後述するが、多重化分離器１２から符号を順次受けて、そのうち所定の条件に合致したＢピクチャの符号を破棄し、ＩピクチャやＰピクチャの符号はそのまま、可変長復号部１３に供給する。【００４２】
可変長復号部１３は、負荷軽減部２０から供給された符号から可変長符号を検出して、固定長の符号に戻し、逆量子化器１４に供給する。
逆量子化器１４は、符号化側にて量子化された変換係数の符号を元の変換係数に逆変換するものであり、多重化分離器１２からの量子化ステップサイズにて逆量子化し、逆ＤＣＴ部１５に供給する。【００４３】
逆ＤＣＴ部１５は、逆量子化器１４からの変換係数を元の画素値に逆変換するものであり、符号化側にてＤＣＴ（discrete cosine transform）変換されたそれぞれのマクロブロック毎の映像信号を再生する。再生された映像信号は、加算器１６を介してピクチャ並び替え部１７に供給され、またはピクチャ蓄積部１９に一時蓄積される。【００４４】
動き予測部１８は、ピクチャ蓄積部１９からの前フレームの映像信号を動きベクトルにて動き補償した現フレームの映像信号を生成する。動き補正した映像信号は、加算器１６にて逆ＤＣＴ部１５からの映像信号と加算されてフレームバッファに格納される。
ピクチャ並び替え部１７は、このフレームバッファからピクチャの順序を整え、表示すべき順に読み出した映像信号を出力する。【００４５】
図６は、本実施形態に係る復号器における負荷軽減部２０の構成を示すブロック図である。同図において、負荷軽減部２０は、表示サイズ判定部２１、強調映像判定部２２、Ｂピクチャスキップ部２３を含んで構成されている。【００４６】
本実施形態では、強調表示する順番号に対応した小画面の周辺の小画面についてもＢピクチャの削除を行わない範囲を設定することができるが、そのための範囲は既定値あるいはユーザによって予め設定しておくものとする。
例えば、注視する小画面についてのみＢピクチャの削除を行わないときには、範囲をゼロに設定する。また、注視する小画面の四方に３つはなれた小画面もＢピクチャの削除を行わないときには、範囲を３と設定する。勿論、範囲は、四方ではなく１／２／３方向であっても構わない。【００４７】
負荷軽減部２０は、多重化分離器１２から供給された符号化データをまず表示サイズ判定部２１に供給する。
表示サイズ判定部２１は、供給された符号化データの表示サイズ（水平方向の画素数および垂直方向のライン数）を多重化分離器１２から受け取って、この表示サイズが所定の閾値以下であるかを判定する。
所定の閾値以下である場合には、供給された符号化データをＢピクチャスキップ部２３に供給する。また、所定の閾値以上の場合には、供給された符号化データを強調映像判定部２２に供給する。【００４８】
一般的にユーザは、表示装置の画面高の約３倍以上の距離から視聴するため、個々の映像の縦及び横の解像度が表示装置の画面幅の１／８以下の画素数であればＢピクチャを削除しても気にならないとみなせるので、上記の所定の閾値を表示装置の画面幅の１／８として設定する。【００４９】
例えば、縦のライン数が１０８０、横の画素数が１９２０の表示装置を用いた場合、符号化データ（映像信号）の縦のライン数が１３５以下または横の画素数が２４０以下であった場合は、これを所定の閾値とし、Ｂピクチャをスキップするか否かを判定する。【００５０】
強調映像判定部２２は、供給された符号化データを復号したときに表示される小画面番号が、強調画面決定部８から供給される画面番号と同じかあるいはＢピクチャの削除対象範囲内の画面番号であるかを判定する。
画面番号が同じか範囲内であれば、供給された符号化データをそのまま出力するが、画面番号が範囲外であれば、供給された符号化データをＢピクチャスキップ部２３に供給する。【００５１】
Ｂピクチャスキップ部２３は、表示サイズ判定部２１または強調映像判定部２２から供給された符号化データのピクチャタイプがＢピクチャである場合には、供給された符号化データをスキップする。あるいは、供給された符号化データのピクチャタイプがＩピクチャあるいはＰピクチャの場合には、そのまま出力する。【００５２】
このように、負荷軽減部２０において、復号処理中の各映像信号がユーザの視線を誘導する映像に該当するか範囲内であるかを判定し、該当する映像はユーザの視線が向けられるのでＩピクチャ、Ｂピクチャ、Ｐピクチャのすべてのピクチャを用いて完全な復号処理を行なわせるようにする。
逆に、該当しない場合には、ユーザがあまり視線を向けないので、Ｂピクチャを間引いて、Ｉピクチャ、Ｐピクチャのみを用いて、復号処理を行なわせるようにする。【００５３】
図７は、本実施形態に係る復号器の処理の流れを示すフローチャートである。
以後の説明における各記号について、Ｐは処理中の符号化データが復号されたときの映像が表示される小画面番号、Ｓはユーザに対して視線を向けさせる強調画面番号を表すものとする。【００５４】
供給された符号化データを入力し（ステップＳ１１）、この符号化データの表示サイズが所定の閾値より小さい場合（ステップＳ１２／ＮＯ）、Ｂピクチャの符号化データをスキップし（ステップＳ１４）、ステップＳ１５へ進む。【００５５】
一方、供給された符号化データが所定の閾値より大きい場合（ステップＳ１２／ＹＥＳ）、供給された符号化データの小画面番号（Ｐ）が強調画面番号（Ｓ）に近いかを判定する（ステップＳ１３）。
例えば、Ｓ−３≦Ｐ≦Ｓ＋３で表わされる式に従って判別を行う。すなわち、強調すべき小画面の前後３つの小画面に該当するかを判定する。【００５６】
供給された符号化データの小画面番号（Ｐ）が強調画面番号（Ｓ）から遠い場合（ステップＳ１３／ＮＯ）、Ｂピクチャの符号化データをスキップし（ステップＳ１４）、ステップＳ１５へ進む。
他方、供給された符号化データの小画面番号（Ｐ）が強調画面番号（Ｓ）に近い場合（ステップＳ１３／ＹＥＳ）、ステップＳ１５へ進む。【００５７】
上記の処理がされた符号化データを用いて、可変長復号（ステップＳ１５）、逆量子化（ステップＳ１６）、逆ＤＣＴ（ステップＳ１７）、ピクチャ並び替え（ステップＳ１８）の処理を従来のＭＰＥＧ復号処理と同様に行った映像信号を出力する（ステップＳ１９）。【００５８】
次に、マルチ画面生成部６について説明する。
マルチ画面生成部６は、供給された各小画面に対する映像信号を小画面のサイズにリサイズして、マルチ表示の所定の位置に合成して、液晶ディスプレイ、プラズマディスプレイなどよりなる表示部７へ出力する。【００５９】
本実施形態では、強調表示する順番号に対応した小画面の周辺の小画面についても強調表示することができるが、そのための範囲は既定値あるいはユーザによって予め設定しておくものとする。
例えば、注視する小画面についてのみ強調表示するときには、範囲をゼロに設定する。また、注視する小画面の四方に５つはなれた小画面も強調表示させたいときには、範囲を５と設定する。勿論、範囲は、四方ではなく１／２／３方向であっても構わない。【００６０】
図８は、本実施形態に係るマルチ画面生成部６の構成を示すブロック図である。同図において、マルチ画面生成部６は、リサイズ部６１、輝度調整部６２、合成部６３を含んで構成される。ここで、リサイズ部６１および輝度調整部６２は、各小画面に対応して設けられ、それぞれの出力を合成部６３に供給するように構成されている。【００６１】
マルチ画面生成部６は、復号処理部５から供給された各映像信号をそれぞれ対応するリサイズ部６１に供給する。
リサイズ部６１は、表示される映像の表示サイズ（水平方向の画素数、垂直方向のライン数）を取得し、小画面の領域のアスペクト比よりも横に長い場合、横の画素数に合わせてリサイズされ、小画面の領域のアスペクト比よりも縦に長い場合、縦の画素数に合わせてリサイズする。
リサイズ部６１は、リサイズされた各映像信号を輝度調整部６２に供給する。【００６２】
輝度調整部６２は、リサイズ部６１から供給された映像信号が表示される小画面番号が強調表示される画面番号の周辺の範囲内か否かを判定する。
強調表示される画面番号の周辺の範囲内であれば、リサイズされた映像の輝度を維持もしくは高くし、さもなければ、ユーザがあまり視線を向けないようにリサイズされた映像の輝度を低くした映像信号を合成部６３に供給する。【００６３】
また、輝度調整においては、強調表示する小画面との距離に反比例して段階的な輝度調整が可能であり、強調映像から離れるに従って輝度が低くなるような表示が可能である。【００６４】
合成部６３は、輝度調整部６２から供給された各映像信号をその小画面番号に対応する画面の表示位置に合成して、１つの画面に対する映像信号として、表示部７へ出力する。【００６５】
図９は、マルチ画面生成部６の処理手順を示すフローチャートである。
復号処理部５から各映像信号を受け取って（ステップＳ２１）、表示される映像の表示サイズ（水平方向の画素数、垂直方向のライン数）を取得し、小画面の領域のアスペクト比よりも横に長い場合、横の画素数に合わせてリサイズされ、小画面の領域のアスペクト比よりも縦に長い場合、縦の画素数に合わせてリサイズする（ステップＳ２２）。【００６６】
次に、リサイズされた各映像信号が表示される小画面番号（Ｐ）が強調表示される画面番号（Ｓ）の周辺の範囲内か否かを判定する（ステップＳ２３）。
強調表示される画面番号の周辺の範囲内であれば（ステップＳ２３／ＹＥＳ）、リサイズされた映像の輝度を維持もしくは高くした映像信号を生成する（ステップＳ２４）。
さもなければ（ステップＳ２３／ＮＯ）、ユーザがあまり視線を向けないようにリサイズされた映像の輝度を低くした映像信号を生成する（ステップＳ２５）。
例えば、Ｓ−５≦Ｐ≦Ｓ＋５で表わされる式に従って判別を行う。すなわち、強調すべき小画面の前後５つの小画面に該当するかを判定する。【００６７】
次に、輝度調整が行われた各映像信号をその小画面番号に対応する画面の表示位置に合成して（ステップＳ２６）、１つの画面に対する映像信号として、表示部７へ出力する（ステップＳ２７）。【００６８】
本構成により、符号化された映像コンテンツの復号処理の負荷を軽減しながら、マルチ画面表示を用いてより多くの映像を違和感なく表示させることができる。
さらに、ユーザの視線を自然な移動方向に誘導させることにより、所望の映像が選択しやすくなった。【００６９】
尚、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。【００７０】
例えば、上述の実施形態では、データ記録装置に蓄積された映像コンテンツについて説明したが、マルチ画面表示装置がテレビ放送の受信機能、インターネットとの接続機能、あるいは、映像コンテンツを再生する外部映像出力器との接続機能を備えている場合、データ記録装置に蓄積することなく、これらの機能によって取り込まれた映像コンテンツをマルチ表示することも同様に可能である。【００７１】
また、上述の実施形態では、表示サイズが所定の閾値以下の映像のＢピクチャをすべて削除するようにしていたが、表示サイズの判定をＯＮ／ＯＦＦ可能とすることによって、強調の対象以外の映像のＢピクチャだけを削除するようにしても構わない。【００７２】
また、上述の実施形態では、映像コンテンツの符号化方式をＭＰＥＧ４として説明したが、他の符号化方法、例えば、Ｈ.２６４などにおいても適用することができる。
【図１】
2009093557.tif 000003
【図２】
2009093557.tif 000004
【図３】
2009093557.tif 000005
【図４】
2009093557.tif 000006
【図５】
2009093557.tif 000007
【図６】
2009093557.tif 000008
【図７】
2009093557.tif 000009
【図８】
2009093557.tif 000010
【図９】
2009093557.tif 000011
【図１０】
2009093557.tif 000012
【手続補正書】
【提出日】平成21年5月8日(2009.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の映像を単一画面に表示するマルチ画面表示装置において、前記複数の映像のうち強調する映像を表示する画面を所定時間おきに決定する強調画面決定部と、前記強調画面決定部で決定された画面に表示される映像以外に対する復号処理部における処理負荷を削減する負荷軽減部と、前記強調画面決定部で決定された画面に表示される映像、または、前記負荷軽減部で処理負荷を軽減された映像を復号処理部で復号すると共に、所定のサイズにリサイズするリサイズ部と、前記リサイズ部でリサイズされた複数の映像のうち前記強調画面決定部で決定された画面に表示する映像を強調した輝度に輝度調整し、前記強調画面決定部で決定された画面以外の画面に表示する映像を所定の輝度に輝度調整する輝度調整部と、前記輝度調整部で輝度調整された複数の映像をマルチ画面に合成して表示する表示部と、を備えることを特徴とするマルチ画面表示装置。
【請求項２】
請求項１に記載のマルチ画面表示装置において、前記負荷軽減部は、前記映像の表示サイズが所定の大きさよりも小さい場合に、該映像に対する復号処理部における処理負荷を削減することを特徴とするマルチ画面表示装置。
【請求項３】
請求項１または２に記載のマルチ画面表示装置において、前記負荷軽減部は、前記強調画面決定部で決定された画面および該画面の周辺画面を負荷軽減の対象とし、前記輝度調整部は、前記強調画面決定部で決定された画面および該画面の周辺画面を輝度強調の対象とすることを特徴とするマルチ画面表示装置。
【請求項４】
請求項３に記載のマルチ画面表示装置において、前記輝度調整部は、前記強調画面決定部で決定された画面から離れるにしたがって前記周辺画面の輝度を低くすることを特徴とするマルチ画面表示装置。
【請求項５】
請求項１乃至４のいずれかに記載のマルチ画面表示装置において、前記映像が、フレーム内で情報圧縮された２次元圧縮映像データであるＩピクチャと、時間的に前方向のＩピクチャによる動き補償を加えて情報圧縮された３次元圧縮映像データであるＰピクチャと、時間的に前後方向のＩピクチャまたはＰピクチャによる動き補償を加えて情報圧縮された３次元圧縮映像データであるＢピクチャとを混在して含む符号化データであった場合、前記負荷軽減部は、前記強調画面決定部で決定された画面に表示される映像以外に対して、Ｂピクチャの削除を行うことにより復号処理における処理負荷を削減することを特徴とするマルチ画面表示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
あるが、マルチ表示されるすべての映像がコマ落ちで表示されてしまうため、映像の内容が把握しにくくなり、所望の映像であるか判断できなくなってしまう可能性がある。
［００１２］
本発明は、上記の実情を考慮してなされたものであり、符号化された映像コンテンツの復号処理の負荷を軽減しながら、マルチ画面表示を用いてより多くの映像を違和感なく表示させるマルチ画面表示装置を提供することを目的とする。
課題を解決するための手段
［００１３］
上記の課題を解決するために、本発明を次のような構成とする。
本発明のマルチ画面表示装置は、複数の映像を単一画面に表示するマルチ画面表示装置であって、前記複数の映像のうち強調する映像を表示する画面を所定時間おきに決定する強調画面決定部と、前記強調画面決定部で決定された画面に表示される映像以外に対する復号処理部における処理負荷を削減する負荷軽減部と、前記強調画面決定部で決定された画面に表示される映像、または、前記負荷軽減部で処理負荷を軽減された映像を復号処理部で復号すると共に、所定のサイズにリサイズするリサイズ部と、前記リサイズ部でリサイズされた複数の映像のうち前記強調画面決定部で決定された画面に表示する映像を強調した輝度に輝度調整し、前記強調画面決定部で決定された画面以外の画面に表示する映像を所定の輝度に輝度調整する輝度調整部と、前記輝度調整部で輝度調整された複数の映像をマルチ画面に合成して表示する表示部と、を備えたものである。
［００１４］
さらに、前記負荷軽減部において、前記映像の表示サイズが所定の大きさよりも小さい場合に、該映像に対する復号処理部における処理負荷を削減するようにしてもよい。
ここで、前記負荷軽減部は、前記強調画面決定部で決定された画面および該画面の周辺画面を負荷軽減の対象とし、前記輝度調整部は、前記強調画面決定部で決定された画面および該画面の周辺画面を輝度強調の対象とし、前記強調画面決定部で決定された画面から離れるにしたがって前記周辺画面の輝度を低くしてもよい。
さらに、前記負荷軽減部は、前記映像が、フレーム内で情報圧縮された２次元圧縮映像データであるＩピクチャと、時間的に前方向のＩピクチャによる動き補償を加えて情報圧縮された３次元圧縮映像データであるＰピクチャと、時間的に前後方向のＩピクチャまたはＰピクチャによる動き補償を加えて情報圧縮された３次元圧縮映像データであるＢピクチャとを混在して含む符号化データであった場合、前記強調画面決定部で決定された画面に表示される映像以外に対して、Ｂピクチャの削除を行うことにより復号処理における処理負荷を削減する。
［００１５］
発明の効果
［００１６］
本発明によれば、符号化された映像コンテンツの復号処理の負荷を軽減しながら、マルチ画面表示を用いてより多くの映像を違和感なく表示させることができる。
【国際調査報告】
2009093557.tif 000013
2009093557.tif 000014
2009093557.tif 000015
2009093557.tif 000016