(57)【特許請求の範囲】
【請求項１】
ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理装置であって、
上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出部と、
上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせ部と、
を有し、
上記検出部は、
上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、
上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定し、
前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、
上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する、
画像処理装置。
【請求項２】
上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、
上記検出部によって上記第１および第２のスキャン動作における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、
上記検出部は、上記動画像が含む各画像のブロックから動きベクトル情報を取得し、当該取得した動きベクトルを用いて、上記一方または他方の方向における上記動画像の動き量の最小値を上記各シフト後に得られた候補領域ごとに求める、
請求項１記載の画像処理装置。
【請求項３】
上記検出部は、
上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、
上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する、
請求項２記載の画像処理装置。
【請求項４】
上記画像重ね合わせ部が出力した動画像を表示する表示部を有する、
請求項１から３の何れか一項に記載の画像処理装置。
【請求項５】
ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理方法であって、
上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出ステップと、
上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせステップと、
を有し、
上記検出ステップは、
上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定する第１のステップと、
前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する第２のステップと、
を含む画像処理方法。
【請求項６】
上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、
上記第１および第２のスキャン動作における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、
上記第１および第２のステップでは、
上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、
上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する、
請求項５に記載の画像処理方法。
【請求項７】
ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理を実行するためのプログラムであって、
上記画像処理が、
上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出処理と、
上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせ処理と、を有し、
上記検出処理が、
上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定する第１の処理と、
前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する第２の処理と、
を含み、
上記第１および第２の処理を含む上記検出処理と上記画像重ね合わせ処理とをコンピュータに実行させる、
プログラム。
【請求項８】
上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、
上記第１および第２の処理における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、
上記第１および第２の処理では、
上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、
上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する、
各処理をコンピュータに実行させる、
請求項７記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に含まれる画像を複数のブロックに分割して圧縮処理が施された動画像を扱う画像処理装置およびその方法、並びにプログラムに関する。
【背景技術】
【０００２】
たとえば、高品位テレビジョン（ＨＤＴＶ（High Definition Television）、高解像度テレビジョンともいう）やＤＶＤでは、大量の動画像を扱うため、動画像の圧縮が必要である。この動画像にＭＰＥＧ２（Motion Picture Coding Experts Group 2）と呼ばれる規格が広く利用されている。
【０００３】
以下に、ＭＰＥＧ２方式による動画像の圧縮方法について、図を参照しながら簡単に説明する。
【０００４】
図１は、フレーム間予測符号化を説明するための図であり、図２は、マクロブロックを説明するための図であり、図３は、動きベクトルを説明するための図である。
【０００５】
ＭＰＥＧ２方式による動画像の圧縮では、原画像のデータがフレーム間予測符号化によって符号化される。
【０００６】
図１に示すように、動画像は、Ｉフレーム（Ｉピクチャ（Intra Coded Picture）ともいう）、Ｐフレーム（Ｐピクチャ（Predicted Picture）ともいう）、およびＢフレーム（Ｂピクチャ（Bi-directional Coded Picture）ともいう）の３種類の画像（フレーム）１で構成されている。また、ビットストリームでは、Ｉ、Ｐ、およびＢフレームが、図１に示すような順番で並んでいる。なお、図１では、Ｉ、Ｐ、およびＢフレームをそれぞれＩ、Ｐ、およびＢと表記している。
【０００７】
Ｉフレームは、イントラ符号化フレームで、原画像がそのまま符号化されたものである。Ｐフレームは、順方向予測符号化フレームで、Ｉフレームが予測画像として符号化されたものである。また、Ｂフレームは、双方向予測符号化フレームで、ＩフレームまたはＰフレームが予測画像として符号化されたものである。
【０００８】
ＭＰＥＧ２方式では、動画像全体の符号化率を上げるため、動き補償フレーム間予測符号化が行われる。各Ｉ、Ｐ、およびＢフレームは、たとえば１６×１６画素のマクロブロック（本発明のブロックに対応する）に分割され、マクロブロックごとに符号化が行われる。
【０００９】
図２に示すように、たとえば、輝度信号Ｙ、色差信号Ｃｂ、および色差信号Ｃｒの比率が４：２：０のフォーマットでは、１つのマクロブロック２に（１６×１６）画素の輝度信号Ｙ、（８×８）画素の色差信号Ｃｂ、およびＣｒのデータが格納される。
【００１０】
また、図３に示すように、ＭＰＥＧ２方式では、各マクロブロック２のフレーム間の変動を示すために、マクロブロック２の移動を示す動きベクトル（動き量に対応する）３が推定され、動きベクトル情報もさらに符号化されてビットストリームに加えられる。つまり、Ｉ、Ｐ、およびＢフレームのデータと、マクロブロック２の動きベクトル情報が動画像の初期ビットストリームに含まれている。
【００１１】
ＭＰＥＧ２方式にて圧縮された動画像は、デコーダにてＩ、Ｐ、およびＢフレームのデータと各マクロブロック２の動きベクトル３とが含まれた初期ビットストリームから復元される。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
ところで、たとえば高品位テレビジョンを始めとするテレビジョンでは、地震速報等の緊急情報や、電子番組表、テレビジョンの操作メニュといった情報を表示するための画像、あるいは字幕等（これらの情報を表示する画像や字幕等をサブ画像と表記する）が、テレビジョン番組の画像上に表示される。
【００１３】
ところで、上述したサブ画像は、ベースとなる画像（以後ベース画像と表記する）上に重ね合わされるが、サブ画像とベース画像との重ね合わせの位置によっては不都合が生じる場合がある。この不都合の具体例について、図を参照しながら説明する。
【００１４】
図４は、サブ画像とベース画像との重ね合わせについて説明するための図である。
【００１５】
たとえば、野球試合放送中に緊急放送を報知するサブ画像がベース画像上に表示される場合を例にとる。図４に示すように、テレビジョンの表示画面は、野球試合を表示しているベース画像４に緊急情報を報知するサブ画像５が重ね合わされて、重ね合わせ画像６のように表示される。
【００１６】
このような構成において、サブ画像５は、ベース画像４上のあらかじめ決められた領域（図４の例では、重ね合わせ画像６の左領域）にしか表示できない。したがって、野球試合放送のように動画像の動きが激しい領域（たとえばピッチャーとバッターが動いている領域）にサブ画像５が重ね合わされると、視聴者は、ベース画像４の重要な動きを見失うおそれがある（図４に示す重ね合わせ画像６の例では、ピッチャーとバッターの動作がサブ画像５の表示によって隠れている）。
【００１７】
また、ＭＰＥＧ２方式では、大量の動画像が圧縮されており、圧縮された動画像をデコードする際に、膨大なリアルタイム処理を行わなければならない。
【００１８】
本発明は、ベースとなる動画像の最適な領域にサブ画像を重ね合わせることが可能な画像処理装置およびその方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明の第１の観点の画像処理装置は、ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理装置であって、上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出部と、上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせ部と、を有し、上記検出部は、上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定し、前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する。
【００２０】
好適には、上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、上記検出部によって上記第１および第２のスキャン動作における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、上記検出部は、上記動画像が含む各画像のブロックから動きベクトル情報を取得し、当該取得した動きベクトルを用いて、上記一方または他方の方向における上記動画像の動き量の最小値を上記各シフト後に得られた候補領域ごとに求める。
【００２１】
好適には、上記検出部は、上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する。
【００２２】
好適には、第１の観点の画像処理装置は、上記画像重ね合わせ部が出力した動画像を表示する表示部を有する。
【００２３】
本発明の第２の観点の画像処理方法は、ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理方法であって、上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出ステップと、上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせステップと、を有し、上記検出ステップは、上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定する第１のステップと、前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する第２のステップと、を含む。
【００２４】
好適には、上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、上記第１および第２のスキャン動作における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、上記第１および第２のステップでは、上記動画像が含む各画像のブロックから動きベクトル情報を取得し、上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する。
【００２５】
本発明の第３の観点のプログラムは、ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理を実行するためのプログラムであって、上記画像処理が、上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出処理と、上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせ処理と、を有し、上記検出処理が、上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定する第１の処理と、前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する第２の処理と、を含み、上記第１および第２の処理を含む上記検出処理と上記画像重ね合わせ処理とをコンピュータに実行させる、プログラムである。
【００２６】
好適には、上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、上記第１および第２の処理における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、上記第１および第２の処理では、上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する、各処理をコンピュータに実行させる。
【００２７】
本発明によれば、ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理装置において、検出部が動き量の小さい領域を検出する。そして、画像重ね合わせ部が、検出部で検出した動き量の小さい領域に上記サブ画像を重ね合わせる。
【発明の効果】
【００２８】
本発明によれば、ベースとなる動画像の最適な領域にサブ画像を重ね合わせることができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態を図面に関連付けて説明する。
【００３０】
（第１実施形態）
図５は、本実施形態に係る画像処理方法を採用した画像処理装置の一構成例を示すブロック図である。
【００３１】
図５に示す画像処理装置１０は、分類部（ＤＥＭＵＸ）１１、メモリ（ＭＥＭ）１２、メインデコーダ（ＭＤＥＣ）１３、サブデコーダ（ＳＤＥＣ）１４、メイン処理部（ＭＰＩＣ）１５、サブ処理部（ＳＰＩＣ）１６、検出部（ＰＣＡＬ）１７、画像重ね合わせ部（ＢＬＥＮ）１８、制御部（ＣＰＵ）１９、および表示パネル（ＰＡＮＥＬ）２０を有する。
【００３２】
次に、画像処理装置１０の各構成部について説明する。
【００３３】
分類部１１は、たとえばＭＰＥＧ２方式によって符号化され、圧縮された動画像の初期ビットストリーム（ＴＳ（Transport Stream））、もしくはプログラムストリーム（ＰＳ（Program Stream））が画像処理装置１０の外部から入力される。分類部１１は、たとえば、制御部１９の制御に基づいて、入力された初期ビットストリームもしくはプログラムストリームをベースとなる動画像等のデータ、地震速報や天気予報、プログラムガイド、テレビジョンのメニュ、字幕等のデータ、および音声等に分類してメモリ１２に出力する。
【００３４】
以後の説明において、本実施形態では、動画像等のデータをメインデータと表記し、地震速報や天気予報、プログラムガイド、テレビジョンのメニュ、字幕等のデータをサブデータと表記する。また、本実施形態では、メインデータで構成されている動画像の各フレームをベース画像と表記し、サブデータで構成されている静止画像をサブ画像と表記する。なお、本実施形態は一例であって、メインデータおよびサブデータの内容等は特に限定されない。また、本実施形態では、サブ画像は静止画像であるが、たとえば動画像であってもよい。
【００３５】
メモリ１２は、たとえば制御部１９の制御に基づいて、分類部１１により分類された各種データが入力される。メモリ１２は、たとえばメインデータやサブデータ、音声等を所定のメモリ領域に記憶し、メインデコーダ１３、およびサブデコーダ１４に所定のデータをそれぞれ出力する。
【００３６】
メインデコーダ１３は、たとえば制御部１９の制御に基づいて、メモリ１２からメインデータを読み出し、読み出したメインデータをデコードして、デコードしたメインデータをフレーム単位でメイン処理部１５に出力する。また、メインデコーダ１３は、たとえばフレーム毎の各マクロブロックの動きベクトル情報を取得して、検出部１７に出力する。
【００３７】
サブデコーダ１４は、たとえばメモリ１２からサブデータを読み出し、制御部１９の制御に基づいて、読み出したサブデータをデコードし、サブ処理部１６に出力する。
【００３８】
メイン処理部１５は、たとえばメインデコーダ１３からデコードされた動きベクトル情報等を含むメインデータが入力される。メイン処理部１５は、たとえば制御部１９の制御に基づいて、このメインデータをフレーム毎に表示パネル２０の表示領域に応じた拡大や縮小を行い、処理した動画像に関するデータ（たとえば表示位置や表示サイズ等）等を画像重ね合わせ部１８に出力する。
【００３９】
サブ処理部１６は、たとえばサブデコーダ１４からデコードされたサブデータが入力され、制御部１９から入力された設定パラメータに応じた拡大や縮小を行って、処理したデータを画像重ね合わせ部１８に出力する。
【００４０】
検出部１７は、たとえばメインデコーダ１３からデコードされた動きベクトル情報等を含むメインデータが入力される。検出部１７は、制御部１９の制御に基づいて、各ベース画像の各ブロックから動きベクトル情報を取得する。また、検出部１７は、動きベクトル情報から上記ベース画像間の動きベクトル値の変動が小さい領域を算出して、ベース画像上に重ね合わせるための位置を演算し、その演算結果を画像重ね合わせ部１８に出力する。また、検出部１７は、上述した位置の演算を制御部１９により決められた秒数毎に行う。
【００４１】
ここで、上記に述べたベース画像間の動きベクトル値の変動が小さい領域について具体例を挙げて説明する。
【００４２】
図６は、本実施形態に係る位置算出部で算出された動きベクトル値の変動が小さい領域について説明するための一例を示す図である。
【００４３】
動画像の多くは、画像の動きが活発的な領域と活発的でない領域とに分けられる。たとえば、図６のベース画像は、画像の動きが活発的な領域ＲＧＮＬ、および領域ＲＧＮＬと比較して画像の動きが活発的でない領域ＲＧＮＲに分けられる。図６に示す一例は、ＭＰＥＧ２方式で圧縮されている動画像であって、領域ＲＧＮＲは、領域ＲＧＮＬと比較して変動が小さい動きベクトル値を有する。
【００４４】
画像重ね合わせ部１８は、たとえばメイン処理部１５からメインデータを含む動画像が、サブ処理部１６からサブデータを含む静止画像が、および検出部１７からサブ画像の表示位置に関するパラメータ等がそれぞれ入力される。画像重ね合わせ部１８は、この各パラメータや制御部１９の制御に基づいて、ベース画像間の動きベクトル値の変動が小さい領域にサブ画像を重ね合わせて一枚のフレーム（画像）にし、重ね合わされたフレームを表示パネル２０に出力する。
【００４５】
ここで、画像重ね合わせ部１８が重ね合わせたベース画像およびサブ画像について一例を示す。
【００４６】
図７は、本実施形態に係る画像重ね合わせ部が重ね合わせたベース画像およびサブ画像についての一例を示す図である。
【００４７】
図７に示すベース画像は、図６に示すベース画像と同一の画像である。図７に示すように、画像重ね合わせ部１８は、ベース画像間の動きベクトル値の変動が小さい領域ＲＧＮＲに、サブ画像ＳＵＢＰを重ね合わせる。
【００４８】
制御部１９は、たとえば、各構成部の初期パラメータ等や、ベース画像の表示位置等を設定し、メモリ１２、メインデコーダ１３、サブデコーダ１４、メイン処理部１５、サブ処理部１６、および検出部１７間との制御をそれぞれ行う。また、制御部１９は、たとえば、分類部１１や画像重ね合わせ部１８の制御を行う。
【００４９】
表示パネル２０は、たとえばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイである。表示パネル２０は、画像重ね合わせ部１８からベース画像とサブ画像とが重ね合わされたフレームが順次入力され、表示する。なお、表示パネル２０は、ＣＲＴディスプレイや液晶ディスプレイに限定されない。
【００５０】
次に、表示パネル２０の表示領域について説明する。
【００５１】
図８は、本実施形態に係る表示パネルにおける表示領域の一例を示す図である。
【００５２】
図８に示すように、表示パネル２０は、ベース画像を表示するベース画像領域２０１、およびサブ画像を表示するサブ画像領域２０２を有する。
【００５３】
図８に示すように、本実施形態では、たとえば表示パネル２０の左上端を原点Ｏ（Ｏ（０，０）とする。また、以後の実施形態の説明において、表示領域に使用する単位をＰｉｘｅｌ（ピクセル）とし、その単位の表記は省略する。
【００５４】
ベース画像領域２０１は、その原点Ｏ’を、たとえば表示パネル２０の原点ＯからＸ軸方向にｍｖｐ＿ｈｓｔ、Ｙ軸方向にｍｖｐ＿ｖｓｔの位置（Ｏ’（ｍｖｐ＿ｈｓｔ，ｍｖｐ＿ｖｓｔ））とする。また、ベース画像領域２０１は、その領域を原点Ｏ’からＸ軸方向にｍｖｐ＿ｈｓｚ、Ｙ軸方向に、ｍｖｐ＿ｖｓｚの範囲とする。
【００５５】
サブ画像領域２０２は、その原点Ｏ’’を、たとえば原点ＯからＸ軸方向に（ｍｖｐ＿ｈｓｔ＋ｓｕｂ＿ｈｓｔ）、Ｙ軸方向にｓｕｂ＿ｖｓｔの位置とする。また、サブ画像領域２０２は、その領域を原点Ｏ’’からＸ軸方向にｓｕｂ＿ｈｓｚ、Ｙ軸方向にｓｕｂ＿ｖｓｚの範囲とする。
【００５６】
本実施形態では、ベース画像領域２０１のベース画像をマクロブロックに分割する。次に、このマクロブロックについて説明する。
【００５７】
図９は、本実施形態に係る動画像のマクロブロックの一構成例を示す図である。
【００５８】
図９に示すように、本実施形態では、表示パネル２０において、たとえばベース画像領域２０１のベース画像をマトリクス状に（ｍ＋１）×（ｎ＋１）個のマクロブロック（ｂｌｋ）２０３に分割する。また、任意のマクロブロック２０３を単にｂｌｋ（Ｘｉ，Ｙｊ）と表記する。
【００５９】
ただし、ｍ、およびｎは、それぞれベース画像の横幅（Ｘ軸方向）、および縦幅（Ｙ軸方向）に相当するマクロブロックの個数で正の整数（０、１、…）である。また、ｉ、およびｊは、正の整数（０、１、…）である。
【００６０】
次に、本実施形態に係る画像処理方法を採用した画像処理装置の動作について、図５、図８から図１０を参照して説明する。
【００６１】
図１０は、本実施形態に係る画像処理方法を採用した画像処理装置のフローチャートである。
【００６２】
以下の説明では、図５に示す検出部１７の動作を中心に説明する。
【００６３】
たとえば、分類部１１がＭＰＥＧ２方式によって符号化され、圧縮された動画像を少なくともメインデータおよびサブデータに分類してメモリ１２に記憶させる。メインデコーダ１３およびサブデコーダ１４がそれぞれ対応したデータをメモリ１２から読み出してデコードし、それぞれ対応した構成部に出力する。そして、あらかじめ、メイン処理部１５、サブ処理部１６、および検出部１７には、それぞれ所定の動画像等のデータがそれぞれ入力されているものとする。
【００６４】
（ステップＳＴ１１）
ステップＳＴ１１においては、ベース画像およびサブ画像の表示領域に関する各パラメータの初期設定を行う。
【００６５】
具体的には、本実施形態では、ベース画像領域２０１の表示領域を、たとえばｍｖｐ＿ｈｓｚ＝（ｍ＋１）×１６、ｍｖｐ＿ｖｓｚ＝（ｎ＋１）×１６と設定する（図８を参照）。また、本実施形態では、サブ画像領域２０２（図８を参照）の表示領域を、たとえばｓｕｂ＿ｈｓｚ＝（ｐ＋１）×１６、ｓｕｂ＿ｖｓｚ＝（ｑ＋１）×１６と設定する。ただし、ｐ、およびｑは、それぞれサブ画像の横幅（Ｘ軸方向）、および縦幅（Ｙ軸方向）に相当するマクロブロックの個数を表すための数であり正の整数（０、１、…）である。
【００６６】
（ステップＳＴ１２）
ステップＳＴ１２においては、検出部１７がベース画像をＸ軸定方向にスキャンしながら、隣接しているマクロブロック間の動きベクトル値の総和を求める。
【００６７】
具体的には、たとえば図９に示すように、ベース画像領域２０１の原点Ｏ’に位置しているｂｌｋ（Ｘ０，Ｙ０）をスキャンの開始点とする（ｉ＝０）。検出部１７は、このｂｌｋ（Ｘ０，Ｙ０）から同一行のＸ軸方向に、サブ画像領域２０２の横幅に相当する（ｐ＋１）個のマクロブロック２０３（たとえば、ｂｌｋ（Ｘ０、Ｙ０）〜ｂｌｋ（Ｘ（０＋ｐ）、Ｙ０）を選択し、動きベクトル値の総和ΣＩ（Ｘ）を計算する。
【００６８】
そして、検出部１７は、この総和ΣＩ（Ｘ）を最小値Ｌｏｗｅｓｔ＿Ｘとする（Ｌｏｗｅｓｔ＿Ｘ＝ΣＩ（Ｘ））。また、この時、サブ画像領域２０２の原点Ｏ’’は、ｓｕｂ＿ｈｓｔ＝０、ｓｕｂ＿ｖｓｔ＝０、すなわちＯ’’（０，０）の位置である。
【００６９】
（ステップＳＴ１３）
ステップＳＴ１３においては、説明を簡単にするため、スキャンの開始点がｉ（たとえばｂｌｋ（Ｘｉ，Ｙｊ））にあるとする。
【００７０】
検出部１７が、同一行において、スキャンの開始点をＸ軸方向に隣接した１つ分のマクロブロック２０３だけずらした位置に変更する（ｉ＝ｉ＋１）。したがって、この時、スキャンの開始点は、ｂｌｋ（Ｘ（ｉ＋１）、Ｙ０）となる。
【００７１】
（ステップＳＴ１４）
ステップＳＴ１４は、ベース画像領域２０１の境界（Ｘ軸方向）の処理に関する。
【００７２】
具体的には、検出部１７によるスキャンの開始点において、サブ画像領域２０２の一端（たとえば選択された（ｐ＋１）個目のマクロブロック２０３）がＸ軸方向における最終のマクロブロック２０３（たとえば図９に示すｂｌｋ（Ｘｍ、Ｙ０））に達した場合（（ｉ＋ｐ）＞ｍ）、検出部１７は、ステップＳＴ１８の処理を行う。
【００７３】
このステップＳＴ１４により、サブ画像領域２０２のＸ軸方向の開始点が決定される。
【００７４】
検出部１７によるスキャンの開始点において、サブ画像領域２０２の一端がＸ軸方向の最終マクロブロックに達していない場合（（ｉ＋ｐ）≦ｍ）、検出部１７は、ステップＳＴ１５の処理を行う。
【００７５】
（ステップＳＴ１５）
ステップＳＴ１５においては、検出部１７が、たとえば同一行において、ｂｌｋ（Ｘｉ，Ｙ０）からＸ軸方向に隣接した（ｐ＋１）個のマクロブロック２０３（たとえば、ｂｌｋ（Ｘｉ、Ｙ０）〜ｂｌｋ（Ｘ（ｉ＋ｐ）、Ｙ０）を選択し、動きベクトル値の総和ΣＩ（Ｘ）を計算する。
【００７６】
（ステップＳＴ１６）
ステップＳＴ１６においては、検出部１７が総和ΣＩ（Ｘ）とステップＳＴ１２で求めた最小値Ｌｏｗｅｓｔ＿Ｘとを比較する。
【００７７】
具体的には、検出部１７は、総和ΣＩ（Ｘ）がステップＳＴ１２で求めた最小値Ｌｏｗｅｓｔ＿Ｘより大きい場合（ΣＩ（Ｘ）≧Ｌｏｗｅｓｔ＿Ｘ）、ステップＳＴ１３の処理を行う。
【００７８】
検出部１７は、総和ΣＩ（Ｘ）がステップＳＴ１２で求めた最小値Ｌｏｗｅｓｔ＿Ｘより小さい場合（ΣＩ（Ｘ）＜Ｌｏｗｅｓｔ＿Ｘ）、ステップＳＴ１７の処理を行う。
【００７９】
（ステップＳＴ１７）
ステップＳＴ１７においては、検出部１７が、ステップＳＴ１５で算出した総和ΣＩ（Ｘ）を最新の最小値Ｌｏｗｅｓｔ＿Ｘ（Ｌｏｗｅｓｔ＿Ｘ＝ΣＩ（Ｘ））に更新し、マクロブロック２０３のＸ軸方向のスキャン開始位置をｓｕｂ＿ｈｓｔ＝ｉ×１６に設定する。そして、検出部１７は、ステップＳＴ１３の処理を行う。
【００８０】
（ステップＳＴ１８）
ステップＳＴ１８においては、検出部１７がベース画像をＹ軸定方向にスキャンしながら、隣接しているマクロブロック間の動きベクトル値の総和を求める。
【００８１】
具体的には、検出部１７は、たとえば図９に示すように、スキャンの開始点のマクロブロック２０３をｂｌｋ（Ｘｉ，Ｙ０）とし、ｂｌｋ（Ｘｉ，Ｙ０）から同一列のＹ軸方向に隣接した（ｑ＋１）個のマクロブロック２０３（たとえば、ｂｌｋ（Ｘｉ、Ｙ０）〜ｂｌｋ（Ｘｉ、Ｙ（０＋ｑ））を選択し、動きベクトル値の総和ΣＩ（Ｙ）を計算する。
【００８２】
そして、検出部１７は、この総和ΣＩ（Ｙ）を最小値Ｌｏｗｅｓｔ＿Ｙとする（Ｌｏｗｅｓｔ＿Ｙ＝ΣＩ（Ｙ））。
【００８３】
（ステップＳＴ１９）
ステップＳＴ１９においては、検出部１７が、同一列において、スキャンの開始点をＹ軸方向に隣接した１つ分のマクロブロック２０３だけずらした位置に変更する（ｊ＝ｊ＋１）。したがって、この時、スキャンの開始点は、ｂｌｋ（Ｘｉ、Ｙ（ｊ＋１））となる。
【００８４】
（ステップＳＴ１１０）
ステップＳＴ１１０は、ベース画像領域２０１の境界（Ｙ軸方向）の処理に関する。
【００８５】
具体的には、検出部１７によるスキャンの開始点において、サブ画像領域２０２の一端（たとえば選択された（ｑ＋１）個目のマクロブロック２０３）がＹ軸方向における最終のマクロブロック２０３（たとえばｂｌｋ（Ｘｉ、Ｙｎ））に達した場合（（ｊ＋ｑ）＞ｎ）、検出部１７は、処理を終了する（ＥＮＤ）。
【００８６】
このステップＳＴ１４により、サブ画像領域２０２のＹ軸方向の開始点が決定される。
【００８７】
検出部１７によるスキャンの開始点がＹ軸方向の最終マクロブロックに達していない場合（（ｊ＋ｑ）≦ｎ）、検出部１７は、ステップＳＴ１１１の処理を行う。
【００８８】
（ステップＳＴ１１１）
ステップＳＴ１１１においては、検出部１７が、たとえば同一列において、ｂｌｋ（Ｘｉ，Ｙｊ）からＹ軸方向に隣接した（ｑ＋１）個のマクロブロック２０３（たとえば、ｂｌｋ（Ｘｉ、Ｙｊ）〜ｂｌｋ（Ｘｉ、Ｙ（ｊ＋ｑ））を選択し、動きベクトル値の総和ΣＩ（Ｙ）を計算する。
【００８９】
（ステップＳＴ１１２）
ステップＳＴ１１２においては、検出部１７が総和ΣＩ（Ｙ）とステップＳＴ１８で求めた最小値Ｌｏｗｅｓｔ＿Ｙとを比較する。
【００９０】
具体的には、検出部１７は、総和ΣＩ（Ｙ）がステップＳＴ１８で求めた最小値Ｌｏｗｅｓｔ＿Ｙより大きい場合（ΣＩ（Ｙ）≧Ｌｏｗｅｓｔ＿Ｙ）、ステップＳＴ１９の処理を行う。
【００９１】
検出部１７は、総和ΣＩ（Ｙ）が第８ステップＳＴ８で求めた最小値Ｌｏｗｅｓｔ＿Ｙより小さい場合（ΣＩ（Ｙ）＜Ｌｏｗｅｓｔ＿Ｙ）、第１３ステップＳＴ１３の処理を行う。
【００９２】
（ステップＳＴ１１３）
ステップＳＴ１１３においては、検出部１７が、ステップＳＴ１１１で算出した総和ΣＩ（Ｙ）を最新の最小値Ｌｏｗｅｓｔ＿Ｙ（Ｌｏｗｅｓｔ＿Ｙ＝ΣＩ（Ｙ））に更新し、マクロブロック２０３のＹ軸方向のスキャン開始位置をｓｕｂ＿ｖｓｔ＝ｊ×１６に設定する。そして、検出部１７は、ステップＳＴ１９の処理を行う。
【００９３】
なお、ステップＳＴ１１からステップＳＴ１１３の処理で、サブ画像領域２０２の表示領域が決定されない場合、検出部１７は、ベース画像領域２０１の原点Ｏ’をサブ画像領域２０２の開始点とする。
【００９４】
以上に述べたように、検出部１７は、ベース画像領域２０１の原点Ｏ’（ｍｖｐ＿ｈｓｔ、ｍｖｐ＿ｖｓｔ）をスキャンの開始点としてＸ軸方向に順次スキャンしながら（ｐ＋１）個のマクロブロックの動きベクトル値を算出し、その総和が最小となる位置をサブ画像領域２０２のＸ軸方向の開始点とする。次に、検出部１７は、Ｙ軸方向に順次スキャンしながら（ｑ＋１）個のマクロブロックの動きベクトル値を算出し、その総和が最小となる位置をサブ画像領域２０２のＹ軸方向の開始点とする。そして、検出部１７は、隣接するマクロブロック２０３の領域を算出して、この領域をサブ画像領域２０２とする。
【００９５】
そして、画像重ね合わせ部１８は、検出部１７の算出結果に基づいて、メイン処理部１５から入力されたベース画像のサブ画像領域２０２にサブ処理部１６から入力されたサブ画像を重ね合わせる。
【００９６】
表示パネル２０は、画像重ね合わせ部１８から入力された動画像を表示する。
【００９７】
上述したように、本実施形態では、動画像の動きが穏やかな領域にサブ画像を表示するため、サブ画像が放送中のベース画像に与える影響が減少する利点がある。
【００９８】
また、本実施形態では、サブ画像をベース画像のあらかじめ定まった位置に表示する必要がないため、表示パネルの表示領域を有効に活用することができる。たとえば、本実施形態では、テレビジョン番組の放映中にサブ画像としてコマーシャルメッセージを表示する際に、テレビジョン番組の表示領域を変更させることなくサブ画像を表示させることができる。
【００９９】
本実施形態では、たとえばＭＰＥＧ２方式で圧縮された動画像のビットストリームを使用し、このビットストリームに含まれている動きベクトル情報を利用して、最適なサブ画像の表示領域を取得する。このため、本動画像処理システムは、高品位テレビジョンやＤＶＤ等に簡単に実装することができる。
【０１００】
（第２実施形態）
次に、本発明の第２実施形態について説明する。
【０１０１】
図１１は、本実施形態に係る画像処理方法を採用した画像処理装置のフローチャートである。
【０１０２】
第１実施形態では、図１０に示すステップＳＴ１１からステップＳＴ１１３で示したように、検出部１７が、ベース画像領域２０１のＸ軸方向のスキャン開始位置を位置ｓｕｂ＿ｈｓｔに固定した後、Ｙ軸方向のスキャン開始の位置ｓｕｂ＿ｖｓｔを算出する。
【０１０３】
本実施形態では、検出部１７が、始めにベース画像領域２０１のＹ軸方向のスキャン開始位置を位置ｓｕｂ＿ｖｓｔに固定してから、Ｘ軸方向のスキャン開始位置ｓｕｂ＿ｈｓｔを算出する。
【０１０４】
すなわち、図１１に示すように、本実施形態に係るステップＳＴ２２からステップＳＴ２７は、第１実施形態に係るステップＳＴ１８からステップＳＴ１１３に対応し、本実施形態の係るステップＳＴ２８からステップＳＴ２１３は、第１実施形態に係るステップＳＴ１２からステップＳＴ１７に対応する。
【０１０５】
また、本実施形態においても、第１実施形態と同様の効果を得ることができる。
【０１０６】
また、たとえば検出部１７が第１実施形態に係るステップＳＴ１１からステップＳＴ１３（図１０を参照）にて演算されたＸ軸方向の総和ΣＩ（Ｘ）およびＹ軸方向の総和ΣＩ（Ｙ）の各値を低い順にソートする。そして、検出部１７がソートされた総和ΣＩ（Ｘ）および総和ΣＩ（Ｙ）のすべての組み合わせを算出して、動きベクトル値変動が小さい領域を求めるようにしてもよい。
【０１０７】
さらに、たとえば検出部１７が第２実施形態に係るステップＳＴ２１からステップＳＴ２１３（図１１を参照）を用いて総和ΣＩ（Ｘ）および総和ΣＩ（Ｙ）を求めてもよい。
【０１０８】
なお、上述した本発明に係る第１、および第２実施形態は一実施例であって、画像処理装置１０の構成は、特に限定されない。
【０１０９】
また、以上に詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
【０１１０】
さらに、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし、上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【０１１１】
【図１】フレーム間予測符号化を説明するための図である。
【図２】マクロブロックを説明するための図である。
【図３】動きベクトルを説明するための図である。
【図４】サブ画像とベース画像との重ね合わせについて説明するための図である。
【図５】本実施形態に係る画像処理方法を採用した画像処理装置の一構成例を示すブロック図である。
【図６】本実施形態に係る位置算出部で算出された動きベクトル値の変動について説明するための一例を示す図である。
【図７】本実施形態に係る画像重ね合わせ部が重ね合わせたベース画像およびサブ画像についての一例を示す図である。
【図８】本実施形態に係る表示パネルにおける表示領域の一例を示す図である。
【図９】本実施形態に係る動画像のマクロブロックの一構成例を示す図である。
【図１０】本実施形態に係る画像処理方法を採用した画像処理装置のフローチャートである。
【図１１】本実施形態に係る画像処理方法を採用した画像処理装置のフローチャートである。
【符号の説明】
【０１１２】
１０…画像処理装置、１１…分類部（ＤＥＭＵＸ）、１２…メモリ（ＭＥＭ）、１３…メインデコーダ（ＭＤＥＣ）、１４…サブデコーダ（ＳＤＥＣ）、１５…メイン処理部（ＭＰＩＣ）、１６…サブ処理部（ＳＰＩＣ）、１７…検出部（ＰＣＡＬ）、１８…画像重ね合わせ部（ＢＬＥＮ）、１９…制御部（ＣＰＵ）、２０…表示パネル（ＰＡＮＥＬ）、２０１…ベース画像領域、２０２…サブ画像領域、２０３…マクロブロック、Ｌｏｗｅｓｔ…最小値、Ｏ…原点、Ｏ’…（ベース画像の）原点、Ｏ’’…（サブ画像の）原点、ＳＵＢＰ…サブ画像。
【図１】
0005217270.tif 000002
【図２】
0005217270.tif 000003
【図３】
0005217270.tif 000004
【図５】
0005217270.tif 000005
【図８】
0005217270.tif 000006
【図９】
0005217270.tif 000007
【図１０】
0005217270.tif 000008
【図１１】
0005217270.tif 000009
【図４】
0005217270.tif 000010
【図６】
0005217270.tif 000011
【図７】
0005217270.tif 000012