(57)【要約】【課題】画面の一部だけに映像が表示されている映像や、多画面表示されている映像において、映像部分にのみ手ぶれ補正処理を適用し、手ぶれを抑えた見やすい映像を表示する。【解決手段】映像領域と非映像領域から構成される入力画像から、映像領域における入力画像の手ぶれ量を算出する手ぶれ量算出部１００と、手ぶれ量に応じて映像領域における入力画像のシフトを行う手ぶれ補正部１０１と、シフト後の映像領域における入力画像に対して端部処理を行い、端部処理後の映像領域における入力画像と映像領域と非映像領域からなる入力画像とを合成する画像合成部１０２と、を備える画像処理装置１。【選択図】図１
2015039085.tif 000002
【特許請求の範囲】
【請求項１】
映像領域と非映像領域から構成される入力画像から、前記映像領域における入力画像の手ぶれ量を算出する手ぶれ量算出部と、
前記手ぶれ量に応じて前記映像領域における入力画像のシフトを行う手ぶれ補正部と、
前記シフト後の映像領域における入力画像に対して端部処理を行い、前記端部処理後の映像領域における入力画像と前記映像領域と非映像領域からなる入力画像とを合成する画像合成部と、
を備える画像処理装置。
【請求項２】
映像領域と非映像領域から構成される入力画像から、前記映像領域における入力画像の手ぶれ量を算出する手ぶれ量算出ステップと、
前記手ぶれ量に応じて前記映像領域における入力画像のシフトを行う手ぶれ補正ステップと、
前記シフト後の映像領域における入力画像に対して端部処理を行い、前記端部処理後の映像領域における入力画像と前記映像領域と非映像領域からなる入力画像とを合成する画像合成ステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送、録画機器、インターネット配信等、多種多様な映像コンテンツを処理可能な画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
近年、テレビを代表とする画像処理装置では、インターネットにおける動画共有サイトなどの普及により、多種多様な映像コンテンツを表示処理することを求められている。動画共有サイトなどでは、一般消費者が自分で撮影した映像が共有されており、テレビでそれらの映像コンテンツを楽しむ機会も増えている。
【０００３】
こういった、一般消費者が撮影した映像は、携帯電話やスマートフォンに搭載されたカメラによって撮影されたものも多い。携帯電話やスマートフォンに搭載されたカメラで撮影した映像には、手ぶれによって見やすさが阻害されているものも多く存在している。これは、携帯電話やスマートフォン等は小型の撮影装置であるため、どうしても手ぶれが発生しやすいことが原因としてあげられる。
【０００４】
一方、ビデオカメラのような、動画撮影に特化した撮影機装置では、手ぶれ補正機能が広く使われている。この技術を用いると、映像を撮影する際の手ぶれを抑えた見やすい映像を撮影することが可能である。しかしながら、携帯電話やスマートフォンのような小型の撮影装置には、ビデオカメラのものと同じような手ぶれ補正技術を搭載することは難しく、手ぶれを抑えた映像を撮影することは難しい。
【０００５】
そこで、手ぶれを含んだ映像を、テレビで表示する際に、手ぶれ補正を施した見やすい映像に補正してから表示を行うことが考えられる。このための技術として、ビデオカメラ等で使われている、電子手ぶれ補正の技術を応用することも可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−１２３３６４号公報
【特許文献２】特開平４−１１７０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の技術はビデオカメラで使われることを前提に開発されたものであり、映像を表示処理する段階で使う際にはさまざまな課題が生じる。
【０００８】
その課題の１つとして、画面全体に映像が表示されている場合以外のときに、手ぶれ補正を正常に行うことが難しい、というものがある。例えば、動画共有サイトをｗｅｂブラウザで表示している時のような、画面の一部の領域だけに映像が表示されており、かつ画面の他の領域には映像とは異なるテキスト等が表示されているような画像の場合である。上記の手ぶれ補正技術では、画面全体の動きベクトルを検出し、それにより手ぶれの向きや強さを判別し、画面全体を手ぶれの方向と逆方向にシフトさせることで手ぶれ補正を実現するが、画面が映像領域と非映像領域（例えば、テキスト領域）のようにわかれている場合、正常に手ぶれの検出を行うことができない。また、画面全体をシフトさせてしまうため、映像領域に表示されている画像だけでなく、非映像領域に表示されている画像も同様にシフトされてしまい、非映像領域の画像に不要な振動を発生させてしまう。
【０００９】
また、２画面表示されている時のように、異なる２つ以上の映像が同時に画面内に表示される場合にも、正常に手ぶれ補正を行うことができない。
【００１０】
さらに、別の課題として、映像領域に表示されている画像のみに手ぶれ補正を行い、映像領域に表示されている画像をシフトさせると、映像領域の端に画像のない部分ができてしまう、というものもある。画像を拡大表示するなどして画像のない部分が映像領域上に現れないようにする方法もあるが、本来の映像領域の画像の端の部分が映像領域内に収まらなくなってしまう課題がある。
【００１１】
本発明は上述した課題を解決するためになされたもので、入力画像が、映像領域と非映像領域に分割されている場合や、該映像領域が２画面表示のような複数の領域に分割されている場合にも、適切な手ぶれ補正を適用することを目的とする。
【００１２】
さらに、該映像領域の画像の端部に画像のない部分ができてしまい、表示品位を落とすことを軽減することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明に係る画像処理装置は、映像領域と非映像領域から構成される入力画像から、前記映像領域における入力画像の手ぶれ量を算出する手ぶれ量算出部と、前記手ぶれ量に応じて前記映像領域における入力画像のシフトを行う手ぶれ補正部と、前記シフト後の映像領域における入力画像に対して端部処理を行い、前記端部処理後の映像領域における入力画像と前記映像領域と非映像領域からなる入力画像とを合成する画像合成部と、を備える。
【００１４】
また、本発明に係る映像処理方法は、映像領域と非映像領域から構成される入力画像から、前記映像領域における入力画像の手ぶれ量を算出する手ぶれ量算出ステップと、前記手ぶれ量に応じて前記映像領域における入力画像のシフトを行う手ぶれ補正ステップと、前記シフト後の映像領域における入力画像に対して端部処理を行い、前記端部処理後の映像領域における入力画像と前記映像領域と非映像領域からなる入力画像とを合成する画像合成ステップと、を備える。
【００１５】
本発明に係る画像処理装置および画像処理方法によれば、映像領域と非映像領域から構成される入力画像から、映像領域における入力画像の手振れ量を算出し、算出した手振れ量に応じて映像領域における入力画像のシフトを行うとともに、シフト後の映像領域における入力画像に対して端部処理を行い、端部処理後の映像領域における入力画像と映像領域と非映像領域からなる原入力画像とを合成するので、映像領域の入力画像に対してのみ適切に手振れ補正を行うことにより、非映像領域の入力画像への手振れ補正による不要な振動の発生を軽減できるとともに、映像領域の入力映像に対する端部処理により、映像領域の入力画像に対して行った手振れ補正の結果生じる画像がない領域をユーザーに気づかせにくくすることができ、表示品位を向上することが可能となる。
【発明の効果】
【００１６】
本発明に係る画像処理装置および画像処理方法によれば、映像領域と非映像領域から構成される入力画像から、映像領域における入力画像の手振れ量を算出し、算出した手振れ量に応じて映像領域における入力画像のシフトを行うとともに、シフト後の映像領域における入力画像に対して端部処理を行い、端部処理後の映像領域における入力画像と映像領域と非映像領域からなる原入力画像とを合成するので、映像領域の入力画像に対してのみ適切に手振れ補正を行うことにより、非映像領域の入力画像への手振れ補正による不要な振動の発生を軽減できるとともに、映像領域の入力映像に対する端部処理により、映像領域の入力画像に対して行った手振れ補正の結果生じる画像がない領域をユーザーに気づかせにくくすることができ、表示品位を向上することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例１に係る画像処理装置の構成を示すブロック図
【図２】映像領域と非映像領域から構成される入力画像の一例を示す図
【図３】映像領域と非映像領域から構成される入力画像の他の例を示す図
【図４】メモリ読み出し位置をずらすことで映像をシフトさせる例を示す図
【図５】映像をシフトさせた際のデータのない部分をマスクする例を示す図
【図６】マスクの幅の制御方法を示す図
【図７】手ぶれ補正をデモする表示方法の例を示す図
【図８】本発明の実施例２に係る画像処理装置の構成を示すブロック図
【図９】本発明の実施例３に係る画像処理装置の構成を示すブロック図
【図１０】２画面表示の例を示す図
【発明を実施するための形態】
【００１８】
以下本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１９】
図１は、本発明の実施例１に係る画像処理装置の構成を示すブロック図である。
【００２０】
画像処理装置１は、手ぶれ量算出部１００、手ぶれ補正部１０１、画像合成部１０２および表示部１０３とを備える。
【００２１】
本実施例１では、入力画像として、画面の一部の領域にのみ映像が表示されており（以降、映像領域と称することもある）、それ以外の領域には映像以外のではないたとえばテキスト等が表示される（以降、非映像領域と称することもある）ことを想定している。
【００２２】
図２は、映像領域と非映像領域から構成される入力画像の一例を示す図である。図２は、ｗｅｂ閲覧中の画面で、入力画像の映像領域に映像が表示されており、該映像領域を囲むように入力画像の非映像領域にテキストが表示されている例を示している。
【００２３】
また、図３は、映像領域と非映像領域から構成される入力画像の他の例を示す図である。図３は、入力画像の映像領域に映像が表示されており、該映像領域の上下または左右の入力映像の非映像領域にレターボックス、サイドブランキングが付けられた例を示している。
【００２４】
本実施例１において、具体的には、図２または図３に示すような画像が画像処理装置１に入力されることが想定される。
【００２５】
手ぶれ量算出部１００は、上述した映像領域と非映像領域から構成される入力画像と、該入力画像に関するメタ情報を入力とし、映像領域における入力画像に含まれる手ぶれの大きさを表す手ぶれ量と映像領域内の入力画像を手ぶれ補正部１０１に出力する。また、手ぶれ量算出部１００は、前述の手ぶれ量を画像合成部１０２に出力する。
【００２６】
ここで、メタ情報とは、入力画像の中のどの部分が映像領域であるのか、を示す情報である。具体的には、図２や図３に示すような、映像領域では１、非映像領域では０になるような、１ｂｉｔの信号を出力する。
【００２７】
また、メタ情報として、映像領域の（ｘ、ｙ）座標および領域の幅、高さのような情報でも良い。この場合は、座標や幅、高さの情報から、映像領域では１、非映像領域では０になるような、１ｂｉｔの信号に変換して用いる。
【００２８】
また、メタ情報として、表示している入力画像のもとになったＨＴＭＬのようなデータでもよい。この場合、ＨＴＭＬに記述されている情報から映像領域の位置を読み取り、映像領域では１、非映像領域では０になるような、１ｂｉｔの信号に変換して用いる。
【００２９】
次に、手ぶれ量算出部１００は、映像領域では１、非映像領域では０になるような、１ｂｉｔの信号を用いて、映像領域における入力画像の切り出しを行い、出力する。切り出した入力画像はＤＲＡＭ等のメモリに書きこんでおく。
【００３０】
ここで、手ぶれ量算出部１００は、切り出した入力画像をメモリに書きこむのでなく、同期信号を付加してリアルタイムに送出するような方法を用いても構わない。
【００３１】
次に、手ぶれ量算出部１００は、切り出した入力画像から動きベクトル検出を行う。動きベクトルとは、ある時刻のフレームの入力画像に表示されている物体が、次の時刻のフレームではどの位置に動いたのかを表す２次元の情報であり、フレーム間でブロックマッチングなどを行うことで検出できる。動きベクトルは、切り出した入力画像の画素毎にどこへ動いたのかを求めても良いし、入力画像を多数のブロックに分割し、ブロックごとにどこに動いたのかを求めても良い。
【００３２】
次に手ぶれ量算出部１００は、検出した動きベクトルのうち、手ぶれの検出に使うべきでないものを判別し、手ぶれ量の算出処理から除外する。これは、映像の中に輝度変化のまったくない部分が存在すると、その部分では動きベクトルが検出できない場合があるため、これを手ぶれ量の算出に用いてしまうと、手ぶれ量算出の精度が悪くなるためである。具体的には、手ぶれ量算出部１００は、切り出した映像の特徴点を抽出し、その特徴点に対応する動きベクトルだけを手ぶれ検出に使用するようにする。特徴点としては、映像のエッジを抽出した点や、エッジ情報からさらにエッジが鋭角に曲がった部分、等、動きベクトルの検出に都合の良い特徴を備えた点であれば、特定の特徴点に限定されない。また、検出した動きベクトルのうち、信頼度の低いものは手ぶれ検出の対象としないようにしてもよい。動きベクトルの信頼度は、ブロックマッチングの相関値などから判断することができる。
【００３３】
次に、手ぶれ量算出部１００は、検出した動きベクトルの大きさごとに出現回数をカウントし、ヒストグラムを作成する。ヒストグラムは、動きベクトルの水平方向成分、垂直方向成分の両方で作成する。手ぶれ量算出部１００は、作成した動きベクトルのヒストグラムから、もっとも出現回数の多い動きベクトルを見つけ、見つけた動きベクトルの大きさを手ぶれ量と判定する。手ぶれ量は水平、垂直それぞれで求め、それぞれ画素数を単位とする。
【００３４】
ここで、出現回数の最も多い動きベクトルを動き量としたが、これ以外に、動きベクトルの平均値を用いて手ぶれ量とする方法なども考えられる。
【００３５】
次に、手ぶれ補正部１０１は、手ぶれ量算出部１００から出力された手ぶれ量と、映像領域における入力画像を受け、手ぶれの補正を行い、手ぶれ補正後の映像領域における入力画像を画像合成部１０２に出力する。具体的には、与えられた手ぶれ量の水平方向の大きさ、垂直方向の大きさからそれぞれ、映像領域における入力画像が手ぶれしている画素数を求め、手ぶれがなくなるような方向に映像領域における入力画像をシフトさせる。映像領域における入力画像のシフトは、図４に示すように、映像領域における入力画像をＤＲＡＭ等のメモリから読み出す際に、読み出し位置をシフトさせることで実現する。
【００３６】
ここで、映像領域における入力画像のシフトを実現する方法として、ＤＲＡＭの読み出し位置ではなく書き込み位置をシフトさせてもよいし、映像領域における入力画像に付加されている同期信号をシフトすることで映像領域における入力画像の相対的な表示位置をシフトするという方法を用いても良い。
【００３７】
映像領域における入力画像のシフトは具体的には、手ぶれ量が水平方向にｘ画素、垂直方向にｙ画素、と与えられた場合には、映像領域における入力画像を水平方向に−ｘ画素、垂直方向に−ｙ画素シフトさせる。これにより、手ぶれにより映像領域における入力画像全体が例えば右にずれている場合は、映像領域における入力画像全体を左にシフトさせ、映像領域における入力画像に写っている被写体の画面に対する位置を固定することで、手ぶれを除去することができる。
【００３８】
画像合成部１０２は、手ぶれ補正部１０１からの手ぶれ補正後の映像領域における入力画像と、手ぶれ量算出部１００からの手ぶれ量と、メタ情報とから、最終的に画面に表示する出力映像を生成する。
【００３９】
まず、画像合成部１０２は、手ぶれ補正後の映像領域における入力画像に対する端部処理を行う。手ぶれ補正後の映像領域における入力画像は、手ぶれ量算出部１００から出力された映像領域における入力画像を手ぶれ量に応じて上下左右にシフトさせてあるため、手ぶれ補正後の映像領域における入力画像はその端部にデータのない隙間部分が生じてしまっている。画像合成部１０２は、この隙間部分に任意の画像を当てはめることで、データのない部分に画像を載せるようにする。具体的には、画像合成部１０２は、図５のように、データのない隙間部分を、ベタ画像でマスクして、手ぶれ量算出部１００から出力された映像領域における入力画像を手ぶれ量に応じて上下左右にシフトさせることで生じた映像領域における入力画像の隙間を埋める。このとき、ベタ画像の色としては、手ぶれ補正後の映像領域における入力画像の平均色や、埋めようとする端部に近い部分の色を用いる。それ以外にも、映像領域における入力画像の周辺にある非映像領域の画像の色を用いることもできる。具体的には、映像領域における入力画像の周囲がテキスト表示領域になっていれば、その背景色をマスクの色として用いたり、非映像領域の入力画像がサイドブランキングやレターボックスであれば、サイドブランキング部分やレターボックス部分の色と同じ色をマスクの色として用いる方法が考えられる。
【００４０】
このとき、マスクを適用する方法として、隙間部分と同じ大きさのマスクを適用して、手ぶれ量に応じて映像のシフト量が変わるのに合わせてマスクの大きさを変えてもよいし、常に一定の幅を持ったマスクを適用しても良い。また図６に示すように、マスクが適用されるときと、マスクが解除されるときの速度を変えて、手ぶれ量算出部１００から出力された映像領域における入力画像がシフトされて隙間が生じるのと同じ速度でマスクを適用した後、手ぶれ量算出部１００から出力された映像領域における入力画像のシフトが元の位置に戻り隙間がなくなったときには、手ぶれ量算出部１００から出力された映像領域における入力画像が元の位置に戻る速度よりもゆっくりした速度でマスクをずらしていき、解除する、という方法をとっても良い。
【００４１】
また、端部を埋める画像として、端部の近くの入力画像を端部に単純にコピーする方法や、コピーした部分だけぼかし処理をする方法や、コピーした部分の明るさを変える方法、１フレーム前の入力画像から同じ端部の入力画像データを持ってきて現フレームの端部に当てはめる方法などを用いることもできる。
【００４２】
端部処理として、手ぶれ補正後の映像領域における入力画像のどの部分を処理対象にすべきかは、手ぶれ量算出部１００からの手ぶれ量をもとに判定する。
【００４３】
また、手ぶれ補正の効果をデモするためのデモモードを搭載する場合などに、補正前後の映像領域における入力画像を図７のように１画面に同時に表示する場合は、補正前後の映像領域における入力画像の境界部分はマスクせず、それ以外の辺はマスクするようにしても良い。
【００４４】
次に、画像合成部１０２は、端部処理を施した、手ぶれ補正後の映像領域における入力画像を、もとの入力画像にはめ込み合成をする。はめ込む位置は、メタ情報から判定する。メタ情報が、映像領域では１、非映像領域では０になる１ｂｉｔ信号の場合は、それをそのまま用いる。メタ情報が映像領域の座標の場合は、その座標を元に、映像領域では１、非映像領域では０になる１ｂｉｔ信号を生成し、それを用いる。
【００４５】
表示部１０３は、画像合成部１０２で合成された出力映像を、画面に表示する。具体的には、液晶パネルに出力映像を表示させる処理を行う。ここで、表示デバイスとして液晶パネルではなく、プラズマディスプレイや、有機ELディスプレイ等、その他のディスプレイを用いても良い。
【実施例２】
【００４６】
図８は、本発明の実施例２に係る画像処理装置の構成を示すブロック図本発明の実施例２に係る画像処理装置の構成を示すブロック図である。図８は、実施例１と同様の構成要素に対して、同一の符号が割り当てられている。図８に示される画像処理装置８は、図１に示される画像処理装置１の各構成に加えて、映像領域検出部８０１を備えている。
【００４７】
本実施例２では、実施例１で述べた入力画像と同じ入力画像が入力されることを想定しているのは実施例１と同様だが、メタ情報が入力として与えられない場合を想定している。
【００４８】
映像領域検出部８０１は、入力画像を解析し、画面全体のうちどの領域が映像領域であるかを検出し、映像領域を識別するための映像領域識別信号を、手ぶれ量算出部８００および画像合成部１０２に出力する。
【００４９】
映像領域検出部８０１は、映像領域の位置を検出するために、まず入力画像を小さなブロックに分割し、それぞれのブロックについて使われている色の数を調べる。次に、映像領域検出部８０１は、各ブロックで使用されている色数をもとに映像領域か非映像領域かを判別する。具体的には、映像領域検出部８０１は、使用されている色数の多いブロックは映像領域、色数の少ないブロックは非映像領域と判別する。
【００５０】
また、別の方法として、映像領域検出部８０１は、入力映像を複数のブロックに分割し、それぞれのブロックについてフレーム間の輝度の差分を計算し、ブロック内で動きがあるかどうかを調べる方法を用いても良い。この場合、前後のフレーム間の輝度の差分だけで動きのあるブロックかそうでないかを判別してもよいし、前後フレームの差分を一定の期間に渡って調べ、前後フレームで動きのある状態が一定期間を超えたときに動きのあるブロックと判別しても良いし、逆に前後フレームで動きのない状態が一定期間を超えたときに動きのないブロックと判別しても良い。結果として、映像領域検出部８０１は、動きがあると判別されたブロックは映像領域と判別する。
【００５１】
また、別の方法として、映像領域検出部８０１は、入力映像のラインごとの平均輝度をしらべ、平均輝度が滑らかにつながらないラインを検出し、そのラインを映像領域の境界とみなして、映像領域を判別する材料としても良い。具体的には、映像領域検出部８０１は、映像の各ラインの平均輝度を計算し、ライン間で平均輝度の差分を求め、差分が閾値を超えた場合にそのラインを映像領域の境界と判別する。
【００５２】
また、別の方法として、映像領域検出部８０１は、入力画像の動きベクトルを検出し、動きベクトルが０でない部分を映像領域と判別しても良い。この場合、動きベクトルは入力画像の画素毎に求めても良いし、入力画像を複数のブロックに分割し、ブロックごとに求めても良い。また、映像領域検出部８０１は、動きベクトルを一定の期間にわたって検出し続け、動きベクトルが０でない状態が一定期間以上続いた場合は、その画素またはブロックを映像領域と判別してもよいし、逆に動きベクトルが０の状態が一定期間以上続いた場合に、その画素またはブロックを非映像領域と判別しても良い。
【００５３】
また、別の方法として、映像領域検出部８０１は、入力画像の上下左右端部の一定の幅の領域の映像を観察し、一定期間以上黒い映像であった場合は、その一定の幅の領域を非映像領域とみなしても良い。これは、入力画像にレターボックスやサイドブランキングが付加されている状態に対応するものである。
【００５４】
また、これらの方法を単独で用いてもよいし、複数の方法を並列に用いて判別した結果を統合して最終的な映像領域の判別結果とする構成も用いても良い。
【００５５】
また、映像領域検出部８０１は入力画像を複数のブロックに分割して判別を行う場合は、各ブロック単独の判別結果を用いて、そのブロックが映像領域であるか否かを判別してもよいし、複数のブロックの判別結果を統合し、映像領域と判別されたブロックが隣り合って存在しており、かつ、全体として矩形領域を形成している場合に、その矩形領域を映像領域と判別しても良い。
【００５６】
以上説明されたように、本実施例２によれば、映像領域検出部８０１は、入力画像を解析することで、映像領域を検出することができ、その結果を映像領域識別信号として出力する機能を備えている。したがって、入力画像と同時に、メタ情報として映像領域の画面内での位置に関する情報が得られない場合においても、映像領域を検出し、映像領域のみに手ぶれ補正を実施することが可能となる。
【実施例３】
【００５７】
図９は、本発明の実施例３に係る画像処理装置の構成を示すブロック図である。
【００５８】
画像処理装置９は、映像領域１内手ぶれ量算出部９０１、映像領域２内手ぶれ量算出部９０２、映像領域１手ぶれ補正部９０３、映像領域２手ぶれ補正部９０４、画像合成部９０５、表示部１０３とを備えている。
【００５９】
本実施例３では、入力画像として、入力画像が２つの映像領域に分割され、それぞれの映像領域に異なる入力画像が表示されるような２画面入力画像を想定している。
【００６０】
映像領域１内手ぶれ量算出部９０１は、入力画像と、入力画像に関するメタ情報を入力とし、映像領域１に表示される入力画像に含まれる手ぶれの大きさを表す映像領域１手ぶれ量と、映像領域１における入力画像を出力する。
【００６１】
ここで、メタ情報とは、入力画像の中のどの部分が２画面表示の映像領域であるのか、を示す情報である。具体的には、図１０に示すような、一つ目の入力画像が表示される領域（映像領域１とする）では「１」、二つ目の入力画像が表示される領域（映像領域２とする）では「２」のように、それぞれの映像領域を識別できるような、複数ｂｉｔの信号を想定している。
【００６２】
なお、メタ情報として、各映像領域の（ｘ、ｙ）座標および領域の幅、高さのような情報でも良い。この場合は、座標や幅、高さの情報から、各々の映像領域を識別する信号に変換して用いる。
【００６３】
次に、映像領域１を識別する信号を用いて、映像領域１に表示されている入力画像の切り出しを行い、出力する。切り出した入力画像はＤＲＡＭ等のメモリに書きこんでおく。
【００６４】
ここで、切り出した入力画像をメモリに書きこむのでなく、同期信号を付加してリアルタイムに送出するような方法を用いても構わない。
【００６５】
次に、切り出した入力画像から動きベクトル検出を行うが、この動作は実施例１の手ぶれ量算出部１００と同様のため、説明は省略する。
【００６６】
映像領域２内手ぶれ量算出部９０２は、入力画像と、入力画像に関するメタ情報を入力とし、映像領域２に表示される入力画像に含まれる手ぶれの大きさを表す映像領域２手ぶれ量と、映像領域２における入力画像を出力する。動作は映像領域１内手ぶれ量算出部９０１と同様のため、説明は省略する。
【００６７】
映像領域１手ぶれ補正部９０３では、映像領域１内手ぶれ量算出部９０１から出力された映像領域１手ぶれ量と、映像領域１における入力画像を受け、手ぶれの補正を行い、手ぶれ補正後の映像領域１における入力画像を出力する。手ぶれ補正動作は、実施例１の手ぶれ補正部１０１と同様のため説明は省略する。
【００６８】
映像領域２手ぶれ補正部９０４では、映像領域２内手ぶれ量算出部９０２から出力された映像領域２手ぶれ量と、映像領域２における入力画像を受け、手ぶれの補正を行い、手ぶれ補正後の映像領域２における入力画像を出力する。手ぶれ補正動作は、実施例１の手ぶれ補正部１０１と同様のため説明は省略する。
【００６９】
画像合成部９０５は、映像領域１手ぶれ補正部９０３からの手ぶれ補正後の映像領域１における入力画像と、映像領域１内手ぶれ量算出部９０１からの映像領域１手ぶれ量と、映像領域２手ぶれ補正部９０４からの手ぶれ補正後の映像領域２における入力画像と、映像領域２内手ぶれ量算出部９０２からの映像領域２手ぶれ量と、入力メタ情報とから、最終的に画面に表示する出力映像を生成する。
【００７０】
画像合成部９０５は、まず、手ぶれ補正後の映像領域１における入力画像、手ぶれ補正後の映像領域２における入力画像それぞれに対して個別に端部処理を行う。端部処理の動作は、実施例１の画像合成部１０２と同様のため、説明は省略する。
【００７１】
なお、手ぶれ補正後の映像領域１における入力画像、手ぶれ補正後の映像領域２における入力画像それぞれに対して端部処理を適用する幅は、それぞれの手ぶれ量に応じて別々に設定してもよいし、両方の手ぶれ補正後の入力画像で同じに設定しても良い。
【００７２】
以上説明されたように、本実施例３においては、入力画像が２つの映像領域に分割され、それぞれの映像領域に異なる入力画像が表示されるような２画面入力画像に対して、それぞれの入力映像に独立で手ぶれ補正処理を行うことができる。
【００７３】
なお、本実施例３では入力画像として２画面表示の入力画像を例として説明したが、本発明はこれに限定されるものではなく、３画面、４画面といった多画面表示の場合であっても同様に実施できる。
【００７４】
また、本実施例３では画面全体が２つに分割され、それぞれに個別の入力画像が表示される２画面表示を例に説明したが、２つの映像領域以外に、非映像表示領域を含んでいても良い。この場合、メタ情報は映像領域１と映像領域２と非映像領域とを識別できるような信号となり、非映像領域には手ぶれ補正処理が行われないようにする。
【００７５】
また、３画面以上の多画面表示と同時に非映像領域が含まれていても同様に実施可能である。
【００７６】
なお、本発明の画像合成部で行われる端部処理は、実施例で説明したような、多画面表示や、画面の一部が映像領域になっているような場合だけでなく、ひとつの入力画像が全画面表示されている場合にも適用できるものであり、画面を複数領域に分割している場合のみに限られるものではない。
＜まとめ＞
本発明に係る画像処理装置および画像処理方法によれば、映像領域と非映像領域から構成される入力画像から、映像領域における入力画像の手振れ量を算出し、算出した手振れ量に応じて映像領域における入力画像のシフトを行うとともに、シフト後の映像領域における入力画像に対して端部処理を行い、端部処理後の映像領域における入力画像と映像領域と非映像領域からなる原入力画像とを合成するので、映像領域の入力画像に対してのみ適切に手振れ補正を行うことにより、非映像領域の入力画像への手振れ補正による不要な振動の発生を軽減できるとともに、映像領域の入力映像に対する端部処理により、映像領域の入力画像に対して行った手振れ補正の結果生じる画像がない領域をユーザーに気づかせにくくすることができ、表示品位を向上することが可能となる。
【００７７】
また、入力画像が２画面表示の場合のように、画面を分割してそれぞれの分割領域ごとに異なる入力画像を表示している場合、それぞれの分割領域ごとに独立にベクトル検出及び手ぶれ量の算出を行うことで、表示されている２つの入力画像それぞれの手ぶれ量の算出が可能となる。また、それぞれの入力画像ごとに切り出しを行い、切り出した入力画像ごとに画像シフト処理を行い、その後に再び一画面に合成することで、２画面表示のそれぞれの入力画像に適した手ぶれ補正を適用することができ、２つの入力画像を独立に手ぶれ補正することが可能となる。
【００７８】
また、手ぶれ補正により入力画像をシフトさせたときに生じる端部の無画像部分にマスク処理を適用する。このときマスク部分の色を映像領域における画像部分の色に応じて適応的に変化させる等の処理を適用し、マスク処理が行われていることをユーザーが気づきにくくすることが可能である。
【産業上の利用可能性】
【００７９】
画面の一部だけに入力画像が表示されている場合や、多画面表示されている場合でも、入力された映像領域における入力画像から手ぶれを取り除き、見やすい画像を表示する画像処理装置及び画像処理方法として有用である。
【符号の説明】
【００８０】
１、８、９  画像処理装置
１００、８００    手ぶれ量算出部
１０１    手ぶれ補正部
１０２、９０５    画像合成部
１０３    表示部
８０１    映像領域検出部
９０１    映像領域１内手ぶれ量算出部
９０２    映像領域２内手ぶれ量算出部
９０３    映像領域１手ぶれ補正部
９０４    映像領域２手ぶれ補正部
【図１】
2015039085.tif 000003
【図２】
2015039085.tif 000004
【図３】
2015039085.tif 000005
【図４】
2015039085.tif 000006
【図５】
2015039085.tif 000007
【図６】
2015039085.tif 000008
【図７】
2015039085.tif 000009
【図８】
2015039085.tif 000010
【図９】
2015039085.tif 000011
【図１０】
2015039085.tif 000012