(57)【要約】      （修正有）【課題】２次元映像に基づいて３次元映像を生成する時、３次元映像で発生するアーティファクトに対して信頼性の高い補正が可能な映像処理装置及び映像処理方法を提供する。【解決手段】３次元映像フレームを生成する映像処理方法は、オフセット映像フレームを得るために第１映像フレームから抽出したオブジェクトにオフセット値を印加する段階と、第２映像フレームから歪曲領域に対応する映像情報を取得する段階と、前記第１映像フレームで前記オフセット値による前記映像情報の前記歪曲領域に対して、前記取得した映像情報で前記歪曲領域を補正する段階とを含む。【選択図】図３
2011015388.tif 000002
【特許請求の範囲】
【請求項１】
３次元映像フレームを生成する映像処理方法において、
オフセット映像フレームを得るために第１映像フレームから抽出したオブジェクトにオフセット値を印加する段階と；
第２映像フレームから歪曲領域に対応する映像情報を取得する段階と；
前記第１映像フレームで前記オフセット値による前記映像情報の前記歪曲領域に対して、前記取得した映像情報で前記歪曲領域を補正する段階と；
を含むことを特徴とする映像処理方法。
【請求項２】
前記映像情報を取得する段階は、前記オフセット映像フレームと前記第２映像フレームとの間の類似度が既設定値の以上である場合に行われることを特徴とする、請求項１に記載の映像処理方法。
【請求項３】
前記オフセット映像フレームと前記第２映像フレームとの間の前記類似度は、前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在するかの可否に基づいて判断されることを特徴とする、請求項２に記載の映像処理方法。
【請求項４】
前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在するかの可否に基づいて判断する段階は、
前記オフセット映像フレームで第１ピクセル領域を感知する段階と；
前記第２映像フレームで第２ピクセル領域を感知する段階と；
前記第１ピクセル領域での映像情報が前記第２ピクセル領域での映像情報と実質的に同一であるかの可否を判断する段階と；
を含むことを特徴とする、請求項３に記載の映像処理方法。
【請求項５】
前記第１及び第２ピクセル領域を感知する段階は、前記オブジェクトを形成するピクセル達が取り除かれるように行われることを特徴とする、請求項４に記載の映像処理方法。
【請求項６】
前記オフセット映像フレームと前記第２映像フレームとの間の前記類似度が前記既設定値の以上であるかの可否を判断する段階は、
前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在するかの可否を判断する段階と；
前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在しなければ、前記オフセット映像フレームと前記第２映像フレームとの間の前記類似度が前記既設定値の未満であると判断する段階と；
を含むことを特徴とする、請求項２に記載の映像処理方法。
【請求項７】
前記映像情報を取得する段階は、前記オフセット映像フレームと隣接する其々の先行映像フレームと後行映像フレームとの中でいずれか一つから情報を取得する段階を含むことを特徴とする、請求項１に記載の映像処理方法。
【請求項８】
３次元映像フレームを生成する映像処理装置において、
映像が受信される映像受信部と；
オフセット映像フレームを得るために前記受信される映像の第１映像フレームから抽出されたオブジェクトにオフセット値を印加して、第２映像フレームから歪曲領域に対応する映像情報を取得して、前記第１映像フレームで前記オフセット値による前記映像情報の前記歪曲領域に対して、前記取得した映像情報で前記歪曲領域を補正する映像処理部と；
を含むことを特徴とする映像処理装置。
【請求項９】
前記映像処理部は、
前記オフセット映像フレームと前記第２映像フレームとの間の類似度が既設定値の以上であると、前記第２映像フレームから前記歪曲領域に対応する前記映像情報を取得することを特徴とする、請求項８に記載の映像処理装置。
【請求項１０】
前記映像処理部は、
前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在するかの可否の判断によって、前記類似度が前記既設定値の以上であるかを判断することを特徴とする、請求項９に記載の映像処理装置。
【請求項１１】
前記映像処理部は、
前記オフセット映像フレームで第１ピクセル領域を感知して、前記第２映像フレームで第２ピクセル領域を感知して、前記第１ピクセル領域での映像情報が前記第２ピクセル領域での映像情報と実質的に同一であるかの可否を判断することを特徴とする、請求項１０に記載の映像処理装置。
【請求項１２】
前記第１及び第２ピクセル領域の感知は、前記オブジェクトを形成するピクセル達が取り除かれるように行われることを特徴とする、請求項１１に記載の映像処理装置。
【請求項１３】
前記映像処理部は、
前記オブジェクトが各映像フレームに存在しないと前記各映像フレームの間の前記類似度が前記既設定値の未満であると判断することを特徴とする、請求項９に記載の映像処理装置。
【請求項１４】
前記映像処理部は、
前記オフセット映像フレームと隣接する其々の先行映像フレームと後行映像フレームとの中でいずれか一つから選択的に前記映像情報を取得することを特徴とする、請求項８に記載の映像処理装置。
【請求項１５】
３次元映像フレームを生成する映像処理方法において、
２次元映像フレームから抽出したオブジェクトに所定のオフセット値を印加する段階と；
他の映像フレームから歪曲領域に対応する映像情報を取得して、前記オフセット値によって前記２次元映像フレームに形成される前記映像情報の前記歪曲領域に対して、前記取得した映像情報で前記歪曲領域を補正する段階と；
を含むことを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３次元映像を表示可能に処理する映像処理装置及び映像処理方法に係わり、詳しくは３次元映像のアーティファクトを補正する映像処理装置及び映像処理方法に関するものである。
【背景技術】
【０００２】
映像処理装置は外部から入力される映像を様々なプロセスで処理し、処理された映像を自体的に具備するディスプレイパネル上に表示するか、または他の映像処理装置に出力する。近来の映像処理装置は左眼用映像及び右眼用映像の区別がない２次元映像と、左眼用映像及び右眼用映像の区別がある３次元映像とが入力されて選択的に処理する。
【０００３】
映像処理装置は３次元映像を処理する場合、左眼用映像及び右眼用映像が交代で表示されるように処理することで、使用者が左眼及び右眼の視覚差から３次元的の効果を認知できるようにする。
【０００４】
このような３次元映像は、最初に映像処理装置に入力される時点で左眼用映像及び右眼用映像が別個の映像で入力される場合と、映像処理装置に２次元映像が入力されてこの２次元映像に基づいて左眼用映像及び右眼用映像が生成される場合とがある。前者の場合は具現が容易で別途の画質の補正が要らないが、処理の対象のデータの量が相対的に大きい。後者の場合は処理の対象のデータの量が相対的に小さくて２次元映像に対して適用できるが、３次元映像の生成時に映像情報の損失であるアーティファクト（Ａｒｔｉｆａｃｔ）が発生する。
【０００５】
従って、映像処理装置が２次元映像に基づいて左眼用映像及び右眼用映像を生成することにおいて、このようなアーティファクトを補正することは最終的に表示される映像の画質を保障する側面で重要である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
２次元映像に基づいて３次元映像を生成する時、３次元映像で発生するアーティファクトに対して信頼性の高い補正が可能な映像処理装置及び映像処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の実施形態による３次元映像フレームを生成する映像処理方法は、オフセット映像フレームを得るために第１映像フレームから抽出したオブジェクトにオフセット値を印加する段階と；第２映像フレームから歪曲領域に対応する映像情報を取得する段階と；前記第１映像フレームで前記オフセット値による前記映像情報の前記歪曲領域に対して、前記取得した映像情報で前記歪曲領域を補正する段階と；を含むことを特徴とする。
【０００８】
ここで、前記映像情報を取得する段階は、前記オフセット映像フレームと前記第２映像フレームとの間の類似度が既設定値の以上である場合に行われてもよい。
【０００９】
ここで、前記オフセット映像フレームと前記第２映像フレームとの間の前記類似度は、前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在するかの可否に基づいて判断されてもよい。
【００１０】
ここで、前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在するかの可否に基づいて判断する段階は、前記オフセット映像フレームで第１ピクセル領域を感知する段階と；前記第２映像フレームで第２ピクセル領域を感知する段階と；前記第１ピクセル領域での映像情報が前記第２ピクセル領域での映像情報と実質的に同一であるかの可否を判断する段階と；を含んでもよい。
【００１１】
ここで、前記第１及び第２ピクセル領域を感知する段階は、前記オブジェクトを形成するピクセル達が取り除かれるように行われてもよい。
【００１２】
また、前記オフセット映像フレームと前記第２映像フレームとの間の前記類似度が前記既設定値の以上であるかの可否を判断する段階は、前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在するかの可否を判断する段階と；前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在しなければ、前記オフセット映像フレームと前記第２映像フレームとの間の前記類似度が前記既設定値の未満であると判断する段階と；を含んでもよい。
【００１３】
また、前記映像情報を取得する段階は、前記オフセット映像フレームと隣接する其々の先行映像フレームと後行映像フレームとの中でいずれか一つから情報を取得する段階を含んでもよい。
【００１４】
また、本発明の実施形態による３次元映像フレームを生成する映像処理装置は、映像が受信される映像受信部と；オフセット映像フレームを得るために前記受信される映像の第１映像フレームから抽出されたオブジェクトにオフセット値を印加して、第２映像フレームから歪曲領域に対応する映像情報を取得して、前記第１映像フレームで前記オフセット値による前記映像情報の前記歪曲領域に対して、前記取得した映像情報で前記歪曲領域を補正する映像処理部と；を含むことを特徴とする。
【００１５】
ここで、前記映像処理部は、前記オフセット映像フレームと前記第２映像フレームとの間の類似度が既設定値の以上であると、前記第２映像フレームから前記歪曲領域に対応する前記映像情報を取得してもよい。
【００１６】
ここで、前記映像処理部は、前記オブジェクトが前記オフセット映像フレームと前記第２映像フレームとの両方に存在するかの可否の判断によって、前記類似度が前記既設定値の以上であるかを判断してもよい。
【００１７】
ここで、前記映像処理部は、前記オフセット映像フレームで第１ピクセル領域を感知して、前記第２映像フレームで第２ピクセル領域を感知して、前記第１ピクセル領域での映像情報が前記第２ピクセル領域での映像情報と実質的に同一であるかの可否を判断してもよい。
【００１８】
ここで、前記第１及び第２ピクセル領域の感知は、前記オブジェクトを形成するピクセル達が取り除かれるように行われてもよい。
【００１９】
また、前記映像処理部は、前記オブジェクトが各映像フレームに存在しないと前記各映像フレームの間の前記類似度が前記既設定値の未満であると判断してもよい。
【００２０】
また、前記映像処理部は、前記オフセット映像フレームと隣接する其々の先行映像フレームと後行映像フレームとの中でいずれか一つから選択的に前記映像情報を取得してもよい。
【００２１】
また、本発明の実施形態による３次元映像フレームを生成する映像処理方法は、２次元映像フレームから抽出したオブジェクトに所定のオフセット値を印加する段階と；他の映像フレームから歪曲領域に対応する映像情報を取得して、前記オフセット値によって前記２次元映像フレームに形成される前記映像情報の前記歪曲領域に対して、前記取得した映像情報で前記歪曲領域を補正する段階と；を含むことを特徴とする。
【発明の効果】
【００２２】
３次元映像フレームの歪曲領域を信頼の高い映像情報で補正することによって、表示映像の画質が保障できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態による映像処理装置を示す構成のブロック図である。
【図２】図１の映像処理装置で映像処理部が２次元映像フレームから３次元映像フレームを生成する方法を示す例示図である。
【図３】図２の３次元映像フレームの中で左眼用映像フレームの歪曲領域を補正する方法を示す例示図である。
【図４】図２の３次元映像フレームの中で右眼用映像フレームの歪曲領域を補正する方法を示す例示図である。
【図５】本発明の実施形態による映像処理方法を示す制御フローチャートである。
【図６】図５の過程の中で歪曲領域の補正用映像情報を取得する過程を更に詳しく示す制御フローチャートである。
【発明を実施するための形態】
【００２４】
以下、添付の図面を参照して本発明の実施形態について詳しく説明する。
【００２５】
図１は本発明の実施形態による映像処理装置１の構成を概略的に示すブロック図である。
【００２６】
本実施形態による映像処理装置１の実際の具現例は限られるものではなく、外部から受信されるとか、または自体的に貯蔵された映像を様々な方法で処理する装置に適用できる。例えば、映像処理装置１は自体的に映像を表示できるように液晶またはプラズマパネルのようなディスプレイパネルを具備するＴＶ、モニター等に具現する。また、映像処理装置１はディスプレイパネルを具備しなく、映像を処理して外部のＴＶまたはモニターの伝達するセットトップボックス、ＤＶＤ・ブルーレイディスクプレイヤー等に具現することもできる。
【００２７】
図１に示されているように、本実施形態による映像処理装置１は２次元映像または３次元映像を処理でき、詳しくは入力される２次元映像から左眼用映像及び右眼用映像を含む３次元映像を生成して処理できる。もちろん映像処理装置１の機能はこれに限られなく、映像処理装置１は２次元映像を３次元映像に変換しなくて２次元映像がそのまま表示されるよう処理するとか、左眼用映像及び右眼用映像が区分される３次元映像が入力される場合にこれが表示されるよう処理することも可能である。
【００２８】
本実施形態は入力映像がこの２次元映像である時に、この２次元映像に基づいて３次元映像を生成する場合について説明するが、以前の説明のとおり映像処理装置１の機能がこれに限られることではない。
【００２９】
映像処理装置１は入力映像を受信する映像受信部１００と、受信される映像を表示可能に処理する映像処理部２００とを含む。また、映像処理装置１は映像処理部２００で処理される映像を表示するディスプレイ部３００を更に含む。
【００３０】
ここで、２次元映像に基づいて３次元映像を生成する時に、所定の映像フレーム上にはアーティファクト（Ａｒｔｉｆａｃｔ）、即ち映像情報の歪曲領域が発生する。本実施形態による映像処理部２００は前記の映像フレームと相異なる他の映像フレームからこの歪曲領域に対応する映像情報を取得して、この取得した映像情報で歪曲領域を補正して３次元映像フレームを生成する。
【００３１】
これによって、３次元映像フレームの歪曲領域を信頼の高い映像情報で補正することによって、表示映像の画質が保障できる。
【００３２】
以下、映像処理装置１の各構成要素について説明する。
【００３３】
映像受信部１００は限られない映像供給元（図示せず）から提供される映像信号を受信する。 映像受信部１００が受信する映像信号は２次元映像に対応する映像信号、または３次元映像に対応する映像信号の全てが可能である。
【００３４】
映像受信部１００は次のように多様な規格を有する。例えば映像処理装置１がＴＶで具現される場合、映像受信部１００は放送局（図示せず）から送られるＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）信号を無線で受信するか、またはコンポジット（Ｃｏｍｐｏｓｉｔｅ）ビデオ、コンポーネント（Ｃｏｍｐｏｎｅｎｔ）ビデオ、スーパービデオ（Ｓｕｐｅｒ  Ｖｉｄｅｏ）、ＳＣＡＲＴ、ＨＤＭＩ（ｈｉｇｈ  ｄｅｆｉｎｉｔｉｏｎ  ｍｕｌｔｉｍｅｄｉａ  ｉｎｔｅｒｆａｃｅ）の規格等による映像信号が受信できる。または、映像受信部１００は映像処理装置１がコンピュータのモニターである場合にＶＧＡ方式によるＲＧＢ信号を伝達するＤ−ＳＵＢとか、ＤＶＩ（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｉｎｔｅｒａｃｔｉｖｅ）、ＨＤＭＩの規格等の映像信号を受信するようにも具現される。
【００３５】
映像処理部２００は映像受信部１００から伝達される映像信号に対して、既設定の多様な映像処理プロセスを行う。映像処理部２００が行う映像処理プロセスの種類は限られないものであり、例えば様々な映像フォーマットに対応するデコーディング（ｄｅｃｏｄｉｎｇ）及びエンコーディング（ｅｎｄｏｄｉｎｇ）、順次走査変換（ｄｅ−ｉｎｔｅｒａｃｉｎｇ）、フレームリフレッシュレート（ｆｒａｍｅ  ｒｅｆｒｅｓｈ  ｒａｔｅ）変換、スケーリング（ｓｃａｌｉｎｇ）、映像画質の改善のためのノイズ減少（ｎｏｉｓｅ  ｒｅｄｕｃｔｉｏｎ）、ディテールエンハンスメント（ｄｅｔａｉｌ  ｅｎｈａｎｃｅｍｅｎｔ）等が含まれる。
【００３６】
映像処理部２００はこのような各プロセスを独自的に行う個別の構成で具現されるとか、または色んな機能が統合された一体型の構成でも具現される。
【００３７】
本実施形態による映像処理部２００は映像受信部１００に受信される映像信号が２次元映像に対応すれば、この２次元映像に基づいて３次元映像を生成し、生成された３次元映像を表示可能に処理する。映像処理部２００は映像がディスプレイ部３００で表示されるフレーム（ｆｒａｍｅ）単位で映像信号を処理し、本実施形態では映像処理部２００がこのような映像フレーム単位で映像を処理することで説明する。ただし、これは一つの例示にすぎなく、この実施形態が本発明の思想を限定することではないのは明らかである。
【００３８】
以下、映像処理部２００が２次元映像フレームから３次元映像フレームを生成する方法について図２を参照して説明する。図２は２次元映像フレームから左眼用映像フレーム及び右眼用映像フレームを其々に生成する例示図である。
【００３９】
図２に示されているように、映像処理部２００は連続する２次元映像フレームに基づいて其々に３次元映像フレームを生成する。図２のＡ、Ｂ、Ｃは時間的に連続する２次元映像フレームであり、各２次元映像フレームはオブジェクトＯＢと背景ＢＧとを含む。
【００４０】
オブジェクトＯＢは映像フレームの中で使用者の左右視野角の差を適用する対象になるピクセル領域であり、背景ＢＧは映像フレームの中でオブジェクトＯＢを除いてピクセル領域である。一つの映像フレームの中でオブジェクトＯＢと背景ＢＧとの設定は多様に指定されられることであって、例えば飛行機が空を飛んでいる映像の場合に飛行機がオブジェクトＯＢ、空が背景ＢＧに指定される。
【００４１】
２次元映像フレームＢに基づいて３次元映像フレームを生成する方法は次の通りである。
【００４２】
映像処理部２００は２次元映像フレームＢからオブジェクトＯＢを抽出する。使用者の左側視野と右側視野との間では視覚差があり、これによって所定の対象物を立体として認知する。映像処理部２００はこのように使用者の左側視野と右側視野との其々に対応するよう既設定された第１オフセット値と第２オフセット値とを貯蔵している。ここで、第１オフセット値と第２オフセット値とは限られない値であり、映像処理装置１の環境によって様々な数値が適用される。
【００４３】
映像処理部２００は抽出してオブジェクトＯＢに対してこのような第１オフセット値と第２オフセット値とを個別に適用することで、左側視野及び右側視野の其々に対応する左眼用映像フレーム及び右眼用映像フレームＢ-１、Ｂ-２を生成することができる。
【００４４】
即ち、映像処理部２００は抽出したオブジェクトＯＢに対して第１オフセットを行うことで左眼用映像フレームＢ-１を生成し、同一のオブジェクトＯＢに対して第２オフセットを行うことで右眼用映像フレームＢ-２を生成する。ここで、背景ＢＧに対してはオフセットが適用されないので、３次元映像フレームＢ-１とＢ-２との其々のオブジェクトＯＢの相対的の位置は相互に相異なる。
【００４５】
これは第１オフセット値と第２オフセット値とが使用者の左側視野角度及び右側視野角度の其々を考慮して設定された値であるため、どのオフセット値を適用するかによって、生成された３次元映像フレームの中でオブジェクトＯＢのピクセル位置が相異になる。
【００４６】
ところで、このようなオブジェクトＯＢの位置変化によって、３次元映像フレームＢ-１及びＢ-２の其々には映像情報の歪曲領域Ｈ１、Ｈ２、即ちアーティファクトが発生する。この歪曲領域Ｈ１、Ｈ２は左眼用映像フレームＢ-１の場合にオブジェクトＯＢの右側に、右眼用映像フレームＢ-２の場合にオブジェクトＯＢの左側に其々に発生する。
【００４７】
歪曲領域Ｈ１、Ｈ２は背景ＢＧではなくオブジェクトＯＢにだけオフセットが適用されることによって発生するものであり、背景ＢＧの中でオブジェクトＯＢの左側または右側の境界の一部のピクセル領域に形成される。歪曲領域Ｈ１、Ｈ２は２次元映像フレームＢでオブジェクトＯＢが位置する領域であるので、３次元映像フレームＢ-１、Ｂ-２では該当の映像情報がないか或は歪曲されている。よって、歪曲領域Ｈ１、Ｈ２を補正しない場合、表示映像の品質が低下する。
【００４８】
従って、映像処理部２００は２次元映像フレームＢから３次元映像フレームＢ-１、Ｂ-２を生成する際に発生するこのような歪曲領域Ｈ１、Ｈ２に対して、２次元映像フレームＢと相異なる他の映像フレームＡ、 Ｃから映像情報を取得して補正を行う。
【００４９】
より好ましくは、映像処理部２００は２次元映像フレームＢと時間的に隣接する先行または後行映像フレームＡ、Ｃから歪曲領域Ｈ１、Ｈ２に対応する映像情報を選択的に取得する。これは、時間的に隣接する映像フレームほど相互に類似な映像情報が含まれる確率が高いためである。
【００５０】
ここで、映像処理部２００はオフセットされた映像フレームＢ-１、Ｂ-２と他の映像フレームＡ、Ｃとの間の映像情報の類似度を検出し、この類似度が既設定値の以上に検出されて類似な映像情報を有すると判断される映像フレームＡ、Ｃから映像情報を取得することができる。
【００５１】
以下、映像フレームとの間の映像情報の類似度を検出する方法について詳しく説明する。但し、これは実施形態に過ぎないことであり、類似度を検出する方法は様々な構成の適用が可能である。
【００５２】
映像処理部２００は映像フレームＢ-１と映像フレームＡとの間の類似度を検出しようとする場合、まず両映像フレームＢ-１、Ａの間に同一のオブジェクトＯＢが存在するかの可否を判断する。もし、同一のオブジェクトＯＢが存在しなければ、映像処理部２００は両映像フレームＢ-１、Ａが類似ではないと判断する。
【００５３】
同一のオブジェクトＯＢが存在すれば、映像処理部２００は類似度を判断するためのピクセル領域の範囲を決定する。このような判断の対象になるピクセル領域は映像フレームの全体で決定されるとか、または各映像フレームＢ-１、ＡでオブジェクトＯＢを含む所定の範囲のピクセル領域で決定される。本実施形態では映像フレームの全体に渡って類似度を検出することで表現するが、これは本発明を具現することにおいて多様に指定できる方法であるため本発明の思想を限定することではない。
【００５４】
但し、このようなピクセル領域を一つの映像フレームの全体で決定する場合には処理すべきデータ量が増加し、前記のピクセル領域が小さいほど類似度の検出に関する信頼度が低下するため、適切な処理のロード及び信頼度を考慮して決定される。
【００５５】
映像処理部２００は各映像フレームＢ-１、Ａで同一のオブジェクトＯＢを除いたピクセル領域、即ち背景ＢＧを其々に検出する。そして、映像処理部２００は各背景ＢＧの間に実質的に同一の映像情報を有するピクセル領域の比率が既設定値の以上であるかの可否を判断する。前記の既設定値は映像処理装置１の特性によって多様な変更指定が可能である。
【００５６】
ここで、実質的に同一の映像情報ということは、各映像フレームＢ-１、Ａのピクセル毎に映像情報が相互に同一である場合は勿論、オフセットの対象であるオブジェクトＯＢの以外に背景ＢＧが含まれる他のオブジェクトのモーション量が既設定値の以下である場合も含められる。例えば、自動車が並木の間を通り過ぎる映像に対して、オフセットの対象であるオブジェクトＯＢが自動車でその以外の要素が背景ＢＧである場合、並木が風によって揺られるモーション量が既設定値の以下である場合には該当の映像情報が実質的に同一であると見ることも可能である。しかし、これは本発明の思想を具現することにおいて、その範囲が多様に決定されられることは明らかである。
【００５７】
映像処理部２００は映像フレームＢ-１の背景ＢＧと映像フレームＡの背景ＢＧとの間に実質的に同一の映像情報を有するピクセル領域の比率が既設定値の以上であると検出されると、両映像フレームＢ-１及びＡは類似度が既設定値の以上、即ち相互に類似であると判断できる。
【００５８】
このように映像フレームが類似であると判断した場合に、映像フレームＢ-１及びＢ-２に現れた歪曲領域を補正する方法について図３及び図４を参照して説明する。
【００５９】
図３は左眼用映像フレームＢ-１の歪曲領域ＨＲを補正する例示図である。図３に示されているように、映像処理部２００は２次元映像フレームＢを第１オフセットして左眼用映像フレームＢ-１を生成して、左眼用映像フレームＢ-１に発生する歪曲領域ＨＲを補正するために２次元映像フレームＢの前後に隣接する映像フレームＡ及びＣを取読する。
【００６０】
映像処理部２００は映像フレームＢ-１の歪曲領域ＨＲを補正するために、映像フレームＡ及びＣの中でいずれか一つから補正用映像情報、即ち歪曲領域ＨＲに対応する映像情報を選択的に取得する。図３では歪曲領域ＨＲに対応するピクセル位置Ｃ１の映像情報を取得することに現れているが、これは例示に過ぎないのであり本発明の思想を限定することではない。但し、類似度が高くて相互に引接する映像フレームの場合、同一の位置のピクセルは同一の映像情報を有する確率が高い。
【００６１】
映像処理部２００は取得した映像情報で歪曲領域ＨＲを補正する。これにより、歪曲領域ＨＲのために発生する映像フレームＢ-１の映像の欠損の発生を最小化することで、自然な映像表示を具現することが可能である。
【００６２】
このように、映像処理部２００は補正用映像情報を映像フレームＡ及びＣの中でいずれか一つから選択的に取得することができるが、映像フレームの進行によるオブジェクトＯＢ１、ＯＢ２、ＯＢ３の進行方向と、オブジェクトＯＢ２に対する歪曲領域ＨＲの位置に対応して映像フレームＡ及びＣの中でいずれか一つを自動的に選択することも可能である。
【００６３】
図３によれはオブジェクトＯＢ１、ＯＢ２、ＯＢ３は左側から右側へ移動する。そして、Ｂ-１は左眼用映像フレームであるので歪曲領域ＨＲはオブジェクトＯＢ２の右側に形成される。
【００６４】
映像フレームの順番がＡ、Ｂ-１、ＣであってオブジェクトＯＢ１、ＯＢ２、ＯＢ３が左側から右側へ移動する場合、映像フレームＢ-１でのオブジェクトＯＢ２は歪曲領域ＨＲが位置する右側の方向へ移動する。よって、映像フレームＣで歪曲領域ＨＲに対応するピクセル位置は背景ＢＧ３ではなくオブジェクトＯＢ３である確率が高い。反面、映像フレームＡで歪曲領域ＨＲに対応するピクセル位置Ｃ１はオブジェクトＯＢ１ではなく背景ＢＧ１である。
【００６５】
よって、オブジェクトＯＢ１、ＯＢ２、ＯＢ３の移動方向が左側から右側へで、歪曲領域ＨＲがオブジェクトＯＢ２の右側に形成される場合、補正用映像情報は先行映像フレームＡから取得することが好ましい。
【００６６】
一方、図４は右眼用映像フレームＢ-２の歪曲領域ＨＬ補正する例示図である。
【００６７】
図４に示されているように、映像処理部２００は２次元映像フレームＢを第２オフセットして右眼用映像フレームＢ-２を生成し、右眼用映像フレームＢ-２に発生する歪曲領域ＨＬを補正するために２次元映像フレームＢの前後に隣接する映像フレームＡ及びＣを読取する。
【００６８】
映像処理部２００は映像フレームＢ-２の歪曲領域ＨＬを補正するために、映像フレームＡ及びＣの中でいずれか一つから補正用映像情報、即ち歪曲領域ＨＬに対応する映像情報を選択的に取得する。映像処理部２００は取得した映像情報を適用して歪曲領域ＨＬ補正する。
【００６９】
一方、図４ではオブジェクトＯＢ１、ＯＢ２、ＯＢ３が左側から右側へ移動することは図３と同一であるが、Ｂ-２は右眼用映像フレームであるので歪曲領域ＨＬがオブジェクトＯＢ２の左側に形成される。
【００７０】
映像フレームの順番がＡ、Ｂ-１、ＣでありオブジェクトＯＢ１、ＯＢ２、ＯＢ３が左側から右側へ移動する場合、オブジェクトＯＢ１、ＯＢ２、ＯＢ３は歪曲領域ＨＬが形成される方向の反対方向に移動することになる。この場合、先行映像フレームＡで歪曲領域ＨＬに対応するピクセル領域は背景ＢＧ１ではなくオブジェクトＯＢ１である確率が高いため、映像処理部２００はオブジェクトＯＢ３ではなく背景ＢＧ３である確率が高い後行映像フレームＣのピクセル領域Ｃ３から映像情報を取得する。
【００７１】
オブジェクトＯＢ１、ＯＢ２、ＯＢ３が右側から左側へ移動する場合は図３及び図４の場合が応用できるのでその説明を省略する。これから、オブジェクトＯＢ１、ＯＢ２、ＯＢ３の移動方向とオブジェクトＯＢ２に対する歪曲領域ＨＲ、ＨＬの形成方向とが同一である場合には先行映像フレームから、オブジェクトＯＢ１、ＯＢ２、ＯＢ３の移動方向とオブジェクトＯＢ２に対する歪曲領域ＨＲ、ＨＬの形成方向とが相異なる場合には後行映像フレームから其々に歪曲領域ＨＲ、ＨＬの補正用映像情報を取得することが好ましいことが明らかである。
【００７２】
このように本実施形態によれば、２次元映像フレームをオフセットして３次元映像フレームを生成する際、オフセットされた映像フレームに発生する歪曲領域を補正するために、該当の映像フレームと隣接する他の映像フレームから歪曲領域の補正用映像情報を取得して該当の歪曲領域を補正する。
【００７３】
もし、歪曲領域を補正するための映像情報が同一の映像フレームの他のピクセル領域から取得されると、補正された歪曲領域の画質が相対的に低下されて現れ、この現像は歪曲領域が大きいほど目立つ。これに比べて、本実施形態はオフセットされた映像フレームと類似な映像情報を有する他の映像フレームから補正用映像情報を取得することで、補正された歪曲領域の画質をより向上させることが可能である。
【００７４】
以下、本実施形態による映像処理方法について図５を参照して説明する。図５はこのような 過程を示すフローチャートである。
【００７５】
図５に示されているように、最初に映像受信部１００に映像信号が受信されると、映像処理部２００はこれから２次元映像フレームを受信する（Ｓ１００）。
【００７６】
映像処理部２００は受信される２次元映像フレームからオフセットの対象であるオブジェクトを抽出し（Ｓ１１０）、抽出されたオブジェクトをオフセットする（Ｓ１２０）。映像処理部２００はこのオフセット過程で相異なるオフセット値を適用することで左眼用映像フレームと右眼用映像フレームとを其々に生成する。
【００７７】
映像処理部２００はオフセットされた映像フレームで映像情報の歪曲領域を検出する（Ｓ１３０）。映像処理部２００はオフセットされた映像フレームではなく他の映像フレームから歪曲領域に対応する映像情報を取得し（Ｓ１４０）、取得した映像情報を適用して歪曲領域を補正する（Ｓ１５０）。
【００７８】
映像処理部２００は歪曲領域の補正を完了して３次元映像フレームを生成する（Ｓ１６０）。映像処理部２００はこのようなプロセスを連続する２次元映像フレーム毎に適用することによって、個別の映像フレームの其々から３次元映像フレームを生成することができる。
【００７９】
以下、図５のＳ１４０段階、歪曲領域を補正するための映像情報を取得する過程について図６を参照してより詳しく説明する。図６はこのような過程を示すフローチャートである。
【００８０】
図６に示されているように、映像処理部２００はオフセットされた映像フレームから映像情報の歪曲領域を検出して（Ｓ２００）、オフセットされた映像フレームと隣接する先行または後行映像フレームを読み取る（Ｓ２１０）。
【００８１】
映像処理部２００は同一のオブジェクトが相互に隣接する各映像フレームに存在するか、即ちオフセットの対象であるオブジェクトが各映像フレームに同一に存在するかを判断する（Ｓ２２０）。
【００８２】
同一のオブジェクトが存在すると判断すれば、映像処理部２００は各映像フレームからオブジェクトを除いたピクセル領域を検出する（Ｓ２３０）。 そして、映像処理部２００は映像フレーム毎に検出される各ピクセル領域の間で、類似な映像情報を有するピクセル領域の比率を導出する（Ｓ２４０）。
【００８３】
この導出された比率が既設定値の以上である場合（Ｓ２５０）、映像処理部２００は読み取った先行または後行映像フレームから歪曲領域に対応する映像情報を取得する（Ｓ２６０）。映像処理部２００は取得した映像情報で歪曲領域を補正する。
【００８４】
一方、前記のような過程の中のＳ２２０段階及びＳ２５０段階で、同一のオブジェクトが各映像フレームに存在しないとか、導出された比率が既設定値の未満である場合、映像処理部２００は各映像フレームが類似ではないと判断する。この場合、映像処理部２００は本発明の実施形態と相異なる様々な方法を適用して歪曲領域を補正することも可能である。
【００８５】
前述の実施形態は例示に過ぎないものであり、該当の技術分野の通常の知識を有する者であれば様々な変形及び均等な他の実施形態の実施が可能である。よって、本発明の真正な技術的の保護範囲は特許請求範囲に記載の発明の技術的の思想によって定められるべきである。
【符号の説明】
【００８６】
１      映像処理装置
１００  映像受信部
２００  映像処理部
３００  ディスプレイ部
【図１】
2011015388.tif 000003
【図２】
2011015388.tif 000004
【図３】
2011015388.tif 000005
【図４】
2011015388.tif 000006
【図５】
2011015388.tif 000007
【図６】
2011015388.tif 000008