(57)【要約】【課題】  中間時点の画像合成方法及びそれを適用した３Ｄディスプレイ装置を提供する。【解決手段】  左画像及び右画像の中間時点で仮想画像領域を設定する過程、仮想画像を一定ブロック単位に分割する過程、分割された任意のブロックの基準座標を中心に左画像及び右画像内のブロックをピクセル単位で左右対称的に移動して左右ＤＶを推定する過程、推定された左右ＤＶが指定する左右画像のピクセル値で中間画像を生成する過程を含む。【選択図】      図４ 
2005235211.tif 000002
【特許請求の範囲】
【請求項１】
中間時点の画像合成方法において、
（ａ）左画像及び右画像の中間時点で仮想画像領域を設定する過程と、
（ｂ）前記仮想画像を一定ブロック単位に分割する過程と、
（ｃ）前記分割された任意のブロックの基準座標を中心に左画像及び右画像内のブロックをピクセル単位に左右対称的に移動して、左右変移ベクトルを推定する過程と、
（ｄ）前記推定された左右変移ベクトルが指定する左右画像のピクセル値で中間画像を生成する過程とを含む中間時点の画像合成方法。
【請求項２】
前記（ｄ）過程で、中間画像のピクセル値は、左画像及び右画像の中間時点で仮想画像を設定し、その仮想画像を基準として左画像及び右画像に向かう左右変移ベクトルを推定して、その左右変移ベクトルが指定する左右画像のピクセル平均値として生成されることを特徴とする請求項１に記載の中間時点の画像合成方法。
【請求項３】
前記（ｃ）過程は、
（ｃ−１）前記仮想画像内の基準ブロックと左右画像の参照ブロックとの間のＳＡＤ値を計算する過程と、
（ｃ−２）前記過程で計算されたＳＡＤ値のうち最小値を有するＳＡＤを変移ベクトルと決定する過程とを含むことを特徴とする請求項１に記載の中間時点の画像合成方法。
【請求項４】
前記（ｃ−１）過程は、
【数１】
2005235211.tif 000007
であり、
ここで、Ｉｌ及びＩｒは、それぞれ左画像のピクセル値と右画像のピクセル値とを表し、（ｉ,ｊ）は、ピクセルの空間座標を表す変数であり、（ｘ,ｙ）は、整合がなされる２つのブロック間の空間的な距離差を表す変数であり、（ｋ,ｌ）は、Ｎ１×Ｎ２個のピクセルよりなる二つのブロックの空間座標を表す変数であり、Ｎ１及びＮ２は、それぞれ２つの整合ブロックの水平及び垂直サイズを表すものであることを特徴とする請求項３に記載の中間時点の画像合成方法。
【請求項５】
前記（ｃ−２）は、
【数２】
2005235211.tif 000008
であり、
ここで、Ｓは、変移推定のための探索範囲を表し、（ｘｍ,ｙｍ）は、最小のＳＡＤ値を有するブロックに対する変移ベクトルであることを特徴とする請求項３に記載の中間時点の画像合成方法。
【請求項６】
前記過程で補間されるフレームの画素値は、
【数３】
2005235211.tif 000009
であり、
ここで、Ｉｉは、中間画像のピクセルであり、Ｉｌは、左画像のピクセルであり、Ｉｒは、右画像のピクセルであり、ＤＶ（ｘ,ｙ）は、整合がなされる左右ブロック間の空間的な距離差を表す変数であり、ＤＶは、変移ベクトルであることを特徴とする請求項１に記載の中間時点の画像合成方法。
【請求項７】
請求項１ないし４に記載の中間時点の画像合成方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
【請求項８】
３Ｄディスプレイシステムにおいて、
左画像と右画像とに区分されるステレオ画像を入力するステレオ画像入力手段と、
前記ステレオ画像入力部から出力される左画像と右画像との中間時点に仮想画像を設定し、その仮想画像を基準として左画像と右画像とを対称的にマッチングさせて中間画像を生成するＩＶＲ手段とを含む３Ｄディスプレイシステム。
【請求項９】
前記ＩＶＲ手段は、
左画像と右画像とに区分されるステレオ画像をフレーム単位で保存するバッファ部と、
前記バッファ部に保存された左画像及び右画像の中間時点で仮想画像領域を設定し、その仮想画像を一定ブロック単位に分割する仮想画像処理部と、
前記仮想画像処理部で分割された任意ブロックの基準座標を中心に、前記バッファ部に保存された左画像及び右画像内のブロックをピクセル単位で左右に対称的に移動して変移ベクトルを推定する変移ベクトル推定部と、
前記変移ベクトル推定部で推定された変移ベクトルが指定する左右画像のピクセル値で中間画像を生成する中間画像生成部とを含むことを特徴とする請求項８に記載の３Ｄディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、中間時点の画像合成技法に係り、特に、対称的な変移推定を利用した中間時点の画像合成方法及びその装置に関する。
【背景技術】
【０００２】
一般的に、人間が物体を立体的に見られるのは、両眼の視差によることであって、両眼は、それぞれ異なる時点の画像を観測し、人間の脳は、この２つのステレオ画像の差を合成して３次元の立体物体を認識する。これまで、このような人間視覚システム（ＨＶＳ：Ｈｕｍａｎ  Ｖｉｓｕａｌ  Ｓｙｓｔｅｍ）を摸倣して多様な形態の両眼式３次元ディスプレイシステムが具現されてきた。しかし、このようなステレオ両眼方式は、時点が２眼に制限されるため、観察者が制限された視域を外れるか、または焦点が合わない場合には、立体感が感じられず、また、目の疲れ及び目眩を感じるため、実質的な応用が制限されている。したがって、このような既存のステレオ方式の短所を解決するための接近方法として、色々な形態の多視点ステレオ３Ｄディスプレイシステムについての活発な研究が進められてきた。このようなシステムは、多眼式立体カメラを通じて多視点の画像獲得とディスプレイとがなされるため、時点の数が増加するにつれて視域が拡大し、さらに自然な３Ｄディスプレイが可能である。しかし、時点の数が増加するにつれて多時点の画像データも同時に増加するため、リアルタイムの画像処理プロセッサー及び超高速、広域の伝送チャンネルが要求される。最近、このような問題点を解決するための新たな接近方法として、制限された数のステレオ画像のみを利用して数個の任意時点のステレオ画像をデジタル的に合成する中間時点の画像合成（Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｖｉｄｅｏ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：以下、ＩＶＲという）技法が研究開発されている。このようなＩＶＲ技法は、制限されたステレオ画像から任意の多視点ステレオ画像をデジタル的に合成するため、既存の３次元ディスプレイシステムの問題点を解決すると同時に、視域が拡大した自然な３次元立体ディスプレイの具現可能性を提示している。
【０００３】
このようなＩＶＲを具現する代表的な方法のうち一つは、ＭＰＥＧ１／２の動き推定と動き補償とを利用するものであって、何れか一時点の画像と隣接した時点の画像とを対象として時点間の変移を推定した後、その推定された変移値のうち中間変移値に該当する位置に新たな画像を合成することである。一般的に、ＩＶＲで変移推定（Ｄｉｓｐａｒｉｔｙ  Ｅｓｔｉｍａｔｉｏｎ：ＤＥ）は、ピクセル基盤ＤＥとブロック基盤ＤＥとに区分される。
【０００４】
図１は、ブロック基盤ＤＥによるＩＶＲの一実施例である。
【０００５】
まず、左画像をＮ×Ｎ個の均一なブロックに分割する。次いで、左画像内の各ブロックについての最も類似したブロックをＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）やＭＡＤ（Ｍｅａｎ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を利用して右画像で推定する。このとき、基準ブロックと推定されたブロックとの距離を変移ベクトル（Ｄｉｓｐａｒｉｔｙ  Ｖｅｃｔｏｒ：ＤＶ）と定義する。ＤＶは、一般的に、基準画像内の全てのピクセルについて別途に与えられることもある。
【０００６】
したがって、左画像の各ピクセルと、その左画像の各ピクセルとにマッチングされる右画像のピクセルとの平均値で中間画像を生成する。すなわち、中間画像のピクセルは、式（１）のように表すことができる。
【０００７】
【数４】
2005235211.tif 000003
ここで、Ｉｉは、中間画像のピクセル値であり、Ｉｌは、左画像のピクセル値であり、Ｉｒは、右画像のピクセル値である。
【０００８】
しかし、従来のブロック基盤ＤＥは、推定される画像の横軸のピクセル数ほどピクセル単位で移動して検索せねばならず、左画像と右画像との間の隠された領域のために、図２に示されたように、中間画像でホール（黒色ブロックで表示される）が発生するという問題点がある。
【特許文献１】韓国特許公開第２００３−０７６９０４号公報
【特許文献２】欧州特許公開第１，０８７，３３７Ａ１号公報
【特許文献３】韓国特許公開第２００２−０４１２７７号公報
【特許文献４】韓国特許公開第２００３−０３４２７４号公報
【特許文献５】米国特許第６，５７１，０２４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明が解決しようとする技術的課題は、仮想の中間画像を基準として左画像及び右画像を参照してＩＶＲを具現するＩＶＲ方法及びその装置を提供することである。
【課題を解決するための手段】
【００１０】
前記課題を解決するために、本発明は、ＩＶＲ方法において、（ａ）左画像及び右画像の中間時点で仮想画像領域を設定する過程と、（ｂ）前記仮想画像を一定ブロック単位に分割する過程と、（ｃ）前記分割された任意のブロックの基準座標を中心に、左画像及び右画像内のブロックをピクセル単位で左右対称的に移動して左右ＤＶを推定する過程と、（ｄ）前記推定された左右ＤＶが指定する左右画像のピクセル値で中間画像を生成する過程とを含むことを特徴とする。
【００１１】
前記他の課題を解決するために、本発明は、３Ｄディスプレイシステムにおいて、左画像と右画像とに区分されるステレオ画像を入力するステレオ画像入力手段と、前記ステレオ画像入力部から出力される左画像と右画像との中間時点に仮想画像を設定し、その仮想画像を基準として左画像と右画像とを対称的に対称させて中間画像を生成するＩＶＲ手段とを含み、前記ＩＶＲ手段は、左画像と右画像とに区分されるステレオ画像をフレーム単位で保存するバッファ部と、前記バッファ部に保存された左画像及び右画像の中間時点で仮想画像領域を設定し、その仮想画像を一定ブロック単位に分割する仮想画像処理部と、前記仮想画像処理部で分割された任意ブロックの基準座標を中心に、前記バッファ部に保存された左画像及び右画像内のブロックをピクセル単位で左右対称的に移動してＤＶを推定するＤＶ処理部と、前記ＤＶ推定部で推定されたＤＶが指定する左右画像のピクセル値で中間画像を生成する中間画像生成部とを含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、仮想の中間画像を基準として左右画像を全て参照して対称的なＤＥを行うことによって、従来のＩＶＲによるＤＥの複雑度を低め、既存のＤＥから発生したホールを防止しうる。
【発明を実施するための最良の形態】
【００１３】
以下、添付された図面を参照して本発明の望ましい実施例を説明する。
【００１４】
図３は、本発明による対称的なＤＥを利用したＩＶＲ方法のフローチャートである。図４に示された対称的なＤＥによるＩＶＲを生成する概念図を参照として説明する。
【００１５】
まず、左画像と右画像とに区分されるステレオ画像をフレーム単位で保存する。
【００１６】
次いで、左画像及び右画像の中間時点で仮想画像領域を設定する（３１０）。
【００１７】
次いで、仮想画像領域を一定ブロック単位に分割する（３２０）。
【００１８】
次いで、分割された任意のブロックの基準座標を中心に、左画像及び右画像内のブロックをピクセル単位で左右対称的に移動してＤＶを推定する（３３０）。このとき、ＤＶは、仮想画像内の基準ブロックと左右画像の探索領域内の全ての参照ブロックとの間のＳＡＤ値を計算した後、最小ＳＡＤ値を有するブロックに対する空間的な距離と決定される。したがって、ＤＶは、仮想の中間画像のブロックを基準として、中間画像のブロックと対称的にマッチングされた左右画像のブロック間の距離である。ＤＶ推定を数式で説明すると、次の通りである。まず、ＳＡＤは、式（２）のように計算される。
【００１９】
【数５】
2005235211.tif 000004
ここで、Ｉｌ及びＩｒは、それぞれ左画像のピクセル値と右画像のピクセル値とを表し、（ｉ,ｊ）は、ピクセルの空間座標を表す変数であり、（ｘ,ｙ）は、整合がなされる２つのブロック間の空間的な距離差を表す変数である。（ｋ,ｌ）は、Ｎ１×Ｎ２個のピクセルよりなる二つのブロックの空間座標を表す変数であり、Ｎ１及びＮ２は、それぞれ２つの整合ブロックの水平及び垂直サイズを表す。
【００２０】
式（３）のように推定領域内で最小ＳＡＤ値を有するブロックについてのＤＶを求める。
【００２１】
【数６】
2005235211.tif 000005
ここで、Ｓは、ＤＥのための探索範囲を表し、（ｘｍ,ｙｍ）は、最小ＳＡＤ値を有するブロックについてのＤＶを表す。このとき、ＩＶＲでは、画像入力装置の構造上、水平方向の変移は存在するが、垂直方向の変移はほとんど存在しないため、垂直成分、すなわち、ｙ値は０と設定するか、または変移が存在すると仮定した場合、±１〜±２ほどと設定する。
【００２２】
結局、仮想画像のブロックを基準として左画像及び右画像内にマッチングされるブロックを推定する。
【００２３】
次いで、推定された左右ＤＶ（−ＤＶ,＋ＤＶ）が指す左右画像のピクセル値で中間画像を生成する（３４０）。すなわち、式（４）に示されたように、左画像及び右画像の中間時点で仮想画像を設定する。その仮想画像を基準として左画像及び右画像に向かう左右ＤＶが与えられれば、その左右ＤＶが指す左画像及び右画像のピクセル平均値で中間画像を生成する。
【００２４】
【数７】
2005235211.tif 000006
ここで、Ｉｉは、中間画像のピクセル値であり、Ｉｌは、左画像のピクセル値であり、Ｉｒは、右画像のピクセル値であり、ＤＶ（ｘ,ｙ）は、整合がなされる二つのブロック間の空間的な距離差を表す変数である。
【００２５】
図５は、本発明のＩＶＲ方法を適用して再構成された画像である。図５を参照するに、ステレオで入力される左画像と右画像との間で対称的なＤＥを実行して中間画像を再構成する。
【００２６】
図６は、本発明による３Ｄディスプレイシステムの全体ブロック図である。
【００２７】
ステレオ画像入力部６１０は、左画像と右画像とに区分されるステレオ画像を入力する。
【００２８】
ＩＶＲ部６２０は、前記ステレオ画像入力部から出力される左画像と右画像との中間時点に仮想画像を設定し、その仮想画像を基準として左画像と右画像とを対称的に参照して中間画像を生成する。
【００２９】
ディスプレイ部６３０は、ＩＶＲ部６２０で生成される画像をＣＲＴでディスプレイする。
【００３０】
図７は、図６のＩＶＲ部の詳細図である。
【００３１】
バッファ７１０は、左画像と右画像とに区分されるステレオ画像をフレーム単位で保存する。
【００３２】
仮想画像処理部７３０は、バッファ部７１０に保存された左画像及び右画像の中間時点で仮想画像領域を設定し、その仮想画像を一定ブロック単位に分割する。
【００３３】
ＤＶ推定部７２０は、仮想画像処理部７３０で分割された任意ブロックの基準座標を中心に、バッファ部７１０に保存された左画像及び右画像内のブロックをピクセル単位で左右対称的に移動して左右ＤＶを推定する。
【００３４】
中間画像生成部７４０は、ＤＶ推定部７２０で推定された左右ＤＶが指定する左右画像のピクセル平均値で中間画像を生成する。
【００３５】
本発明は、前述した実施例に限定されず、本発明の思想内で当業者による変形が可能である。
【００３６】
また、本発明は、コンピュータ可読記録媒体にコンピュータ可読コードとして具現できる。コンピュータ可読記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ保存装置があり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードとして保存されかつ実行されうる。
【産業上の利用可能性】
【００３７】
本発明は、対称的なＤＥを利用したＩＶＲ方法及び装置に係り、一般的に、３Ｄディスプレイ装置に適用できる。
【図面の簡単な説明】
【００３８】
【図１】ブロック基盤ＤＥによるＩＶＲの一実施例を示す図である。
【図２】従来のＤＥによって再構成された中間画像信号を示す図である。
【図３】本発明による対称的なＤＥを利用したＩＶＲ方法を示すフローチャートである。
【図４】対称的なＤＥによるＩＶＲを生成する概念図である。
【図５】本発明のＩＶＲ方法を適用して再構成された画像を示す図である。
【図６】本発明によるＩＶＲ装置を示すブロック図である。
【図７】図６のＩＶＲ部の詳細図である。
【符号の説明】
【００３９】
６１０  ステレオ画像入力部
６２０  ＩＶＲ部
６３０  ディスプレイ部
７１０  バッファ部
７２０  ＤＶ推定部
７３０  仮想画像処理部
７４０  中間画像生成部
【図１】
2005235211.tif 000010
【図２】
2005235211.tif 000011
【図３】
2005235211.tif 000012
【図４】
2005235211.tif 000013
【図６】
2005235211.tif 000014
【図７】
2005235211.tif 000015
【図５】
2005235211.tif 000016