(57)【要約】  マルチビューレンダリングで発生するホールを復元するための装置及び方法が提供される。時間的に隣接する映像を用いることによって出力ビュー内のホールが復元される。
2014515197.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、
参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、
前記映像ワーピングに関連する映像に時間的に隣接する１つ以上の映像を用いて前記映像ワーピングによって生成されたホールを復元する隣接映像基盤ホール復元部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記時間的に隣接する１つ以上の映像は前記参照ビューの映像に時間的に隣接する映像であることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記時間的に隣接する１つ以上の映像は前記出力ビューの映像に時間的に隣接する映像であることを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記隣接映像基盤ホール復元部は、前記ホール内のピクセルを復元するために前記時間的に隣接する映像内の前記ホール内の前記ピクセルに対応するピクセルのカラー値を用いることを特徴とする請求項１に記載の映像処理装置。
【請求項５】
前記隣接映像基盤ホール復元部は、前記参照ビューの映像及び前記時間的に隣接する映像が時間に応じて全体的に移動した場合、前記移動に基づいて前記時間的に隣接する映像内で前記ホール内の前記ピクセルに対応するピクセルを選択することを特徴とする請求項４に記載の映像処理装置。
【請求項６】
前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルに対応する１つ以上のホールピクセルを除くことによって取得されたピクセルを用いて前記ホールを復元することを特徴とする請求項４に記載の映像処理装置。
【請求項７】
前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルに対応するピクセルのうち背景ピクセルのみを前記ホールを復元するために用いることを特徴とする請求項４に記載の映像処理装置。
【請求項８】
前記映像ワーピングによって生成されたホールを拡大する緩衝区間設定部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項９】
前記緩衝区間設定部は、前記ホールに隣接する緩衝領域を前記ホールと見なすことによって前記ホールを拡大し、
前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルが前記緩衝領域内のピクセルである場合、前記ホール内の前記ピクセルのカラー値に基づいて前記ホール内の前記ピクセルを復元することを特徴とする請求項８に記載の映像処理装置。
【請求項１０】
前記出力ビューの映像のうちクラックを前記ホールに設定する両眼視差クラック検出部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項１１】
前記両眼視差クラック検出部は、隣接するピクセルとの両眼視差値の差の総和が予め定義された閾値よりも大きいピクセルをクラックとして検出することを特徴とする請求項１０に記載の映像処理装置。
【請求項１２】
１つ以上のプロセッサ実行可能なユニットを制御するプロセッサと、
参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、
前記映像ワーピングによって生成されたホールを前記ホールと隣接する１つ以上のピクセルをスケーリングすることによって復元する隣接ピクセルスケーリング基盤ホール復元部と、
を備えることを特徴とする映像処理装置。
【請求項１３】
前記隣接ピクセルスケーリング基盤ホール復元部は、前記１つ以上のピクセルのうち１つ以上の背景ピクセルをスケーリングすることを特徴とする請求項１２に記載の映像処理装置。
【請求項１４】
前記ホール及び前記１つ以上のピクセルは同一の水平線上にあることを特徴とする請求項１２に記載の映像処理装置。
【請求項１５】
前記隣接ピクセルスケーリング基盤ホール復元部は、前記ホールに隣接する背景ピクセルの勾配と垂直方向に前記１つ以上のピクセルをスケーリングし、前記背景ピクセルは前記１つ以上のピクセルのうち１つのピクセルであることを特徴とする請求項１２に記載の映像処理装置。
【請求項１６】
１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、
参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、
前記映像ワーピングによって生成されたホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによって前記ホールを復元する最適パッチ探索基盤ホール復元部と、
を備えることを特徴とする映像処理装置。
【請求項１７】
前記ホールが含まれる領域はホール領域及び背景領域に構成され、
前記最適パッチ探索基盤ホール復元部は、前記探索されたパッチのうち前記ホール領域に対応する部分を用いて前記ホール領域を復元することを特徴とする請求項１６に記載の映像処理装置。
【請求項１８】
前記最適パッチ探索基盤ホール復元部は第１領域のための第１パッチを探索し、第２領域のための第２パッチを探索し、前記第１パッチ及び前記第２パッチの平均値を用いて前記第１領域及び前記第２領域で重なるホールの部分を復元することを特徴とする請求項１６に記載の映像処理装置。
【請求項１９】
プロセッサによって参照ビューの映像の両眼視差情報に基づいて前記参照ビューの映像をイメージワーピングすることで出力ビューの映像を生成する映像ワーピングステップと、
前記映像ワーピングに関連する映像に時間的に隣接する１つ以上の映像を用いて前記出力ビュー内に生成されたホールを復元する隣接の映像基盤ホール復元ステップと、
を含むことを特徴とする映像処理方法。
【請求項２０】
前記時間的に隣接する映像は、前記参照ビューの映像に時間的に隣接する１つ以上の映像であることを特徴とする請求項１９に記載の映像処理方法。
【請求項２１】
前記時間的に隣接する映像は、前記出力ビューの映像に時間的に隣接する１つ以上の映像であることを特徴とする請求項１９に記載の映像処理方法。
【請求項２２】
前記ホールを拡大する緩衝区間の設定ステップと、
前記出力ビューの映像のうちクラックを前記ホールに設定する両眼視差クラック検出ステップと、
をさらに含むことを特徴とする請求項１９に記載の映像処理方法。
【請求項２３】
前記ホールを前記ホールと隣接する１つ以上のピクセルをスケーリングすることによって復元する隣接のピクセルスケーリング基盤ホール復元ステップと、
前記ホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによって前記ホールを復元する最適パッチ探索基盤ホール復元ステップと、
をさらに含むことを特徴とする請求項１９に記載の映像処理方法。
【請求項２４】
請求項１９〜請求項２３のいずれか一項の方法を行うプログラムを収録したコンビュータで読み出し可能な記録媒体。
【請求項２５】
１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、
参照ビューの映像及び前記参照ビューの映像の両眼視差情報に基づいて出力ビューの映像を生成する映像生成部と、
前記生成に関連する映像に時間的に隣接する１つ以上の映像の背景情報を用いて前記生成された出力ビューの映像内のホールを復元する隣接映像基盤ホール復元部であって、前記ホールは前記出力ビューの生成の結果として生成される、隣接映像基盤ホール復元部と、
を備えることを特徴とするマルチビュー生成装置。
【請求項２６】
前記時間的に隣接する１つ以上の映像は、前記参照ビューの映像に時間的に隣接する映像であることを特徴とする請求項２５に記載のマルチビュー生成装置。
【請求項２７】
前記時間的に隣接する１つ以上の映像は、前記出力ビューの映像に時間的に隣接する映像であることを特徴とする請求項２５に記載のマルチビュー生成装置。
【請求項２８】
前記映像生成部は、前記参照ビューからデータを内挿または外挿することによって前記出力ビューの映像を生成することを特徴とする請求項２５に記載のマルチビュー生成装置。
【請求項２９】
１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、
少なくとも１つの参照ビューの映像に基づいて出力ビューの映像を生成する映像生成部と、
前記生成された出力ビューの映像の予め定義されたオブジェクト内のクラックを検出する両眼視差クラック検出部であって、前記予め定義されたオブジェクトは、前記予め定義されたオブジェクトの相異なる部分に割り当てられた異なる両眼視差値をもって、前記クラックは前記少なくとも１つの参照ビューの映像に基づいて前記出力ビューの映像を生成したことに起因して前記予め定義されたオブジェクト内に発生する、両眼視差クラック検出部と、
前記クラックをホールとして再び割り当て、前記生成に関連する映像に時間的に隣接する１つ以上のフレームの背景情報を用いることによって前記生成された出力ビューの映像の現在のフレーム内に存在する前記ホールを復元するマルチビュー生成部と、
を備えることを特徴とするマルチビュー生成装置。
【請求項３０】
前記時間的に隣接する１つ以上のフレームは、前記参照ビューの映像に時間的に隣接するフレームであることを特徴とする請求項２９に記載のマルチビュー生成装置。
【請求項３１】
前記時間的に隣接する１つ以上のフレームは、前記出力ビューの映像に時間的に隣接するフレームであることを特徴とする請求項２９に記載のマルチビュー生成装置。
【請求項３２】
前記両眼視差クラック検出部は、隣接するピクセルとの両眼視差値の差の総和が予め定義された閾値よりも大きいピクセルをクラックとして検出することを特徴とする請求項２９に記載のマルチビュー生成装置。
【請求項３３】
前記時間的に隣接するフレームは、少なくとも１つの時間的に前記現在のフレームの以前に発生したフレーム及び前記現在のフレームの以後に発生したフレームであることを特徴とする請求項２９に記載のマルチビュー生成装置。
【請求項３４】
プロセッサによって少なくとも１つの参照ビューの映像に基づいて出力ビューの映像を生成するステップと、
前記生成された出力ビューの映像の予め定義されたオブジェクト内のクラックを検出するステップであって、前記予め定義されたオブジェクトは、前記予め定義されたオブジェクトの相異なる部分に割り当てられた異なる両眼視差値をもって、前記クラックは前記少なくとも１つの参照ビューの映像に基づいて前記出力ビューの映像を生成したことに起因して前記予め定義されたオブジェクト内に発生する、ステップと、
前記クラックをホールとして再び割り当て、前記生成に関連する映像に時間的に隣接する１つ以上のフレームの背景情報を用いることによって前記生成された出力ビューの映像の現在のフレーム内に存在する前記ホールを復元するステップと、
を含むことを特徴とするマルチビュー生成方法。
【請求項３５】
前記時間的に隣接する１つ以上のフレームは、前記参照ビューの映像に時間的に隣接するフレームであることを特徴とする請求項３４に記載のマルチビュー生成方法。
【請求項３６】
前記時間的に隣接する１つ以上のフレームは、前記出力ビューの映像に時間的に隣接するフレームであることを特徴とする請求項３４に記載のマルチビュー生成方法。
【請求項３７】
隣接するピクセルとの両眼視差値の差の総和が予め定義された閾値よりも大きいピクセルがクラックとして検出されることを特徴とする請求項３４に記載のマルチビュー生成方法。
【請求項３８】
前記時間的に隣接するフレームは、少なくとも１つの時間的に前記現在のフレームの以前に発生したフレーム及び前記現在のフレームの以後に発生したフレームであることを特徴とする請求項３４に記載のマルチビュー生成方法。
【請求項３９】
映像処理装置を備えるディスプレイデバイスにおいて、
参照ビューの映像及び前記参照ビューの映像の両眼視差情報に基づいて出力ビューの映像を生成する映像ワーピング部と、
前記生成に関連する映像に時間的に隣接する１つ以上の映像を用いてホールを復元する隣接映像基盤ホール復元部であって、前記ホールは前記出力ビューを生成することによって生成される、隣接映像基盤ホール復元部と、
前記隣接映像基盤ホール復元部によって復元された前記ホールを有する前記生成された出力ビューの映像に基づいて前記ディスプレイデバイスによって表示される信号を生成する制御部と、
を備える映像処理装置を備えることを特徴とするディスプレイデバイス。
【請求項４０】
前記時間的に隣接する１つ以上の映像は、前記参照ビューの映像に時間的に隣接する映像であることを特徴とする請求項３９に記載のディスプレイデバイス。
【請求項４１】
前記時間的に隣接する１つ以上の映像は、前記出力ビューの映像に時間的に隣接する映像であることを特徴とする請求項３９に記載のディスプレイデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
下記の実施形態はマルチビューレンダリング装置及び方法に関する。
【背景技術】
【０００２】
３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）映像を生成するためには、広い視野角を有する多視点の３Ｄ映像が連続的に表現されなければならない。
【０００３】
しかし、多視点の映像をそれぞれ撮影し、撮影された多視点の映像をリアルタイムに送信することは容易ではない。これは、撮影システムの物理的な限界を始め、撮影されたデータを格納及び送信することが容易ではないためである。
【０００４】
したがって、３Ｄ映像生成装置は少数（例えば、２〜３個）の入力ビュー（または参照ビュー）のみを用いて３Ｄ映像を生成してもよく、生成された３Ｄ映像を再生する３Ｄディスプレイ装置は入力ビューを内挿または外挿することによって複数の出力ビューを生成することができる。
【特許文献１】日本国公開特許第２００９−５３３７７８号
【特許文献２】韓国登録特許第０７３１９７９号
【特許文献３】韓国登録特許第０９６０２９４号
【特許文献４】韓国登録特許第０９２４７１６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一実施形態は、映像ワーピングによって生成された出力ビュー映像内にあるホールを復元するための装置及び方法を提供する。
【課題を解決するための手段】
【０００６】
一実施形態によれば、１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、前記映像ワーピングに関連する映像に時間的に隣接する１つ以上の映像を用いて前記映像ワーピングによって生成されたホールを復元する隣接映像基盤ホール復元部とを備える映像処理装置が提供される。
【０００７】
前記時間的に隣接する１つ以上の映像は前記参照ビューの映像に時間的に隣接する映像であってもよい。前記時間的に隣接する１つ以上の映像は前記出力ビューの映像に時間的に隣接する映像であってもよい。
【０００８】
前記隣接映像基盤ホール復元部は、前記ホール内のピクセルを復元するために前記時間的に隣接する映像内の前記ホール内の前記ピクセルに対応するピクセルのカラー値を用いてもよい。前記隣接映像基盤ホール復元部は、前記参照ビューの映像及び前記時間的に隣接する映像が時間に応じて全体的に移動した場合、前記移動に基づいて前記時間的に隣接する映像内で前記ホール内の前記ピクセルに対応するピクセルを選択してもよい。
【０００９】
前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルに対応する１つ以上のホールピクセルを除くことによって取得されたピクセルを用いて前記ホールを復元してもよい。前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルに対応するピクセルのうち背景ピクセルを前記ホールを復元するために用いてもよい。
【００１０】
前記映像処理装置は、映像ワーピングによって生成されたホールを拡大する緩衝区間設定部をさらに備えてもよい。
【００１１】
前記緩衝区間設定部は、前記ホールに隣接する緩衝領域を前記ホールと見なすことによって前記ホールを拡大し、前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルが前記緩衝領域内のピクセルである場合、前記ホール内の前記ピクセルのカラー値に基づいて前記ホール内の前記ピクセルを復元してもよい。
【００１２】
前記映像処理装置は、前記出力ビューの映像のうちクラックを前記ホールに設定する両眼視差クラック検出部をさらに備えてもよい。前記両眼視差クラック検出部は、隣接するピクセルとの両眼視差値の差の総和が予め定義された閾値よりも大きいピクセルをクラックとして検出してもよい。
【００１３】
他の一実施形態によると、１つ以上のプロセッサ実行可能なユニットを制御するプロセッサと、参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、前記映像ワーピングによって生成されたホールを前記ホールと隣接する１つ以上のピクセルをスケーリングすることによって復元する隣接ピクセルスケーリング基盤ホール復元部とを備える映像処理装置が提供される。
【００１４】
前記隣接ピクセルスケーリング基盤ホール復元部は、前記１つ以上のピクセルのうち１つ以上の背景ピクセルをスケーリングしてもよい。
【００１５】
前記ホール及び前記１つ以上のピクセルは同一の水平線上にあってもよい。
【００１６】
前記隣接ピクセルスケーリング基盤ホール復元部は、前記ホールに隣接する背景ピクセルの勾配と垂直方向に前記１つ以上のピクセルをスケーリングし、前記背景ピクセルは前記１つ以上のピクセルのうち１つのピクセルであってもよい。
【００１７】
他の実施形態によると、１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、前記映像ワーピングによって生成されたホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによって前記ホールを復元する最適パッチ探索基盤ホール復元部とを備える映像処理装置が提供される。
【００１８】
前記ホールが含まれる領域はホール領域及び背景領域に構成され、前記最適パッチ探索基盤ホール復元部は、前記探索されたパッチのうち前記ホール領域に対応する部分を用いて前記ホール領域を復元してもよい。前記最適パッチ探索基盤ホール復元部は第１領域のための第１パッチを探索し、第２領域のための第２パッチを探索し、前記第１パッチ及び前記第２パッチの平均値を用いて前記第１領域及び前記第２領域で重なるホールの部分を復元してもよい。
【００１９】
また、更なる実施形態によると、プロセッサによって参照ビューの映像の両眼視差情報に基づいて前記参照ビューの映像をイメージワーピングすることで出力ビューの映像を生成する映像ワーピングステップと、前記映像ワーピングに関連する映像に時間的に隣接する１つ以上の映像を用いて前記出力ビュー内に生成されたホールを復元する隣接の映像基盤ホール復元ステップとを含む映像処理方法が提供される。
【００２０】
前記像処理方法は、前記ホールを拡大する緩衝区間の設定ステップをさらに含んでもよい。前記像処理方法は、前記出力ビューの映像のうちクラックを前記ホールに設定する両眼視差クラック検出ステップをさらに含んでもよい。前記像処理方法は、前記ホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによって前記ホールを復元する最適パッチ探索基盤ホール復元ステップをさらに含んでもよい。
【００２１】
更なる一実施形態によると、１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、少なくとも１つの参照ビューの映像に基づいて出力ビューの映像を生成する映像生成部と、前記生成された出力ビューの映像の予め定義されたオブジェクト内のクラックを検出する両眼視差クラック検出部であって、前記予め定義されたオブジェクトは、前記予め定義されたオブジェクトの相異なる部分に割り当てられた異なる両眼視差値をもって、前記クラックは前記少なくとも１つの参照ビューの映像に基づいて前記出力ビューの映像を生成したことに起因して前記予め定義されたオブジェクト内に発生する、両眼視差クラック検出部と、前記クラックをホールとして再び割り当て、前記生成に関連する映像に時間的に隣接する１つ以上のフレームの背景情報を用いることによって前記生成された出力ビューの映像の現在のフレーム内に存在する前記ホールを復元するマルチビュー生成部とを備えるマルチビュー生成装置が提供される。
【００２２】
前記時間的に隣接する１つ以上のフレームは、前記参照ビューの映像に時間的に隣接するフレームであってもよい。前記時間的に隣接する１つ以上のフレームは、前記出力ビューの映像に時間的に隣接するフレームであってもよい。
【００２３】
また、更なる一実施形態によると、プロセッサによって少なくとも１つの参照ビューの映像に基づいて出力ビューの映像を生成するステップと、前記生成された出力ビューの映像の予め定義されたオブジェクト内のクラックを検出するステップであって、前記予め定義されたオブジェクトは、前記予め定義されたオブジェクトの相異なる部分に割り当てられた異なる両眼視差値をもって、前記クラックは前記少なくとも１つの参照ビューの映像に基づいて前記出力ビューの映像を生成したことに起因して前記予め定義されたオブジェクト内に発生する、ステップと、前記クラックをホールとして再び割り当て、前記生成に関連する映像に時間的に隣接する１つ以上のフレームの背景情報を用いることによって前記生成された出力ビューの映像の現在のフレーム内に存在する前記ホールを復元するステップとを含むマルチビュー生成方法が提供される。
【００２４】
本発明の更なる一実施形態によると、映像処理装置を備えるディスプレイデバイスにおいて、参照ビューの映像及び前記参照ビューの映像の両眼視差情報に基づいて出力ビューの映像を生成する映像ワーピング部と、前記生成に関連する映像に時間的に隣接する１つ以上の映像を用いてホールを復元する隣接映像基盤ホール復元部であって、前記ホールは前記出力ビューを生成することによって生成される、隣接映像基盤ホール復元部と、前記隣接映像基盤ホール復元部によって復元された前記ホールを有する前記生成された出力ビューの映像に基づいて前記ディスプレイデバイスによって表示される信号を生成する制御部とを備える映像処理装置を備えるディスプレイデバイスが提供される。
【発明の効果】
【００２５】
本発明によると、映像ワーピングによって生成された出力ビュー映像内にあるホールを復元することができる。
【図面の簡単な説明】
【００２６】
【図１】一例に係る３つの入力ビューに基づいたビュー生成方法を説明する。
【図２】一実施形態に係る外挿ビューのフレーム生成方法を示す。
【図３】一実施形態に係る映像処理装置の構造図である。
【図４】一例に係る時間的に隣接する映像を用いたホールの復元を説明する。
【図５】一例に係る緩衝区間の設定によるホール拡大を説明する。
【図６】一例に係るクラックの発生及び両眼視差クラックの検出によるホール設定を説明する。
【図７】一例に係る隣接のピクセルスケーリングを説明する。
【図８】一例に係る背景ピクセルを用いる隣接のピクセルスケーリングを説明する。
【図９】一例に係る背景の勾配に垂直方向へのスケーリングを説明する。
【図１０】一例に係る最適パッチ探索に基づいたホールの復元を説明する。
【図１１】一例に係るパッチの重複を用いたホールの復元を説明する。
【図１２】一実施形態に係る映像処理方法のフローチャートである。
【図１３】一実施形態に係る映像処理装置を含むディスプレイデバイスを示す。
【発明を実施するための形態】
【００２７】
以下、本発明の一実施形態は添付する図面を参照しながら詳細に説明される。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。
【００２８】
図１は、一例に係る３つの入力ビューに基づいたビュー生成方法を説明する。
【００２９】
撮影の対象となる被写体１１０は前景及び背景１１２から構成される。前記前景は第１オブジェクト１１４及び第２オブジェクト１１６を含む。観測者の視点によって第１オブジェクト１１４及び第２オブジェクト１１６の背景１１２に対する相対的な位置は左側または右側に移動する。
【００３０】
例えば、カメラのような第１入力装置１２０は第１視点であり、第２入力装置１３０は第２視点、第３入力装置１４０は第３視点であって、それぞれ前記被写体１１０を撮影する。入力装置１２０、１３０及び１４０はそれぞれの視点で被写体１１０を撮影し、それぞれの入力ビュー１２２、１３２及び１４２を生成する。
【００３１】
例えば、すなわち、第１入力ビュー１２２は視聴者が第１視点で被写体１１０を見たときの映像を提供し、第２入力ビュー１３２は視聴者が第２視点で被写体１１０を見たときの映像を提供し、第３入力ビュー１３４は視聴者が第３視点で被写体１１０を見たときの映像を提供する。
【００３２】
入力ビュー１２２、１３２及び１４２のそれぞれはフレームのシーケンスから構成される。すなわち、入力ビュー１２２、１３２または１４２は単位時間当たり特定の数、例えば、３０ＦＰＳ（Ｆｒａｍｅｓ  Ｐｅｒ  Ｓｅｃｏｎｄ）から出力されるフレームで構成される。特定視点のフレームは前記特定視点の映像を生成するためのデータである。したがって、入力ビュー１２２、１３２及び１４２のそれぞれは映像のシーケンスを提供する。各映像は特定の瞬間に対応する。
【００３３】
フレーム（または映像）はピクセルで構成される。フレーム（または映像）内のピクセルはｘ座標及びｙ座標で構成された座標値を有する。ピクセルそれぞれはカラー値を有する。ピクセルのカラー値はカラーを表すための任意の形式（例えば、ＲＧＢまたはＹＣｂＣｒ）を用いて表してもよい。また、ピクセルそれぞれは深度値を有する。ピクセルの深度値は、ピクセルが表すオブジェクト（または背景）及び撮影視点（すなわち、ビューの視点）間の距離を表す。ピクセルの深度値は、例えば、整数または浮動小数点のような距離を表すための任意の２進形式を用いて表してもよい。
【００３４】
ピクセルの深度値はフレーム内に含まれてもよい。すなわち、フレームがピクセルのカラー値及び深度値を有し得る。また、ピクセルの深度値はフレームとは別に提供されてもよい。フレーム（または映像）の深度情報はフレーム（または映像）を構成するピクセルの深度値を表す。フレームの深度情報は、フレームまたは入力ビューとは別に提供されてもよい。入力ビュー内の映像に対する深度情報が入力ビューとは別に提供されてもよい。
【００３５】
特定の視覚ｔにおける第１入力ビュー１２２のフレーム１２４、第２入力ビュー１３２のフレーム１３４、及び第３入力ビュー１４２のフレーム１４４が四角形のように示された。
【００３６】
３Ｄ映像装置は、入力ビュー１２２、１３２及び１４２の視点の他の視点における映像をユーザに提供する必要がある。したがって、３Ｄ映像装置は、入力ビュー１２２、１３２及び１４２に基づいて前記入力ビュー１２２、１３２及び１４２とは異なる視点における出力ビュー（ｏｕｔｐｕｔ  ｖｉｅｗ）（または目的ビュー（ｔａｒｇｅｔ  ｖｉｅｗ））を生成する。前記の入力ビュー１２２、１３２及び１４２に対応する視点は参照ビュー視点と命名する。
【００３７】
参照ビュー視点ではない異なる視点で視聴者が被写体１１０を見たときの映像が提供されるためには、前記入力装置１２０、１３０、及び１４０によって生成される入力ビュー１２２、１３２及び１４２によって提供されるフレームを用いるビュー外挿またはビュー内挿によって中間視点における出力ビューを生成しなければならない。
【００３８】
出力ビューの生成は、出力ビューのフレームを生成することを意味する。出力ビューの生成は出力ビューの視点における映像を提供することを意味する。出力ビューは内挿によって生成された内挿ビューまたは外挿によって生成された外挿ビューである。ビュー内挿（ｖｉｅｗ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）は入力ビュー１２２、１３２及び１４２の視点の間（すなわち、内部）にある任意の仮想視点における出力ビューを生成することを意味する。ビュー内挿は、生成しようとする仮想ビュー視点に隣接する左側及び右側の入力ビューフレーム（または映像）を参照して出力ビューフレーム（または映像）を生成してもよい。内挿ビュー（ｉｎｔｅｒｐｏｌａｔｅｄ  ｖｉｅｗ）はビュー内挿によって生成された出力ビューである。
【００３９】
ビュー外挿（ｖｉｅｗ  ｅｘｔｒａｐｏｌａｔｉｏｎ）は入力ビュー１２２、１３２及び１４２の視点の郊外にある任意の視点における出力ビューを生成することを意味する。ビュー外挿は、最左側入力ビュー１２２の視点よりも左側視点における出力ビュー、または最右側入力ビュー１４２の視点よりも右側視点における出力ビューを生成することを意味する。外挿ビュー（ｅｘｔｒａｐｏｌａｔｅｄ  ｖｉｅｗ）はビュー外挿によって生成された出力ビューである。
【００４０】
ビュー外挿は、最外郭にある１つの入力ビュー１２２または１４２のフレーム（または映像）を参照して出力ビューフレーム（または映像）を生成する。したがって、ビュー外挿のために用いられる情報はビュー内挿のために用いられる情報に比べて相対的に制限される。したがって、用いられる情報が相対的に少ないため、ビュー外挿によって生成された映像ではビュー内挿で生成された映像に比べて画質劣化が多く発生する。
【００４１】
図示される三角形１５０、１５２、１６０、１６２、１７０、１７２、１８０及び１８２はそれぞれ内挿ビューフレームまたは外挿ビューフレームを表す。
【００４２】
最左側入力ビュー１２２の視点よりも左側の視点のビューは外挿ビューである。また、最右側入力ビュー１４２の視点よりも右側の視点のビューは外挿ビューである。フレーム１５０、１５２、１８０及び１８２は視覚ｔの外挿ビューフレームである。
【００４３】
入力ビュー１２２、１３２及び１４２の視点の間で生成された仮想の視点におけるビューは内挿ビューである。視覚ｔの内挿ビューのフレーム１６０、１６２、１７０及び１７２が示される。
【００４４】
内挿ビュー及び外挿ビューも予め定義された時間周期にかけて発生したフレームのシーケンスで構成される。内挿ビューまたは外挿ビューのフレームは深度情報を有しない場合がある。すなわち、内挿ビューまたは外挿ビューのフレームは２次元フレームであってもよい。
【００４５】
前述したように、前記Ｎ個の入力ビューの視点及びこれとは異なる視点におけるＭ個の出力ビューが生成されてもよい。
【００４６】
３Ｄ映像装置が、視聴者の位置に応じて、Ｍ個の出力ビューのうち特定の出力ビューを視聴者に提供すれば、視聴者は３Ｄ映像装置の出力ビューを介して連続的な実際の３Ｄ映像を認知することができる。例えば、３Ｄ映像装置が第１出力ビューを視聴者の左眼に、第２出力ビューを視聴者の右眼に出力すれば、ユーザは３Ｄ映像を認識することができる。
【００４７】
図２は、一実施形態に係る外挿ビューのフレーム生成方法を示す
入力ビュー２１０を介してフレームのシーケンスが提供される。特定の視覚ｔにおける入力ビュー２１０のフレーム２１２が図示された。入力ビュー２１０に基づいて入力ビュー２１０よりも右側視点におけるビュー外挿によって第１外挿ビュー及び第２外挿ビューが生成される。
【００４８】
前記特定の視覚ｔにおける第１外挿ビューのフレーム２２０及び第２外挿ビューのフレーム２３０が入力ビュー２１０のフレーム２１２を用いて生成される。入力ビュー２１０は図１に示す被写体２１０を撮影したものであり、入力ビュー２１０のフレーム２１２は、背景２１４、第１オブジェクト２１６及び第２オブジェクト２１８で構成される。
【００４９】
第１外挿ビューのフレーム２２０も背景２２４、第１オブジェクト２２６及び第２オブジェクト２２８で構成される。また、第２外挿ビューのフレーム２３０は、背景２３４、第１オブジェクト２３６及び第２オブジェクト２３８を含んでもよい。第１外挿ビューの視点は入力ビュー２１０の視点よりも右側に位置する。したがって、第１外挿ビューのフレーム２２０内の背景２２４、第１オブジェクト２２６及び第２オブジェクト２２８は入力ビュー２１０のフレーム２１２からさらに左側に位置する。
【００５０】
前記背景２２４がどれほど左側に位置するかは入力ビュー２１０の視点から背景２２４までの距離に依存し、入力ビュー２１０の視点及び第１外挿ビューの視点間の距離に依存する。
【００５１】
前述したように、背景２２４の全てが左側に移動するため、第１外挿ビューのフレーム２２０は、入力ビュー２１０のフレーム２１２によって適切に満たされないフレーム境界ホール２４４を有する。場合に応じて、背景２２４は移動できないことがある。背景２２４が移動しない場合、フレーム境界ホール２４４は生成されない。
【００５２】
前景を構成するオブジェクト２２６及び２２８は背景２２４が移動することによって共に移動される。また、オブジェクト２２６及び３２８は背景２２４よりも左側に移動する。
【００５３】
前記オブジェクト２２６及び２２８が背景２２４に備えてどれだけもっと左側に位置するかは、入力ビュー２１０の視点からオブジェクト２２６及び２２８それぞれまでの距離に依存し、入力ビュー２１０の視点及び第１外挿ビューの視点間の距離に依存する。オブジェクト２２６及び２２８が背景２２４に比べてもっと左側に移動するため、第１外挿ビューのフレーム２２０は入力ビュー２１０のフレーム２１２によって適切に満たされないオブジェクト境界ホール２４６及び２４８を有する。
【００５４】
外挿ビューを生成するために、前記フレーム境界ホール２４４、前記オブジェクト境界ホール２４６及び２４８には適切なピクセルが外挿されなければならない。
【００５５】
第２外挿ビューのフレーム２３０もフレーム境界ホール２５４、オブジェクト境界ホール２５６及び２５８を有する。第２外挿ビューの視点は第１外挿ビューの視点に比べて、入力ビュー２１０の視点からさらに遠く離隔されている。第２外挿ビューのフレーム２３０内の背景２３４、第１オブジェクト２３６及び第２オブジェクト２３８はそれぞれ第１外挿ビューのフレーム２２０内の背景２２４、第１オブジェクト２２６及び第２オブジェクト２２８に比べてさらに左側に位置する。
【００５６】
第２外挿ビューのフレーム２３０内のフレーム境界ホール２５４、オブジェクト境界ホール２５６及び２５８はそれぞれ第１外挿ビューのフレーム２２０内のフレーム境界ホール２４４、オブジェクト境界ホール２４６及び２４８よりも左右がさらに広い。
【００５７】
したがって、第２外挿ビューのフレーム２３０内のフレーム境界ホール２５４、オブジェクト境界ホール２５６及び２５８にはさらに多いピクセルが外挿されなければならない。
【００５８】
すなわち、外挿ビューの視点が最外郭入力ビューからさらに遠くなるほど、外挿されなければならないピクセルの範囲もさらに広くなる。
【００５９】
フレーム境界ホール２４４、２５４とオブジェクト境界ホール２４６、２４８、２５６及び２５８を合わせてホールと命名する。
【００６０】
図３は、一実施形態に係る映像処理装置の構造図である。図３に示す映像処理装置は、参照ビュー映像及び参照ビュー映像の両眼視差情報をそれぞれ用いるビュー内挿及びビュー外挿を通じて出力ビューを生成する。映像処理装置は、出力ビューの映像内のビュー内挿及びビュー外挿によって発生するホールを復元する。
【００６１】
出力ビュー映像は出力ビューの視点における映像である。前述したように、新しい視点における映像が生成されれば、前記新しい視点で新しく観測されなければならない地点が映像内のホールとして示される。
【００６２】
映像処理装置は、ビュー内挿及びビュー外挿過程で発生するホールを復元してもよい。映像処理装置３００は、映像ワーピング部３１０、緩衝区間設定部３２０、両眼視差クラック検出部３３０、隣接映像基盤ホール復元部３４０、隣接ピクセルスケーリング基盤ホール復元部３５０、及び最適パッチ探索基盤ホール復元部３６０を備えてもよい。
【００６３】
映像ワーピング部３１０は、参照ビュー映像及び参照ビュー映像の両眼視差情報を用いるイメージワーピングの方式によって出力ビューの映像を生成する。すなわち、映像ワーピング部３１０は、参照ビューのフレーム及び参照ビューのフレームの両眼視差情報を用いるイメージワーピングによって出力ビューのフレームを生成する。映像ワーピング部３１０は、参照ビュー映像を映像ワーピングすることによって出力ビューの映像を生成する。例えば、参照ビュー映像の両眼視差情報が提供されない場合、映像ワーピング部３１０は参照ビュー映像の両眼視差情報を生成してもよい。
【００６４】
Ｎ個の入力映像（すなわち、Ｎ個の参照ビューの映像）がエピポーラ線（ｅｐｉｐｏｌａｒ  ｌｉｎｅ）を基準として整列されている。
【００６５】
仮想視点のビュー（すなわち、出力ビュー）は参照ビューから前記仮想視点のビューまで離隔された距離に比例する加重値を用いることによって生成される。すなわち、仮想視点のビューは、参照ビューの視点と仮想視点との間の距離に比例する加重値を用いることによって生成される。
【００６６】
出力ビュー映像内の第１ピクセルのｙ座標値は、第１ピクセルに対応する参照ビュー映像内の第２ピクセルのｙ座標値と同一であってもよい。すなわち、ピクセルのｙ座標はワーピングによって変更されなくてもよい。出力ビュー（またはレンダーリングされたビュー）映像内の第１ピクセルのｘ座標は下記の数式（１）によって算出されることができる。
【００６７】
【数１】
2014515197.tif 000003
ここで、Ｉｒｅｆｅｒｅｎｃｅ  ｖｉｅｗは参照ビュー（または入力ビュー）の映像（またはフレーム）を示す。Ｉｒｅｎｄｅｒｅｄ  ｖｉｅｗは出力ビュー（または、レンダーリングされたビュー）の映像（またはフレーム）を示す。
【００６８】
ｘは参照ビュー内の第２ピクセルの座標値（ｘ座標値）を示す。ｘ’は出力ビュー内の第１ピクセルの座標値（ｘ座標値）を示す。
【００６９】
ｄは映像の深度情報またはピクセルの深度情報から導出された第２ピクセルの両眼視差（ｄｉｓｐａｒｉｔｙ）値である。一般に、ピクセルの両眼視差値はピクセルの深度値に反比例する。したがって、前述された深度及び深度情報に対する説明は両眼視差及び両眼視差情報にも適用され得る。αは参照ビューの視点と出力ビューの視点との間の距離に比例する加重値である。
【００７０】
したがって、前述された数式（１）は下記の（１）〜（５）を意味する。
【００７１】
（１）参照ビュー内の第２ピクセルはワーピングによってαｄだけ移動する。すなわち、参照ビュー映像内の第２ピクセルと出力ビュー内の第１ピクセルが互いに対応する場合、第１ピクセルのｘ座標値は第２ピクセルのｘ座標値にαｄを加えた値である。
【００７２】
（２）両眼視差値の大きいピクセルはワーピングによって多く移動する。両眼視差値は深度値に反比例する。したがって、深度値が小さいピクセルは深度値の大きいピクセルよりも多く移動する。
【００７３】
オブジェクトは参照ビューの視点から近く、背景は参照ビューの視点から遠い。したがって、参照ビュー映像のピクセルのうちオブジェクトを示すピクセルは背景を表すピクセルよりも多く移動する。
【００７４】
深度値が無限のピクセル（または、両眼視差値が０であるピクセル）はワーピングによって移動されないことがある。
【００７５】
（３）参照ビューの視点及び出力ビューの視点が遠く離隔されるほど、参照ビュー内のピクセルはさらに多く移動する。
【００７６】
映像ワーピング部３１０は、前述された数式（１）に基づいたワーピングの他にも多様なワーピング方法を用いて出力ビューの映像を生成してもよい。
【００７７】
（４）第１ピクセルの両眼視差値（または深度値）は第２ピクセルの両眼視差値（または深度値）である。
【００７８】
（５）参照ビュー映像内の１つ以上のピクセルが出力ビュー内の同一の座標に移動してもよい。このような場合、１つ以上のピクセルのうち最も出力ビューの視点と近いピクセルが優先的に表示される。
【００７９】
緩衝区間設定部３２０は映像ワーピングによって生成されたホールを拡大する。緩衝区間設定部３２０によるホール拡大が図５を参照して下記で詳細に説明する。
【００８０】
両眼視差クラック検出部３３０は、生成された出力ビューの映像のうちクラックをホールに設定する。両眼視差クラック検出部３２０によるホール設定が図６を参照して下記で詳細に説明される。
【００８１】
隣接映像基盤ホール復元部３４０は映像ワーピングによって生成されたホールを復元する。隣接映像基盤ホール復元部３４０によるホール復元が図４を参照して下記で詳細に説明される。
【００８２】
隣接ピクセルスケーリング基盤ホール復元部３５０は、映像ワーピングによって生成されたホールを前記ホールと隣接する１つ以上のピクセルをスケーリングすることによって復元される。隣接ピクセルスケーリング基盤ホール復元部３５０による隣接の背景スケーリングが図７〜図９を参照して下記で詳細に説明される。
【００８３】
最適パッチ探索基盤ホール復元部３６０は、前記映像ワーピングによって生成されたホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによってホールを復元する。最適パッチ探索基盤ホール復元部３６０による最適パッチ探索及びホール復元について図１０を参照して下記で詳細に説明される。
【００８４】
隣接映像基盤ホール復元部３４０によってホールの一部が復元された後、前記ホールの残った一部または一部らが隣接ピクセルスケーリング基盤ホール復元部３５０及び最適パッチ探索基盤ホール復元部３６０によって復元される。
【００８５】
隣接ピクセルスケーリング基盤ホール復元部３５０及び最適パッチ探索基盤ホール復元部３６０は、出力ビュー映像の背景ピクセルを用いることによって残ったホールを復元する。ホールに隣接する領域の特性に応じていかなる方式でホールが復元されるかを決定する。
【００８６】
例えば、ホールに隣接する領域がテクスチャ（ｔｅｘｔｕｒｅ）領域である場合には最適パッチ探索基盤ホール復元部３６０がホールを復元してもよい。ホールに隣接する領域がテクスチャ領域ではない場合には隣接ピクセルスケーリング基盤ホール復元部３５０がホールを復元してもよい。隣接ピクセルスケーリング基盤ホール復元部３５０は、背景画素をスケーリングするために、前記スケーリングによってテクスチャが損傷されることがある。
【００８７】
すなわち、ホールに隣接する領域が均一であったりホールに隣接する領域で強いエッジ（ｅｄｇｅ）が現れる場合、背景ピクセルをスケーリングすることによってホール領域が復元され得る。このような復元によって復元されたホール領域でも隣接する領域（すなわち、背景）の特性が維持され得る。
【００８８】
また、ホールに隣接する領域がテクスチャ領域である場合、参照ビュー映像内の背景領域で前記の隣接する領域と最も類似の領域が検出される。前記の検出された領域を用いてホール領域が復元される。このような復元によって復元されたホール領域でもテクスチャ成分が維持され得る。
【００８９】
図４は、一例に係る時間的に隣接する映像を用いたホールの復元を説明する。
【００９０】
一連の時間的に隣接する映像のうち、視覚ｔにおける参照ビュー映像が視覚ｔにおける出力ビューイメージを生成するためのイメージワーピングで用いられてもよい。以下、特定の視覚ｔの映像を「映像（ｔ）」または「現在の映像」と命名する。類似に、特定の視覚ｔのフレームは「フレーム（ｔ）」または「現在のフレーム」と命名する。また、視覚ｔ−１のフレームは「フレーム（ｔ−１）」または「以前フレーム」と命名する。視覚ｔ＋１のフレームは「フレーム（ｔ＋１）」または「次のフレーム」と命名する。
【００９１】
図４において、出力ビューフレーム（ｔ）４４０はホール４４２を含む。出力ビューフレーム（ｔ）４４０は参照ビューフレーム（ｔ）４３０をワーピングすることで生成される。
【００９２】
一般に、映像（ｔ）と時間的に隣接する映像（例えば、映像（ｔ−１）、映像（ｔ＋１）、映像（ｔ−２）及び映像（ｔ＋２）など）は前記映像（ｔ）が示す前景（またはオブジェクト）及び背景と同一または類似の前景及び背景を表す。したがって、参照ビュー映像または出力ビュー映像と時間的に隣接する映像の情報を用いることで映像ワーピングによって生成されたホールが復元され得る。
【００９３】
図４において、前景に対応するオブジェクトは上から下に移動する。したがって、参照ビューフレーム（ｔ）４３０でオブジェクトに隠された背景に対応する部分４１２が参照ビューフレーム（ｔ−１）４１０では現れる。また、参照ビューフレーム（ｔ＋１）４５０の部分４５２、出力ビューフレーム（ｔ−１）４２０の部分４２２、及び出力ビューフレーム（ｔ＋１）４６０の部分４６２も参照ビューフレーム（ｔ）４３０でオブジェクトから隠された背景に対応する。したがって、部分４１２、４２２、４５２及び４６２がホール４４２を復元するために用いられてもよい。隣接映像基盤ホール復元部３４０は、下記の数式（２）に基づいて出力ビューの映像（ｔ）のホール４４２を復元してもよい。数式（２）は、出力ビューのフレームと時間的に隣接するフレームを用いて前記フレーム内のホールを復元する方法を説明する。
【００９４】
【数２】
2014515197.tif 000004
ここで、ｆｔは出力ビューフレーム（ｔ）４４０を示す。すなわち、ｆｔは視覚ｔにおけるワーピングによって生成されたフレームを示す。ｆｔ（ｉ、ｊ）は出力ビューフレーム（ｔ）４４０のピクセルのうち座標値が（ｉ、ｊ）のピクセルのカラー値を示す。ここで、出力ビューフレーム（ｔ）４４０において、座標値が（ｉ、ｊ）であるピクセルはホール４４２内のピクセルである。座標値が（ｉ、ｊ）のピクセルを以下「ピクセル（ｉ、ｊ）」のように示す。
【００９５】
ｆｔ−１は出力ビューフレーム（ｔ）４４０の以前フレーム、すなわち、出力ビューフレーム（ｔ−１）４２０を示す。ｆｔ＋１は出力ビューフレーム（ｔ）４４０の次のフレーム、すなわち、出力ビューフレーム（ｔ＋１）４６０を示す。ｆｔ−１は出力ビューフレーム（ｔ−１）４２０を示す。また、ｆｔ＋１は出力ビューフレーム（ｔ＋１）４６０を示す。
【００９６】
すなわち、隣接映像基盤ホール復元部３４０は、出力ビューフレーム（ｔ）４４０に時間的に隣接する出力ビューフレームを用いて映像ワーピングによって生成されたホールを復元してもよい。αｔ−１は出力ビューフレーム（ｔ−１）４２０のピクセル（ｉ、ｊ）が出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）を復元するために用いられるかの有無を決定する係数である。αｔ−１は０または１の値を有し得る。αｔ−１が０である場合、出力ビューフレーム（ｔ−１）４２０のピクセル（ｉ、ｊ）は出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）を復元するために使用されない。
【００９７】
αｔ＋１は出力ビューフレーム（ｔ＋１）４６０のピクセル（ｉ、ｊ）が出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）を復元するために用いられるかの有無を決定する係数である。αｔ＋１は０または１の値を有し得る。αｔ＋１が０である場合、出力ビューフレーム（ｔ＋１）４６０のピクセル（ｉ、ｊ）は出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）を復元するために使用されない。
【００９８】
αｔ−１及びαｔ＋１が全て１である場合、出力ビューフレーム（ｔ−１）４２０のピクセル（ｉ、ｊ）のカラー値、及び出力ビューフレーム（ｔ＋１）４６０のピクセル（ｉ、ｊ）のカラー値の平均値が出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）のカラー値となる。αｔ−１が０であり、αｔ＋１は１である場合、出力フレーム（ｔ）４４０のピクセル（ｉ、ｊ）のカラー値は出力ビューフレーム（ｔ＋１）４６０のピクセル（ｉ、ｊ）のカラー値である。αｔ−１が１であり、αｔ＋１が０である場合、出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）のカラー値は出力ビューフレーム（ｔ−１）４２０のピクセル（ｉ、ｊ）のカラー値である。
【００９９】
ホールを復元するために用いられるピクセルは背景に含まれるピクセルと見なすことができる。一般に、背景はワーピングによって位置変更されない。例えば、参照ビューフレーム（ｔ−１）４１０の部分４１２及び出力ビューフレーム（ｔ−１）４２０の部分４２２は各フレーム内における位置及びカラーが同一であってもよい。すなわち、背景に含まれる第１ピクセルの参照ビューフレーム内における座標、及び前記の第１ピクセルに対応する第２ピクセルの出力ビューフレーム内における座標は同一である。
【０１００】
したがって、隣接映像基盤ホール復元部３４０は、時間的に隣接する参照ビューフレームを用いて映像ワーピングによって生成されたホールを復元してもよい。すなわち、数式（２）のｆｔ−１は参照ビューフレーム（ｔ−１）４１０を示すｆ’ｔ−１に代替されてもよく、ｆｔ＋１は参照ビューフレーム（ｔ＋１）４５０を示すｆ’ｔ＋１に代替されてもよい、
類似するように、数式（２）におけるｆｔ−１及びｆｔ＋１はそれぞれｆｔ−２及びｆｔ＋２によって代替されてもよく、または任意の異なる時間的に隣接する出力ビューフレームによって代替されてもよい。また、数式（２）におけるｆｔ−１及びｆｔ＋１はそれぞれｆ’ｔ−２及びｆ’ｔ＋２によって代替されてもよく、または任意の異なる時間的に隣接する参照ビューフレームによって代替されてもよい。すなわち、隣接映像基盤ホール復元部３４０は、１つ以上の時間的に隣接する参照映像または１つ以上の時間的に隣接する出力映像を用いて映像ワーピングによって生成された出力ビュー映像内のホールを復元する。
【０１０１】
数式（２）に基づいて、隣接映像基盤ホール復元部３４０は１つまたは２つの参照ビューフレームを用いて、言い換えれば、出力ビューフレーム（ｔ−１）４２０及び出力ビューフレーム（ｔ＋１）４６０を用いてホール４４２を復元する。しかし、時間的に隣接する出力ビューフレーム（または、参照ビューフレーム）がホール４４２を復元するために用いられてもよい。例えば、視覚ｔ−２、ｔ−１、ｔ＋１及びｔ＋２における出力ビューフレーム（または、参照ビューフレーム）または任意の他の３つ以上の時間的に隣接するイメージがホール４４２を復元するために用いられてもよい。
【０１０２】
時間的に隣接する映像が視覚ｔにおける映像に対して対称的である必要はない。例えば、視覚ｔにおける映像内のホールは視覚ｔ−２及びｔ−１における映像を用いて復元されてもよく、または、視覚ｔ−３、ｔ−２及びｔ−１における映像や任意の異なる時間的に非対称的である映像を用いて復元されてもよい。
【０１０３】
また、時間的に隣接する映像の数は映像処理装置３００の格納容量、参照ビュー映像の複雑度、及び出力ビュー映像の複雑度などに基づいて動的に変更されてもよい。
【０１０４】
数式（２）では、フレーム（ｔ）のピクセルと同一の座標値を有するピクセルを用いてフレーム（ｔ）のピクセルのカラー値を復元した。言い換えれば、前述の復元は一連の映像が時間に応じて全体的に移動していないことを前提とする。すなわち、いくつかの状況において映像の背景は全く、あるいはほとんど動かない。
【０１０５】
時間に応じて映像が全体的に移動した場合、出力ビューフレーム（ｔ）４４０のピクセルのカラー値を復元するために、このような移動は考慮されるべきである。
【０１０６】
例えば、出力ビューフレーム（ｔ）４４０が出力ビューフレーム（ｔ−１）４２０（または、出力ビューフレーム（ｔ）４１０）に比べて全体的に左側に１ピクセルだけ移動した場合、出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）のカラー値を設定するためには、出力ビューフレーム（ｔ−１）４４０（または、参照ビューフレーム（ｔ）４１０）のピクセル（ｉ＋１、ｊ）のカラー値を使用しなければならない。
【０１０７】
すなわち、隣接映像基盤ホール復元部３４０は出力ビュー映像（ｔ）のホール内の第１ピクセルを復元するために、出力ビュー映像（ｔ）と隣接する出力ビュー映像内の前記第１ピクセルに対応するピクセルのカラー値を用いてもよい。または、隣接映像基盤ホール復元部３４０は出力ビュー映像（ｔ）のホール内の第１ピクセルを復元するために、参照ビュー映像（ｔ）と隣接する参照ビュー映像内の前記第１ピクセルに対応するピクセルのカラー値を用いてもよい。
【０１０８】
また、隣接映像基盤ホール復元部３４０は、参照ビュー映像（ｔ）及び参照ビュー映像（ｔ）に時間的に隣接する映像が時間に応じて全体的に移動した場合、前記移動に基づいて参照ビュー映像（ｔ）（または、出力ビュー映像（ｔ））と隣接する参照ビュー映像（または、出力ビュー映像）内で第１ピクセルに対応するピクセルを選択してもよい。隣接映像基盤ホール復元部３４０は、下記の数式（３）に基づいて係数αを決定することができる。
【０１０９】
【数３】
2014515197.tif 000005
Ｄ（ｆｔ（ｉ、ｊ））は出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）の両眼視差値である。Ｔｈは予め定義された閾値である。したがって、αｔの値はｆｔ（ｉ、ｊ）がホールピクセルではなく、ｆｔ（ｉ、ｊ）の両眼視差値が予め定義された閾値の場合には１であり、そうではない場合には０である。
【０１１０】
まず、ｆｔ（ｉ、ｊ）がホールを示すホールピクセルであるか否かが判断される。ｆｔ（ｉ、ｊ）がホールピクセルである場合、ｆｔ（ｉ、ｊ）のカラー値は存在しないか、誤った値である。したがって、ｆｔ（ｉ、ｊ）のカラー値は出力ビュー映像内のホールを復元するために用いられることができない。したがって、αｔの値は０になる。
【０１１１】
すなわち、隣接映像基盤ホール復元部３４０は時間的に隣接する参照ビュー映像内の対応するホールピクセルを除くことによって、出力ビュー映像ｔ内のホールを復元してもよい。また、隣接映像基盤ホール復元部３４０は、時間的に隣接する出力ビュー映像内に含まれた対応するホールピクセルを除くことによって出力ビュー映像内のホールを復元してもよい。
【０１１２】
次に、ｆｔ（ｉ、ｊ）がホールピクセルではない場合、ｆｔ（ｉ、ｊ）が前景を表すピクセルであるか、または背景を表すピクセルであるか否かが判断される。
【０１１３】
マルチビューレンダリングによって発生するホールは、参照ビュー映像では前景に隠されて見られていない背景の一部がワーピングによって生成された出力ビュー映像に現れたものである。または、ホールは前記の背景の一部を含んでもよい。
【０１１４】
したがって、ｆｔ（ｉ、ｊ）が背景を表す背景ピクセルの場合にのみｆｔ（ｉ、ｊ）が出力ビュー映像内のホールを復元はするために用いられてもよい。
【０１１５】
すなわち、隣接映像基盤ホール復元部３４０は、時間的に隣接する参照ビュー映像内の対応する背景ピクセルのみを用いて出力ビュー映像ｔ内のホールを復元する。また、隣接映像基盤ホール復元部３４０は、時間的に隣接する出力ビュー映像内の対応する背景ピクセルのみを用いて出力ビュー映像ｔ内のホールを復元する。
【０１１６】
ｆｔ（ｉ、ｊ）が前景を表す前景ピクセルであるか、または背景を表す背景ピクセルであるか否かは、ｆｔ（ｉ、ｊ）の両眼視差値に基づいて決定される。
【０１１７】
一般に、前景を表すピクセルは背景を表すピクセルよりも大きい両眼視差値を有する。
【０１１８】
したがって、ｆｔ（ｉ、ｊ）の両眼視差値が基準値Ｔｈよりも小さい場合、隣接映像基盤ホール復元部３４０はｆｔ（ｉ、ｊ）を背景ピクセルと見なし、ｆｔ（ｉ、ｊ）をホールを復元するために用いてもよい。
【０１１９】
図５は、一例に係る緩衝区間の設定によるホール拡大を説明する。図５において、出力ビュー映像５１０及び緩衝領域５２２、５２４が表示された出力ビュー映像５２０を示す。
【０１２０】
マルチビューレンダリングにおいて用いられるピクセルの両眼視差値は、ピクセルの物理的な深度値を変換することによって取得され得る。また、ピクセルの両眼視差値は参照映像を用いる推定によって決定されてもよい。
【０１２１】
ピクセルの両眼視差値は（特に、推定によって取得された場合）マッチングエラーなどによって誤った値を有することがある。ピクセルの両眼視差値が誤った場合、出力ビュー映像５１０のオブジェクトと背景との間の境界は両眼視差映像のオブジェクトと背景との間の境界と一致しないこともある。出力ビュー映像５１０のホール領域５１２の左側にあるピクセルは、前述の不一致によって前景を表すピクセルであるにも係わらず背景を表すカラー値を有する。
【０１２２】
すなわち、推定された両眼視差値が用いられる場合、この問題を防止するためにホールに隣接する領域が緩衝領域として設定される必要がある。
【０１２３】
したがって、緩衝区間設定部３２０は、ホールに隣接する緩衝領域５２２及び５２４をホールと見なすことによってホールを拡大する。
【０１２４】
緩衝区間設定部３２０は、ホール（またはホールの最外郭の地点）からの距離が予め定義された閾値よりも小さいピクセルを緩衝領域として設定してもよい。緩衝領域内のピクセルのカラー値が復元される場合、下記の数式（４）が用いられてもよい。
【０１２５】
【数４】
2014515197.tif 000006
数式（４）では、フレーム（ｔ）の以前フレームのピクセルのカラー値及び以後フレームのピクセルのカラー値のみならず、フレーム（ｔ）のピクセル（ｉ、ｊ）（すなわち、カラー値が復元されるピクセル自身）のカラー値も復元のために用いられる。緩衝領域内のピクセル（ｉ、ｊ）は初めからホールであったピクセルとは異なって既にカラー値を有する。したがって、緩衝領域内のピクセル（ｉ、ｊ）自身のカラー値がホールと見なされた緩衝領域内のピクセル（ｉ、ｊ）を復元するために用いられてもよい。
【０１２６】
すなわち、隣接映像基盤ホール復元部３４０は緩衝領域内の第１ピクセルを復元する場合、第１ピクセルのカラー値に基づいて第１ピクセルを復元する。
【０１２７】
図６は、一例に係るクラックの発生及び両眼視差クラックの検出によるホール設定を説明する。図６において、参照ビュー映像６１０及び参照ビュー映像６１０の両眼視差映像６２０を示す。
【０１２８】
図示するように、両眼視差映像６２０の第１部分６２２及び第２部分６２４は互いに異なる両眼視差値を有する。一般に、第１部分６２２及び第２部分６２４は同じオブジェクトを示すため、互いに同一であるか類似の両眼視差値を有するべきである。しかし、特に、両眼視差値が推定された場合、第１部分６２２及び第２部分６２４は互いに異なる両眼視差値を有することがある。
【０１２９】
第１部分６２２及び第２部分６２４は互いに異なる両眼視差値を有するため、ワーピングによって移動する距離が互いに異なる。第１部分６２２及び第２部分６２４が互いに異なる距離を移動するため、ワーピングによって生成された出力ビュー映像６３０内で、第１部分６２２に対応する部分及び第２部分６２４に対応する部分の間にクラック６３２が発生することがある。
【０１３０】
このようなクラック６３２が発生した部分では前景ではない背景が表示されることがある。すなわち、第１部分６２２及び第２部分６２４の代わりに背景が表示されてもよい。このように、クラック６３２は、互いに異なる両眼視差値のためにオブジェクト（または、オブジェクトの分離された部分）の間で背景が表示された部分を意味する。すなわち、オブジェクトの部分に前記両眼視差値が割り当てられ、前記オブジェクトがワーピングされるとき前記オブジェクトの内部でクラックが発生する。
【０１３１】
クラック６３２が発生した部分では背景のカラー値がワーピングされる。したがって、クラック６３２によって出力ビュー映像の画質が劣化される恐れがある。もし、クラック６３２がホールに設定されれば、クラック６３２が現れた部分にもホールの復元方法が適用され得る。したがって、クラック６３２による画質劣化の減少を図ることができる。
【０１３２】
両眼視差クラック検出部３３０は出力ビュー映像でクラックを検出する。両眼視差クラック検出部３３０はクラックが発生した部分をホールに設定する。クラックは下記の数式（５）に基づいて検出されることができる。
【０１３３】
【数５】
2014515197.tif 000007
ここで、Ｄｉ、ｊは出力ビュー映像６３０内のピクセル（ｉ、ｊ）６４２の両眼視差値である。ピクセル（ｉ、ｊ）６４２はクラックであるか否かを検査するピクセルである。Ｄｉ＋ｍ、ｊ＋ｎはピクセル（ｉ、ｊ）と隣接するピクセル（ｉ＋ｍ、ｊ＋ｎ）の両眼視差値である。Ｔｈは予め定義された閾値である。
【０１３４】
出力ビュー映像６３０内のピクセルと隣接するピクセル６４４との間の両眼視差値における差の総和が予め定義された閾値よりも大きい場合、両眼視差クラック検出部３３０は前記ピクセルをクラックとして検出する。
【０１３５】
クラックは、前景が現れる領域に背景ピクセルがワーピングされたことによって発生する。したがって、クラック地点に位置する背景ピクセルの両眼視差値と前記背景ピクセルの周囲に隣接する前景ピクセルの両眼視差値との間の差は大きい。
【０１３６】
したがって、数式（５）のように、隣接のピクセル６４４との両眼視差値の差に基づいてクラックが検出され得る。また、検出されたクラックをホールに割り当てることによって画質劣化を補償することができる。
【０１３７】
図６において図示された隣接のピクセル５４４は例示的なものである。出力ビュー内の第１ピクセルと離隔されたピクセルの任意の組合が前記第１ピクセルの隣接のピクセルとして用いられてもよい。
【０１３８】
図７は、一例に係る隣接のピクセルスケーリングを説明する。隣接ピクセルスケーリング基盤ホール復元部３５０は、映像７１０のホールを復元するために前記ホールに隣接する１つ以上のピクセルを用いる。
【０１３９】
隣接ピクセルスケーリング基盤ホール復元部３５０は水平方向にピクセルをスケーリングしてもよい。
【０１４０】
ホール復元の対象となる水平線７１２が示された。隣接ピクセルスケーリング基盤ホール復元部３５０は、水平線７１２の内でホールを検出し、連続するホールピクセル７３０の数を検出する。
【０１４１】
隣接ピクセルスケーリング基盤ホール復元部３５０は、ホールを検出するために水平方向にスキャンを行う。隣接ピクセルスケーリング基盤ホール復元部３５０は、連続するホールピクセル７３０の数と同じ個だけのピクセル７４０を選択する。選択されたピクセルは一般的にホールではないピクセルである。選択されたピクセル７４０は、連続するホールピクセル７３０と隣接するピクセルである。選択されたピクセル７４０は、連続するホールピクセル７３０と同一の水平線上にあるピクセルであってもよい。
【０１４２】
図７において、選択されたピクセル７４０は連続するホールピクセル７３０の右側にあるピクセルである。しかし、連続するホールピクセル７３０の左側にあるピクセルも選択されたピクセル７４０であってもよい。また、選択されたピクセル７４０は、連続するホールピクセル７３０の右側にあるピクセル及び左側にあるピクセルであってもよい。
【０１４３】
隣接ピクセルスケーリング基盤ホール復元部３５０は、選択されたピクセル７４０をホールピクセル７３０に向かう方向にスケーリングすることによってホールを復元する。
【０１４４】
例えば、最初に選択されたピクセルのカラー値を用いて最初のホールピクセル及び２番目のホールピクセルのカラー値が生成される。したがって、最初のホールピクセル及び２番目のホールピクセルは最初に選択されたピクセルによって復元される。
【０１４５】
選択されたピクセル７４０のスケーリングは、選択されたピクセル７４０が示す領域が２倍に増加され、増加された領域がホールピクセル７３０及び選択されたピクセル７４０が示す領域を代替してもよい。
【０１４６】
ここで、ホールピクセル７３０の数及び選択されたピクセル７４０の数は互いに同一である。したがって、選択されたピクセル７４０がそれぞれ２つのピクセルにスケーリングされることによって全てのホールが復元され得る。また、選択されたピクセル７４０は全て均等にスケーリングされ得る。
【０１４７】
図８は、一例に係る背景ピクセルを用いる隣接のピクセルスケーリングを説明する。
【０１４８】
隣接ピクセルスケーリング基盤ホール復元部３５０は、連続するホールピクセル８１０の数と同じ数だけのホールではないピクセル８２０を選択する。ホールではないピクセル８２０それぞれは両眼視差値を有する。隣接ピクセルスケーリング基盤ホール復元部３５０は、ホールではないピクセル８２０それぞれを両眼視差値に応じて前景ピクセルまたは背景ピクセルに分類する。
【０１４９】
例えば、隣接ピクセルスケーリング基盤ホール復元部３５０は、ホールではないピクセル８２０のうち、両眼視差値が予め定義された閾値よりも大きいピクセルを前景ピクセルに分類し、両眼視差値が予め定義された閾値以下のピクセルを背景ピクセルに分類する。
【０１５０】
図８において、前の３つのピクセル８３０は背景ピクセルに分類され、最後のピクセル８４０は前景ピクセルに分類される。隣接ピクセルスケーリング基盤ホール復元部３５０は、背景ピクセル８３０をホールピクセル８１０に向かう方向にスケーリングすることによってホールを復元してもよい。
【０１５１】
ここで、背景ピクセル８３０の数は、ホールピクセル８１０の数よりも少なくてもよい。したがって、背景ピクセル８３０の全てまたは一部は２つ以上のピクセルにスケーリングされる。また、背景ピクセル８４０は非均等にスケーリングされてもよい。前景ピクセル８４０はスケーリングから除外される。したがって、スケーリングによって前景映像が変形されることを防止することができる。
【０１５２】
前述のスケーリング方法は、図７におけるスキャン方向の水平方向にのみピクセル７４０または８３０を拡張させる。したがって、このようなスケーリング方法によって容易に実現することができる。また、このようなスケーリング方法が用いられた場合、小さいサイズのホールが復元されたとしても画質の劣化がそれ程認知されない。
【０１５３】
図９は、一例に係る背景の勾配（ｇｒａｄｉｅｎｔ）に垂直な方向にスケーリングについて説明する。
【０１５４】
出力ビュー映像９１０はホール９１２を含む。背景９１４のうち特定の形状９１６があり、前述の水平方向へのスケーリングが使用されれば、形状９１６が円滑に維持されない可能性もある。
【０１５５】
したがって、このような形状９１６はホール９１２内に含まれた形状９１６のエッジ（ｅｄｇｅ）９１８の方向９２４と垂直方向９２６にスケーリングされる必要がある。
【０１５６】
隣接ピクセルスケーリング基盤ホール復元部３５０はホール９１２に隣接する背景ピクセル９２２を選択する。隣接ピクセルスケーリング基盤ホール復元部３５０は、背景ピクセル９２２を含むエッジ９１８の勾配を算出する。背景ピクセル９２２を含むエッジ９１８のその勾配は背景ピクセル９２２の勾配である。隣接ピクセルスケーリング基盤ホール復元部３５０は、エッジ９１８の勾配の垂直方向に連続するホールピクセルの数を検出する。隣接ピクセルスケーリング基盤ホール復元部３５０は、検出された連続するホールピクセルを復元できるようにエッジ９１８の勾配の垂直方向に背景ピクセルをスケーリングする。
【０１５７】
すなわち、隣接ピクセルスケーリング基盤ホール復元部３５０は、ホール９１２に隣接する背景ピクセル９２２の勾配と垂直方向に前記隣接する背景ピクセル９２２を含む背景ピクセル（または、背景の一部）をスケーリングすることによってホールを復元してもよい。前記の背景ピクセルは背景ピクセル９２２を含む形状９１６を示す。
【０１５８】
ここで、隣接ピクセルスケーリング基盤ホール復元部３５０は、背景ピクセル９２２の勾配と垂直方向に連続するホールピクセルの数を検出し、検出されたホールピクセルの数に基づいてスケーリングに用いられる背景ピクセルを決定し、背景ピクセルがどれ程スケーリングされるかを決定する。
【０１５９】
前述した背景ピクセル９２２の勾配と垂直方向へのスケーリングを用いることによって、隣接ピクセルスケーリング基盤ホール復元部３５０は背景ピクセル（例えば、形状９１６）の方向性を維持する上にホール領域を復元することができる。
【０１６０】
背景の勾配を用いるスケーリング方法によって背景ピクセルはエッジに直角の方向にスケーリングできる。したがって、背景の勾配を用いるスケーリング方法は、水平方向に行われるスケーリング方法に比べて更に自然な結果を達成できる。背景の勾配を用いるスケーリング方法は相対的に複雑な演算を行わなければならない。
【０１６１】
図１０は、一実施形態に係る最適パッチ探索に基づいたホールの復元を説明する。
【０１６２】
出力ビュー映像１０１０はホールを含む。ホールに隣接する背景がテクスチャ領域である場合、単に背景ピクセルをスケーリングすることではホールを正確に復元することができない。
【０１６３】
ホールに隣接する背景がテクスチャである場合、全体の背景領域において、前記ホールに隣接する背景と最も類似のパッチを検出する。検出されたパッチを用いてホールを復元する。すなわち、ホールに隣接する背景が有するテクスチャと同一または極めて類似するテクスチャが他の背景領域で発見される場合、他の背景領域に隣接する部分がホールを復旧するために用いられてもよい。
【０１６４】
まず、パッチを用いて復元する地点を決定する方法について検討する。
【０１６５】
背景に隣接するホールから優先処理する方式を用いる。ホールの領域のうち、背景に隣接する部分から順に復元される方法を用いることによって、ホールの復元過程で前景ピクセルが混合されることが構造的に制限されることがある。
【０１６６】
最適パッチ探索基盤ホール復元部３６０は、ラスター（ｒａｓｔｅｒ）スキャン方向にホールピクセルを検出する。検出された初期ホール地点１０１２は前景と隣接する。したがって、優先的に復元されるためには適しない地点である。最適パッチ探索基盤ホール復元部３６０は、初期ホール地点１０１２からスキャン方向に連続するホールピクセルを検出する。最適パッチ探索基盤ホール復元部３６０は、連続するホールピクセルの先端を最外郭ホール地点１０１４に設定する。最外郭ホール地点１０１４は背景と隣接する。したがって、前記最外郭ホール地点１０１４と隣接し、ホールではないピクセルのカラー値及び両眼視差値を用いることによって最外郭ホール地点１０１４の周囲のホール領域を復旧することのできるパッチが検索される。
【０１６７】
最適パッチ探索基盤ホール復元部３６０は、設定された最外郭ホール地点１０１４に対して最適パッチ探索基盤ホールの復元を行う。下記では最適パッチ探索基盤ホールの復元について説明する。最適パッチ探索基盤ホール復元部３６０は、最外郭ホール地点１０１４と隣接する領域をウィンドウ領域１０１６に設定する。ウィンドウ領域１０１６はＮ×Ｎのピクセルであってもよい。
【０１６８】
ウィンドウ領域１０１６はホール領域１０２０及び背景領域１０１８を含む。背景領域１０１８はパッチを探索するために用いられる。ホール領域１０２０は探索されたパッチを用いることによって復旧する領域である。
【０１６９】
最適パッチ探索基盤ホール復元部３６０は、全体背景領域でウィンドウ領域１０１６に対応する最適のパッチを検出し、検出されたパッチを用いて設定された最外郭ホール地点１０１４及びホール領域１０２０を復元する。最適のパッチは全体背景領域のうちウィンドウ領域１０１６と最も類似度の高い領域を意味する。
【０１７０】
パッチはウィンドウ領域１０１６と同一の大きさを有する。パッチもホール領域１０２０に対応する部分及び背景領域１０１８に対応する部分から構成される。パッチとウィンドウ領域１０１６との間の類似度が算出されてもよい。パッチはウィンドウ領域１０１６と同一の大きさを有し、ホール領域１０２０に対応する部分及び背景領域１０１８に対応する部分から構成される。
【０１７１】
特定の部分とウィンドウ領域１０１６との間の類似度が算出される場合、ホール領域１０２０は類似度の算出から除外され、背景領域１０１８のみが類似度の算出のために用いられる。
【０１７２】
例えば、パッチのうち背景領域１０１８に対応する一部が背景領域１０１８と同一のカラー値及び両眼視差値を有する場合、パッチは背景領域１０１８と同一であると見なす。したがって、前記のパッチは最適パッチとして選択されてもよい。
【０１７３】
最適パッチ探索基盤ホール復元部３６０は、類似度を算出するためにＭＡＤ（Ｍｅａｎ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などの方法を用いてもよい。ＭＡＤ方法はカラー値及び両眼視差値を用いてもよい。
【０１７４】
すなわち、複数のパッチのうち、特定のパッチとウィンドウ領域１０１６との間のＭＡＤが最小値である場合、最適パッチ探索基盤ホール復元部３６０は前記の特定のパッチを最適パッチとして選択してもよい。
【０１７５】
最適パッチが決定されれば、最適パッチ探索基盤ホール復元部３６０は決定されたパッチのホール領域１０２０に対応する部分を用いてホール領域１０２０を復元する。
【０１７６】
図１１は、一例に係るパッチの重複を用いたホールの復元を説明する。
【０１７７】
最適パッチ探索基盤ホール復元部３６０は特定のホールピクセル（またはホール領域）を復元するために２つ以上のパッチを用いてもよい。すなわち、最適パッチ探索基盤ホール復元部３６０は、互いに異なる２以上の最外郭ホールの地点に基づいて、２つ以上のウィンドウ領域１１１２及び１１１４を選択してもよい。最適パッチ探索基盤ホール復元部３６０は、２つのウィンドウ領域１１１２及び１１１４それぞれに対する最適パッチを探索してもよく、２つの探索されたパッチ用いてホールを復元してもよい。
【０１７８】
２つのウィンドウ領域１１１２及び１１１４が互いにオーバラップされた場合、オーバラップされたホール領域は２つのパッチによって復元されてもよい。
【０１７９】
このような場合、最適パッチ探索基盤ホール復元部３６０は、２つのパッチのカラー値の平均値及び両眼視差値の平均値を用いてオーバラップされたホール領域を復元してもよい。
【０１８０】
図１２は、一実施形態に係る映像処理方法のフローチャートである。
【０１８１】
映像ワーピングステップＳ１２１０において、参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いるイメージワーピングにより出力ビューの映像が生成される。緩衝区間の設定ステップＳ１２２０において、緩衝区間を設定することによって出力ビュー内で生成されたホールが拡大する。両眼視差クラック検出ステップＳ１２３０において、出力ビューの映像のうちクラックがホールに設定される。
【０１８２】
隣接の映像基盤ホール復元ステップＳ１２４０において、参照ビューの映像または出力のビュー映像に時間的に隣接する１つ以上の映像を用いることによって出力ビュー内に生成されたホールが復元される。隣接のピクセルスケーリング基盤ホール復元ステップＳ１２５０において、ホールと隣接する１つ以上のピクセルをスケーリングすることによってホールが復元される。
【０１８３】
最適パッチ探索基盤ホール復元ステップＳ１２６０において、ホールが含まれる領域と最も類似のパッチを背景から探索し、探索されたパッチを用いることによってホールが復元される。
【０１８４】
上記で図１〜図１１を参照して説明された本発明の一実施形態に係る技術的内容が図１２に示す映像処理方法の実施形態にそのまま適用され得る。したがって、本詳細な説明は以下では省略することにする。
【０１８５】
本発明の一実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コード（ｍａｃｈｉｎｅ  ｃｏｄｅ）だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード（ｈｉｇｈｅｒ  ｌｅｖｅｌ  ｃｏｄｅ）を含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。
【０１８６】
図１３は一例に係る映像処理装置を含むディスプレイデバイスを示す。図１３を参照すれば、マルチビューディスプレイデバイス１３００は制御部１３１０及び映像処理装置１３０５を備えてもよい。
【０１８７】
マルチビューディスプレイデバイス１３００は、３Ｄ映像を表示するための３Ｄディスプレイの形態を有してもよく、３つ以上の相異なる視点におけるマルチビュースキーム（ｓｃｈｅｍｅ）を採用してもよい。選択的に、マルチビューディスプレイデバイス１３００は、左側映像及び右側映像を出力する立体表示の形態を有し得る。
【０１８８】
制御部１３０１は、マルチビューディスプレイデバイス１３００を制御するための１つ以上の制御信号を生成してもよく、マルチビューディスプレイデバイス１３００によって表示される１つ以上の信号を生成してもよい。制御部１３０１は１つ以上のプロセッサを備えてもよい。
【０１８９】
映像処理装置１３０５は、マルチビューディスプレイデバイス１３００のためのマルチビュー映像を生成するために用いられてもよく、例えば、映像ワーピング部、緩衝区間設定部、両眼視差クラック検出部、隣接映像基盤ホール復元部、隣接ピクセルスケーリング基盤ホール復元部、及び最適パッチ探索基盤ホール復元部の１つ以上を任意に備えてもよい。図１３では前記のユニットは図示していない。しかし、このようなユニットのそれぞれは、例えば図３を参照して、ここで説明された類似に命名されたユニットに対応する。したがって、本実施形態においてこれ以上説明しない。
【０１９０】
映像処理装置１３０５は、マルチビューディスプレイデバイス１３００の中に内部的に設けられてもよく、マルチビューディスプレイデバイス１３００に取付けられてもよく、マルチビューディスプレイデバイス１３００とは別に実現してもよい。映像処理装置１３０５の物理的な構成に関係なく、映像処理装置１３０５は図１〜図１２を参照して前述された能力を有し得る。映像処理装置１３０５は１つ以上の内部プロセッサを含んでもよい。または、前記の１つ以上のプロセッサは、制御部１３０１の１つ以上のプロセッサと共にマルチビューディスプレイデバイス１３００内に含まれてもよい。
【０１９１】
前述された３Ｄ映像装置及び方法は、多様なビデオフォーマット（ｆｏｒｍａｔ）を応用することができる。前記のビデオフォーマットはＨ．２６４／ＭＰＥＧ−４ＡＶＣ、高効率ビデオコーディング（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ；ＨＥＶＣ）、ディラック（Ｄｉｒａｃ）ビデオ圧縮フォーマット、及びＶＣ−１等のようなフォーマットを含んでもよく、前述のフォーマットに制限されることはない。
【０１９２】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【０１９３】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１９４】
３００      映像処理装置
３１０      映像ワーピング部
３４０      隣接映像基盤ホール復元部
３５０      隣接ピクセルスケーリング基盤ホール復元部
３６０      最適パッチ探索基盤ホール復元部
【図１】
2014515197.tif 000008
【図２】
2014515197.tif 000009
【図３】
2014515197.tif 000010
【図４】
2014515197.tif 000011
【図９】
2014515197.tif 000012
【図１０】
2014515197.tif 000013
【図１２】
2014515197.tif 000014
【図１３】
2014515197.tif 000015
【図５】
2014515197.tif 000016
【図６】
2014515197.tif 000017
【図７】
2014515197.tif 000018
【図８】
2014515197.tif 000019
【図１１】
2014515197.tif 000020
【国際調査報告】
2014515197.tif 000021
2014515197.tif 000022