(57)【要約】【課題】  参照視点に対する参照レイヤを生成する装置及び方法が提供される。参照視点に対する参照レイヤを用いて出力映像内のホールに対するホール復元を行う装置及び方法が提供される。【解決手段】  映像処理方法及び装置は、参照視点に対する参照レイヤを生成する。参照レイヤは出力映像のホールを復元できる情報であってもよい。参照レイヤを出力映像の視点に合わせてワーピングすることで、出力映像内のホールを復元することのできる情報を生成する。【選択図】      図１
2013005440.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサを用いて１つ以上の入力ビューを用いて参照視点に対する参照レイヤを生成するステップと、
前記一つ以上の入力ビューを用いて出力視点の映像を生成するステップと、
前記参照レイヤを用いて前記出力視点の映像内のホールに対するホール復元を行うステップと、
を含むことを特徴とする映像処理方法。
【請求項２】
各入力ビューは映像及び視差情報を含み、前記参照レイヤは前記参照レイヤの映像及び前記参照レイヤの視差情報を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項３】
前記一つ以上の入力ビューは左側入力ビュー及び右側入力ビューを含み、
前記参照視点は、前記左側入力ビューの視点と前記右側入力ビューの視点との間の視点を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項４】
前記参照視点は、前記一つ以上の入力ビューのうち中心入力ビューの視点を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項５】
前記参照レイヤを生成するステップは、
前記一つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報を生成するステップと、
各出力視点での映像内で発生するホールに関する情報を集めた前記参照視点に対するホールマップを生成するステップと、
前記ホールマップ、前記参照視点映像、及び前記参照視点視差情報を用いて初期参照レイヤを生成するステップと、
前記初期参照レイヤ内のホールに対するホール復元を行うことによって前記参照レイヤを生成するステップと、
を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項６】
前記ホールマップは、前記参照視点映像内のピクセルの視差の間の差分に基づいて生成されることを特徴とする請求項５に記載の映像処理方法。
【請求項７】
前記初期参照レイヤの映像は、前記参照視点映像と前記ホールマップとの間の論理積演算を行うことによって生成されることを特徴とする請求項５に記載の映像処理方法。
【請求項８】
前記初期参照レイヤ内のホールに対するホール復元は、前記ホールに隣接する背景を用いて行われることを特徴とする請求項５に記載の映像処理方法。
【請求項９】
第１ピクセルの第１視差が前記第１ピクセルに左側に隣接する第２ピクセルの第２視差よりも第１閾値以上に大きい場合、前記第１ピクセルから右側に前記第１視差と前記第２視差との間の差に比例する数だけのピクセルが単独に設定され、
第１ピクセルの第１視差が前記第１ピクセルに右側に隣接する第３ピクセルの第３視差よりも第２閾値以上に大きい場合、前記第１ピクセルから左側に前記第１視差と前記第３視差との間の差に比例する数だけのピクセルが単独に設定されることを特徴とする請求項５に記載の映像処理方法。
【請求項１０】
前記出力視点の映像を生成するステップは、
前記一つ以上の入力ビューのうち１つ以上の参照ビューを選択するステップと、
前記参照ビューの視差情報を用いて前記参照ビューの映像を前記出力視点にワーピングすることによって前記出力視点の映像を生成するステップと、
を含み、
前記ホールに対するホール復元を行うステップは、
前記参照レイヤの前記視差情報を用いて前記参照レイヤ映像を前記出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成するステップと、
前記出力視点の参照レイヤ映像のうち、前記ホールに対応する領域を前記単独でコピーするステップと、
を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項１１】
前記出力視点の映像は複数であることを特徴とする請求項１に記載の映像処理方法。
【請求項１２】
請求項１〜請求項１０のいずれか一項の映像処理方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。
【請求項１３】
１つ以上の入力ビューを用いて参照視点に対する参照レイヤを生成する参照レイヤ生成部と、
前記一つ以上の入力ビューを用いて出力視点の映像を生成する出力視点映像生成部と、
前記参照レイヤを用いて前記出力視点の映像内のホールに対するホール復元を行うホール復元部と、
を備えることを特徴とする映像処理装置。
【請求項１４】
各入力ビューは映像及び視差情報を含み、前記参照レイヤは前記参照レイヤの映像及び前記参照レイヤの視差情報を含むことを特徴とする請求項１３に記載の映像処理装置。
【請求項１５】
前記一つ以上の入力ビューは左側入力ビュー及び右側入力ビューを含み、
前記参照視点は、前記左側入力ビューの視点と前記右側入力ビューの視点との間の視点を含むことを特徴とする請求項１３に記載の映像処理装置。
【請求項１６】
前記参照視点は、前記一つ以上の入力ビューのうち中心入力ビューの視点を含むことを特徴とする請求項１３に記載の映像処理装置。
【請求項１７】
前記参照レイヤ生成部は、
前記一つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報を生成する参照視点映像／視差情報生成部と、
各出力視点における映像内で発生するホールに関する情報を集めた前記参照視点に対するホールマップを生成するホールマップ生成部と、
前記ホールマップ、前記参照視点映像、及び前記参照視点視差情報を用いて初期参照レイヤを生成する初期参照レイヤ生成部と、
前記初期参照レイヤ内のホールに対するホール復元を行うことによって前記参照レイヤを生成する参照レイヤ生成部と、
を備えることを特徴とする請求項１３に記載の映像処理装置。
【請求項１８】
前記ホールマップは、前記参照視点映像内のピクセルの視差間の差分に基づいて生成されることを特徴とする請求項１７に記載の映像処理装置。
【請求項１９】
前記初期参照レイヤの映像は、前記参照視点映像と前記ホールマップとの間の論理積演算を行うことによって生成されることを特徴とする請求項１７に記載の映像処理装置。
【請求項２０】
前記初期参照レイヤ内のホールに対する復元は前記ホールに隣接する背景を用いて行われることを特徴とする請求項１７に記載の映像処理装置。
【請求項２１】
第１ピクセルの第１視差が前記第１ピクセルに左側に隣接する第２ピクセルの第２視差よりも第１閾値以上に大きい場合、前記第１ピクセルから右側に前記第１視差と前記第２視差との間の差に比例する数だけのピクセルが単独に設定され、
第１ピクセルの第１視差が前記第１ピクセルに右側に隣接する第３ピクセルの第３視差よりも第２閾値以上で大きい場合、前記第１ピクセルから左側に前記第１視差と前記第３視差との間の差に比例する数だけのピクセルが単独に設定されることを特徴とする請求項１７に記載の映像処理装置。
【請求項２２】
前記出力視点映像生成部は、
前記一つ以上の入力ビューのうち１つ以上の参照ビューを選択する参照ビュー選択部と、
前記参照ビューの視差情報を用いて前記参照ビュー映像を前記出力視点にワーピングすることによって前記出力視点の映像を生成する参照ビューワーピング部と、
を備え、
前記ホール復元部は、
前記参照レイヤの前記視差情報を用いて前記参照レイヤ映像を前記出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成する参照レイヤワーピング部と、
前記出力視点の参照レイヤ映像のうち前記ホールに対応する領域を前記単独でコピーするホール領域コピー部と、
を備えることを特徴とする請求項１４に記載の映像処理装置。
【請求項２３】
前記出力視点の映像は複数であることを特徴とする請求項１３に記載の映像処理装置。
【請求項２４】
少なくとも１つの入力ビュー映像及び入力視差に基づいて参照視点映像及び参照視点視差を算出するステップと、
前記参照視点視差に基づいて前記参照視点に対応するホールマップを構成するステップと、
前記ホールマップ及び前記参照視点映像を用いて前記参照視点における初期参照レイヤを生成するステップと、
プロセッサを用いて、前記初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤを生成するステップと、
前記参照レイヤから各出力視点映像のホール位置に復元されたホール情報を伝播するステップと、
を含むことを特徴とする映像処理方法。
【請求項２５】
マルチビュー映像データのためのホールマップを構成する方法であって、
単一な参照視点に、複数の異なる各視点で取得されたホール情報を総合するステップと、
プロセッサを用いて、前記単一な参照視点における総合されたホール情報を含む前記ホールマップを生成するステップと、
を含むことを特徴とするマルチビュー映像データのためのホールマップを構成する方法。
【請求項２６】
映像処理装置を含むマルチビューディスプレイ機器であって、
少なくとも１つの入力ビュー映像及び入力視差に基づいて参照視点映像及び参照視点視差を算出する参照視点映像／視差情報生成部と、
前記参照視点視差に基づいて前記参照視点におけるホールマップを構成するホールマップ生成部と、
前記ホールマップ、前記参照視点映像、及び前記参照視点視差を用いて前記参照視点における初期参照レイヤを生成する初期参照レイヤ生成部と、
前記生成された初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤを生成する参照レイヤ生成部と、
前記参照レイオロブタ各出力視点映像のホール位置に復元されたホール情報を伝播するホール復元部と、
を備えることを特徴とするマルチビューディスプレイ機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像を処理するための方法及び装置に関する。特に、参照レイヤを用いて出力映像内のホールに対するホール復元を行う方法及び装置が開示される。
【背景技術】
【０００２】
３Ｄ（Ｄｉｍｅｎｓｉｏｎ）ディスプレイ装置は視聴者が感じるリアリティ及び没入感を増加させるために立体映像を出力する。
【０００３】
様々な視点で映像を視聴する視聴者に３Ｄ効果を提供するためには、様々な視点に対する出力ビュー映像を生成しなければならない。出力ビュー映像は、数個の入力ビュー映像を内挿（ｉｎｔｅｒｐｏｌａｔｅ）したり、単一の入力ビュー映像を外挿（ｅｘｔｒａｐｏｌａｔｅ）することによって生成される。ここで、少数の入力ビュー映像を用いることで複数の出力ビュー映像を生成する場合、入力ビューの映像では見られないが、出力ビュー映像には必要な領域（すなわち、出力ビュー映像では可視である領域）を処理する方法が必要である。このような領域をホールといい、従来技術はこのようなホール領域の充填（ｈｏｌｅ−ｆｉｌｌｉｎｇ）を全て可用した映像データについて考慮することなく、出力ビュー映像それぞれに対して独立的に行ってきた。すなわち、従来技術において、ホール復元は各出力映像に対して独立的に行い、マルチホール復元処理の過程を追求してきた。
【特許文献１】大韓民国公開特許第第２００６−００６７２３８号
【特許文献２】大韓民国公開特許第第２０１０−０００８６４９号
【特許文献３】大韓民国公開特許第第２００８−００００１４９号
【非特許文献１】２０１０韓国電子工学会夏季学術大会第３３冊１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一実施形態の目的は、参照視点に対する参照レイヤを生成する装置及び方法を提供することである。本発明の一実施形態の目的は、参照視点に対する参照レイヤを用いて出力映像内のホールのホール復元を行う装置及び方法を提供することである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の一側面によれば、プロセッサを用いて１つ以上の入力ビューを用いて参照視点に対する参照レイヤを生成するステップと、前記一つ以上の入力ビューを用いて出力視点の映像を生成するステップと、前記参照レイヤを用いて前記出力視点の映像内のホールに対するホール復元を行うステップとを含む映像処理方法が提供される。
【０００６】
各入力ビューは映像及び視差情報を含んでもよい。前記参照レイヤは、前記参照レイヤの映像及び前記参照レイヤの視差情報を含んでもよい。前記一つ以上の入力ビューは左側入力ビュー及び右側入力ビューを含んでもよい。
【０００７】
前記参照視点は、前記左側入力ビューの視点と前記右側入力ビューの視点との間の視点を含んでもよい。前記参照視点は、前記一つ以上の入力ビューのうち中心入力ビューの視点を含んでもよい。前記参照レイヤを生成するステップは、前記一つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報を生成するステップと、各出力視点での映像内で発生するホールに関する情報を集めた前記参照視点に対するホールマップを生成するステップと、前記ホールマップ、前記参照視点映像、及び前記参照視点視差情報を用いて初期参照レイヤを生成するステップと、前記初期参照レイヤ内のホールに対するホール復元を行うことによって前記参照レイヤを生成するステップとを含んでもよい。
【０００８】
前記ホールマップは、前記参照視点映像内のピクセルの視差の間の差分に基づいて生成されてもよい。前記初期参照レイヤの映像は、前記参照視点映像と前記ホールマップとの間の論理積演算を行うことによって生成されてもよい。前記初期参照レイヤ内のホールに対するホール復元は、前記ホールに隣接する背景を用いて行われてもよい。
【０００９】
第１ピクセルの第１視差が前記第１ピクセルに左側に隣接する第２ピクセルの第２視差よりも第１閾値以上に大きい場合、前記第１ピクセルから右側に前記第１視差と前記第２視差との間の差に比例する数だけのピクセルが単独に設定されてもよい。第１ピクセルの第１視差が前記第１ピクセルに右側に隣接する第３ピクセルの第３視差よりも第２閾値以上に大きい場合、前記第１ピクセルから左側に前記第１視差と前記第３視差との間の差に比例する数だけのピクセルが単独に設定されてもよい。
【００１０】
前記出力視点の映像を生成するステップは、前記一つ以上の入力ビューのうち１つ以上の参照ビューを選択するステップと、前記参照ビューの視差情報を用いて前記参照ビューの映像を前記出力視点にワーピングすることによって前記出力視点の映像を生成するステップとを含んでもよい。
【００１１】
前記ホールに対するホール復元を行うステップは、前記参照レイヤの前記視差情報を用いて前記参照レイヤ映像を前記出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成するステップと、前記出力視点の参照レイヤ映像のうち、前記ホールに対応する領域を前記単独でコピーするステップとを含んでもよい。前記出力視点の映像は複数であってもよい。
【００１２】
本発明の他の実施形態によると、１つ以上の入力ビューを用いて参照視点に対する参照レイヤを生成する参照レイヤ生成部と、前記一つ以上の入力ビューを用いて出力視点の映像を生成する出力視点映像生成部と、前記参照レイヤを用いて前記出力視点の映像内のホールに対するホール復元を行うホール復元部とを備える映像処理装置が提供される。
【００１３】
前記参照レイヤ生成部は、前記一つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報を生成する参照視点映像／視差情報生成部と、各出力視点における映像内で発生するホールに関する情報を集めた前記参照視点に対するホールマップを生成するホールマップ生成部と、前記ホールマップ、前記参照視点映像、及び前記参照視点視差情報を用いて初期参照レイヤを生成する初期参照レイヤ生成部と、前記初期参照レイヤ内のホールに対するホール復元を行うことによって前記参照レイヤを生成する参照レイヤ生成部とを備えてもよい。
【００１４】
前記初期参照レイヤの映像は、前記参照視点映像と前記ホールマップとの間の論理積演算を行うことによって生成されてもよい。前記初期参照レイヤ内のホールに対する復元は前記ホールに隣接する背景を用いて行われてもよい。
【００１５】
前記出力視点映像生成部は、前記一つ以上の入力ビューのうち１つ以上の参照ビューを選択する参照ビュー選択部と、前記参照ビューの視差情報を用いて前記参照ビュー映像を前記出力視点にワーピングすることによって前記出力視点の映像を生成する参照ビューワーピング部とを備えてもよい。
【００１６】
前記ホール復元部は、前記参照レイヤの前記視差情報を用いて前記参照レイヤ映像を前記出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成する参照レイヤワーピング部と、前記出力視点の参照レイヤ映像のうち前記ホールに対応する領域を前記単独でコピーするホール領域コピー部とを備えてもよい。
【００１７】
他の実施形態によると、少なくとも１つの入力ビュー映像及び入力視差に基づいて参照視点映像及び参照視点視差を算出するステップと、前記参照視点視差に基づいて前記参照視点に対応するホールマップを構成するステップと、前記ホールマップ及び前記参照視点映像を用いて前記参照視点における初期参照レイヤを生成するステップと、プロセッサを用いて、前記初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤを生成するステップと、前記参照レイヤから各出力視点映像のホール位置に復元されたホール情報を伝播するステップとを含む映像処理方法が提供される。
【００１８】
他の実施形態によると、マルチビュー映像データのためのホールマップを構成する方法において、単一な参照視点に、複数の異なる各視点で取得されたホール情報を総合するステップと、プロセッサを用いて、前記単一な参照視点における総合されたホール情報を含む前記ホールマップを生成するステップとを含むマルチビュー映像データのためのホールマップを構成する方法が提供される。
【００１９】
他の実施形態によると、映像処理装置を含むマルチビューディスプレイ機器において、少なくとも１つの入力ビュー映像及び入力視差に基づいて参照視点映像及び参照視点視差を算出する参照視点映像／視差情報生成部と、前記参照視点視差に基づいて前記参照視点におけるホールマップを構成するホールマップ生成部と、前記ホールマップ、前記参照視点映像、及び前記参照視点視差を用いて前記参照視点における初期参照レイヤを生成する初期参照レイヤ生成部と、前記生成された初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤを生成する参照レイヤ生成部と、前記参照レイオロブタ各出力視点映像のホール位置に復元されたホール情報を伝播するホール復元部とを備えるマルチビューディスプレイ機器が提供される。
【発明の効果】
【００２０】
本発明によると、参照視点に対する参照レイヤを生成する装置及び方法を提供することができる。また、本発明によると、参照視点に対する参照レイヤを用いて出力映像内のホールに対するホール復元を行う装置及び方法を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】一実施形態に係る映像処理方法のフローチャートである。
【図２】一実施形態に係る２つの入力ビューに基づいて参照視点を決定し、参照視点に対する映像及び視差を生成する方法を説明する。
【図３】一実施形態に係る２ｎ＋１個の入力ビューに基づいて参照視点を決定し、参照視点に対する映像及び視差を生成する方法を説明する。
【図４】一実施形態に係る参照視点映像及び参照視点視差情報を用いて参照レイヤ及び参照レイヤの視差情報が生成される過程を説明する。
【図５】一実施形態に係るホールマップの生成原理を説明する。
【図６】一実施形態に係るホールマップの生成方法を説明する。
【図７】一実施形態に係る単独で設定されるピクセルの個数を決定する方法を説明する。
【図８】一実施形態に係るホールマップ生成方法のフローチャートである。
【図９】一実施形態に係る出力視点の映像を生成し、生成された出力視点の映像のホールに対するホール復元を行う原理を説明する。
【図１０】一実施形態に係る出力視点の映像を生成し、生成された出力視点の映像のホールに対するホール復元を行う方法のフローチャートである。
【図１１】一実施形態に係る映像処理装置の構造図である。
【図１２】一実施形態に係る映像処理装置を含むマルチビューディスプレイ機器のブロック図である。
【発明を実施するための形態】
【００２２】
以下、添付する図面を参照しながら実施形態を詳細に説明する。しかし、発明の範囲が説明された実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。
【００２３】
下記において、用語「ビュー」は映像及び前記映像に関連する視差情報を含む。ビューは視差情報を有する映像を意味する。
【００２４】
ビューの映像は（例えば、２次元）ピクセルから構成されてもよい。視差情報は、ピクセルそれぞれの視差（または、視差値）を含む。視差情報は映像内のピクセルの視差を意味する。
【００２５】
入力ビューは、入力情報として用いられるビューを意味する。出力ビューは入力ビューに基づいて生成されたビューを意味する。入力ビューのうち、特定の出力ビューを生成するために用いられるビューを参照ビューのように命名する。内挿は参照ビューの間の映像を生成することを意味し、外挿は参照ビューの外側の映像を生成することを意味する。参照ビューの映像を前記映像の視差情報を用いて出力ビューの視点に応じてワーピング（ｗａｒｐｉｎｇ）することで出力ビュー映像が生成される。
【００２６】
ここで、ワーピングは映像内のピクセルそれぞれの座標を、前記映像の視差情報を用いてシフトすることを意味する。視差が大きいピクセルであるほど視差が小さいピクセルに比べて多くシフトされる。
【００２７】
深度及び視差は、相互間に定数項（ｃｏｎｓｔａｎｔ  ｔｅｒｍ）によって逆相関されてもよい。したがって、下記の実施形態において用語「深度」及び「視差」は相互交換されて用いられる。
【００２８】
また、深度を視差に変換したり視差を深度に変換するステップまたは動作が下記の実施形態に付加される。
【００２９】
図１は、一実施形態に係る映像処理方法のフローチャートである。ステップＳ１１０において、参照視点が決定される。
【００３０】
参照視点は、後述される参照視点映像、参照視点視差情報、ホールマップ及び参照レイヤの視点であってもよい。すなわち、参照視点は、ホールマップ及び参照レイヤを生成する参照になる視点であり得る。参照視点を決定する方法の一実施形態について図２及び図３を参照して下記で詳細に説明する。
【００３１】
ステップＳ１２２〜ステップＳ１２８において、１つ以上の入力ビューを用いて参照視点に対する参照レイヤ（すなわち、参照レイヤの映像及び参照レイヤの視差情報）が生成される。１つ以上の入力ビューそれぞれは映像及び前記映像に関連される視差情報を含んでもよい。ステップＳ１２２において、１つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報が生成される。
【００３２】
参照視点映像及び参照視点視差情報は、後述するホールマップ及び参照レイヤを生成するために用いられる。
【００３３】
１つ以上の入力ビューそれぞれの視点のうち、中間の視点が参照視点として選択されてもよい。すなわち、少なくとも１つの入力ビューのうち他の入力ビューの間に位置する視点を参照視点として選択する。
【００３４】
ステップＳ１２４において、参照視点に対するホールマップが生成される。
【００３５】
ホールマップは、各視点における映像内で発生するホールに関する情報を参照視点映像で集めたでものである。複数の異なる視点それぞれで取得されたホール情報が参照視点映像に総合（ａｇｇｒｅｇａｔｅ）される。ここで、各視点における映像は後述する出力映像を意味する。
【００３６】
ステップＳ１２６において、ホールマップ、参照視点映像及び参照視点視差情報を用いて初期参照レイヤが生成される。すなわち、複数の異なる視点それぞれで取得されたホール情報が参照視点映像に総合されてもよい。
【００３７】
初期参照レイヤは、参照視点映像（または、参照視点映像及び参照視点視差情報）内にホール成分が生成されたものある。
【００３８】
ステップＳ１２８において、初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤ（すなわち、参照レイヤの映像及び参照レイヤの視差情報）が生成される。すなわち、初期参照レイヤのホールは参照レイヤを生成することによって復元されてもよい。
【００３９】
参照視点映像及び参照視点視差情報を用いて参照レイヤが生成される過程について図４を参照して下記で詳細に説明する。
【００４０】
ステップＳ１２６及びステップＳ１２８によって、ホールマップ、参照視点映像及び参照視点視差情報を用いて各出力映像内のホールに対するホール復元を行うために必要な情報を復元（または生成）する。
【００４１】
ステップＳ１３０において、１つ以上の入力ビューを用いて出力視点（または、目的（ｔａｒｇｅｔ）視点）の映像が生成される。出力視点は、視聴者に提供されるためのターゲット視点を意味する。出力視点の映像はホールを含んでもよい。ステップＳ１４０において、参照レイヤ及び参照レイヤの視差情報を用いて出力視点の映像内のホールに対するホール復元を行う。ステップＳ１５０において、ホール復元が行われた後の出力視点の映像を出力する。ホールの復元された複数の出力視点映像が提供されてもよい。
【００４２】
図２は、一実施形態に係る２つの入力ビューに基づいて参照視点を決定し、参照視点に対する映像及び視差を生成する方法を説明する。図２に示す入力ビューは、第１入力ビュー２１０及び第２入力ビュー２２０である。
【００４３】
第１入力ビュー２１０及び第２入力ビュー２２０はそれぞれステレオ（すなわち、２ｗａｙ）ビュー入力の左側入力ビュー及び右側入力ビューであってもよい。第１入力ビュー２１０及び第２入力ビュー２２０はそれぞれマルチビュー機器の２ｎ個の入力ビューのうち、ｎ番目の入力ビュー及びｎ＋１番目の入力ビューであってもよい。ここで、ｎは「１」以上の整数であってもよい。第１入力ビュー２１０及び第２入力ビュー２２０は、１つ以上の入力ビューのうち中心に位置する２つの入力ビューであってもよい。すなわち、第１入力ビュー２１０及び第２入力ビュー２２０は他の入力ビューの間に位置する。
【００４４】
第１入力ビュー２１０は、映像２１２及び視差情報２１４を含む。第２入力ビュー２２０は、映像２２２及び視差情報２２４を含む。
【００４５】
参照視点は、第１入力ビュー２１０の視点及び第２入力ビュー２２０の視点の中心であってもよい。参照視点は全ての１つ以上の入力ビューのうち２つの選択された入力ビュー視点の中心であってもよい。
【００４６】
参照視点ビュー２３０（すなわち、参照視点映像２３２及び参照視点視差情報２３４）は第１入力ビュー２１０及び第２入力ビュー２２０に基づいて生成される。例えば、参照視点ビュー２３０（すなわち、参照視点映像２３２及び参照視点視差情報２３４）は、第１入力ビュー２１０及び第２入力ビュー２２０のカラー／視差内挿によって生成される。
【００４７】
例えば、参照視点ビュー２３０（すなわち、参照視点映像２３２及び参照視点視差情報２３４）は、第１入力ビュー２１０の映像２１２、第１入力ビュー２１０の視差情報２１４、第２入力ビュー２２０の映像２２２、及び第２入力ビュー２２０の視差情報２２４を使用するワーピングを行うことによって生成される。
【００４８】
図３は、一実施形態に係る２ｎ＋１個の入力ビューに基づいて参照視点を決定し、参照視点に対する映像及び視差を生成する方法を説明する。図３に示す入力ビューは奇数個の入力ビュー３１０、３２０、３３０である。
【００４９】
１つ以上の入力ビューは２ｎ＋１個である。ここで、ｎは「０」以上の整数である。中心入力ビュー３２０（すなわち、ｎ番目の入力ビュー）は映像３２２及び視差情報３２４を含む。参照視点は、１つ以上の入力ビューのうち中間に位置する入力ビューの視点であってもよい。２ｎ＋１個の入力ビューのうち、ｎ番目の中心入力ビュー３２０の視点が参照視点になり得る。参照視点が１つ以上の入力ビューのうち特定のビューの視点と同一である場合、特定のビューが参照視点ビュー３４０に設定（または使用）される。また、特定のビューの映像が参照視点映像３４２に設定されてもよく、特定のビューの視差情報が参照視点視差情報３４４に設定されてもよい。例えば、参照視点が中心入力ビュー３２０の視点である場合、中心入力ビュー３２０が参照視点ビュー３４０に設定される。１つ以上の入力ビューが奇数個（すなわち、２ｎ＋１個）である場合、中心（すなわち、ｎ番目の）入力ビュー３２０の映像３２２が参照視点映像３４２に設定され、中心入力ビュー３２０の視差情報３２４が参照視点視差情報３４４に設定される。
【００５０】
図４は、一実施形態に係る参照視点映像及び参照視点視差情報を用いて初期参照レイヤ、初期参照レイヤの視差情報、参照レイヤ及び参照レイヤの視差情報を生成する過程を説明する。図４に示す過程はマルチビューの生成にも用いられてもよい。
【００５１】
図１〜図３を参照して前述したように、１つ以上の入力ビュー４１０及び４１５に基づいて参照視点映像４３０及び参照視点視差情報４３５を生成する。
【００５２】
参照視点ビュー４２０は参照視点映像４３０及び参照視点視差情報４３５を含む。参照視点映像４３０は前景４３２及び背景４３４を含む。一般に、前景４３２は背景４３４に比べて大きい視差（すなわち、さらに小さい深度）を有する。
【００５３】
参照視点視差情報４３５は、前景４３２に関連する景視差情報４３６及び背景４３４に関連する背景視差情報４３８を含む。
【００５４】
ホールマップ４４０は、各マルチビュー映像内で生成されたホールを参照視点に総合することによって取得されたデータに対応する。ホールマップ４４０は、ホールの部分４４２及び４４４及びホールではない部分４４６を含む。
【００５５】
ホールマップ４００はホールの部分４４２及び４４４は「０」と表現され、ホールではない部分４４６は「１」と表現される２進（ｂｉｎａｒｙ）マップであってもよい。
【００５６】
ホールマップ４４０を生成する具体的な方法の一実施形態については図５〜図８を参照して下記で詳細に説明する。
【００５７】
初期参照レイヤ４５０は、ホールマップ４４０上のホールとして、示される領域を処理することによって取得されるイメージに対応する。初期参照レイヤ４５０は映像４６０及び視差情報４７０を含む。初期参照レイヤ４５０の映像４６０は、前景４６２、背景４６４及びホール４６６及び４６８を含む。
【００５８】
初期参照レイヤ４５０の映像４６０は、参照視点映像４３０及びホールマップ４４０に基づいて生成される。例えば、参照視点映像４３０のうち、ホールの部分４４２及び４４４に対応する部分はホール４６６及び４６８である。参照視点映像４３０のうちホールではない部分４４６に対応する部分は前景４６２または背景４６４である。
【００５９】
初期参照レイヤ４５０の視差情報４７０は参照視点視差情報４３５であってもよい。または、初期参照レイヤ４５０の視差情報４７０は参照視点視差情報４３５及びホールマップ４４０に基づいて生成される。例えば、視差情報４７０は、前景４６２に対応する前景視差情報４７２、背景４６４に対応する背景視差情報４７４及びホール４７６及び４７８を含んでもよい。
【００６０】
初期参照レイヤ４５０の映像４６０は、参照視点映像４３０とホールマップ４４０との間の論理積（ＡＮＤ）演算を行うことにより生成される。参照視点映像４３０のうちホールマップ４４０の「０」（すなわち、ホールの部分４４２及び４４４）に対応する部分はＡＮＤ演算を行うことによってホール４６６及び４６８である。参照視点映像４３０のうちホールマップ４４０の「１」（すなわち、ホールではない部分４４６）に対応する部分はＡＮＤ演算によってその影響を受けることない。したがって、前記の部分は、ＡＮＤ演算が行われた後にも、前景４６２または背景４６４として続けて維持され得る。
【００６１】
すなわち、参照視点映像４３０は、初期参照レイヤ４５０の映像４６０内のホールではない部分４４６に対応する前景４６２及び背景４６４に対してはそのまま用いられる。一方、映像内のホール４６６及び４６８はホールの部分４４２及び４４４に対応する。また、参照視点視差情報４３５は、初期参照レイヤ４５０の視差情報４７０内のホールではない領域４４６に対応する前景視差情報４７２及び背景視差情報４７４に対してはそのまま用いられる。ホールの部分４４２及び４４４に対応する視差情報４７０内の領域はホール４７６及び４７８である。
【００６２】
初期参照レイヤ４５０の映像４６０に対するホール復元過程を介してホールの全てが充填された参照レイヤ４８０を生成する。参照レイヤ４８０は映像４９０及び視差情報４９５を含む。一般に、ホール復元過程を介してホールが充填されるために、映像４９０及び視差情報４９５はホールを有しなくてもよい。
【００６３】
初期参照レイヤ４５０内のホールは、例えば、修復（ｉｎｐａｉｎｔｉｎｇ）のような様々なホール充填（ｈｏｌｅ  ｆｉｌｌｉｎｇ）方法を用いて充填されてもよい。
【００６４】
例えば、初期参照レイヤ４５０内のホールに対するホール復元は、前記ホールに隣接する背景一部を用いて行われてもよい。初期参照レイヤ４５０の映像４６０内のホール４６６または４６８は、背景４６４のうちホール４６６または４６８に隣接する部分の情報（例えば、カラー）を用いて充填されてもよい。初期参照レイヤ４５０の視差情報４７０内のホール４７６または４７８は、背景視差情報４７４のうちホール４７６または４７８に隣接する部分の視差を用いて充填される。
【００６５】
例えば、初期参照レイヤ４５０内のホールに対するホール復元は他の視点の入力ビュー（すなわち、他の入力ビューの映像及び視差情報）を使用して行われてもよい。
【００６６】
参照レイヤは連続的に格納されるため、初期参照レイヤ４５０内のホールに対する復元は、時間的に先行する参照レイヤ（例えば、時間的に先行する参照レイヤの映像及び視差情報）を用いて行われる。例えば、時間的に先行する参照レイヤは映像データの以前フレームに対応する。
【００６７】
初期参照レイヤ４５０の視差情報４９５内のホールに対するホール復元は、ホールの領域周囲の背景の視差を広めることによって行われる。
【００６８】
図５は、一実施形態に係るホールマップの生成原理を説明する。出力映像内のホールは参照視点映像内の隣接する領域（例えば、互いに隣接する左側ピクセル及び右側ピクセル）の視差間の差によって発生する。
【００６９】
ピクセルが自身の左側ピクセルに比べて大きい視差を有する場合（すなわち、ピクセルの視差からピクセルの左側ピクセルの視差を差し引いた値であるΔｄＬが「０」よりも大きい場合）、参照視点から左側方向にワーピングされた出力映像内でピクセルの左側にホールが発生することがある。
【００７０】
ピクセルの自身の右側ピクセルに比べてより大きい視差を有する場合（すなわち、ピクセルの視差からピクセルの右側ピクセルの視差を差し引いた値であるΔｄＲが「０」よりも大きい場合）、参照視点から右側方向にワーピングされた出力映像内でピクセルの右側にホールが発生することがある。
【００７１】
第１出力映像５１０は、参照視点ビュー４２０（または、参照視点映像４３０）が左側方向にワーピングされることによって生成される。第１出力映像５１０内では前景５１２の左側にΔｄＬ（例えば、２０ピクセル）だけのホール５１６が発生する。第２出力映像５２０は参照視点ビュー４２０が右側方向にワーピングされることによって生成される。第２出力映像５２０内では前景５２２の右側にΔｄＲ（例えば、２０ピクセル）だけのホール５２６が発生する。
【００７２】
したがって、参照視点ビュー４２０内の隣接するピクセル間の視差を分析することによって、特定の視点の出力映像内で発生するホール領域を予測することができる。
【００７３】
ホールマップ４４０は、参照視点ビュー４２０を特定の視点にワーピングすることによって生成されるホールを参照視点映像に集めたり総合させたもの見なすことができる。
【００７４】
図６は、一実施形態に係るホールマップの生成方法を説明する。例えば、マルチビュー映像内における１つ以上の出力ビューが生成されるとき発生するホール領域を予測するために参照視点ビュー４２０内の各ピクセルの視差の差分（ｄｉｆｆｅｒｅｎｃｅ）を算出する。
【００７５】
視差の差分は左側差分ΔｄＬ及び右側差分ΔｄＲを含む。左側差分は、ピクセルの左側に隣接するピクセル（以下、左側ピクセル）に対する差分である。右側差分は、ピクセルの右側に隣接するピクセル（以下、右側ピクセル）に対する差分である。
【００７６】
参照視点視差情報４３５内の特定の水平線６１０の視差がグラフ６２０のように示される。
【００７７】
グラフ６２０に示すような視差の差を用いて、参照視点映像４３０内の前景４３２によって隠された領域がホール領域として判断される。
【００７８】
前景４３２によって隠された領域は、１）視差の左側差分、２）視差の右側差分、３）入力ビュー間の入力ベースライン、及び４）最外角出力ビューの視点間の距離に基づいて算出される。
【００７９】
ホールマップ４４０は、参照視点映像４３０内のピクセルの視差間の差分（すなわち、ΔｄＬ及びΔｄＲ）に基づいて生成される。前景によって隠された領域（すなわち、単独で設定されるピクセル）を判断する方法の一実施形態について下記で説明する。
【００８０】
第１ピクセルの第１視差が第１ピクセルに左側に隣接する第２ピクセルの第２視差よりも閾値以上に大きい場合（すなわち、第１ピクセルのΔｄＬが閾値よりも大きい場合）、第１ピクセルから右側にα・ΔｄＬ個だけのピクセルが単独に設定される。単独に設定されるピクセルの個数は第１視差と第２視差との間の差に比例する。αは定数である。
【００８１】
第１ピクセルの第１視差が第１ピクセルに右側に隣接する第３ピクセルの第３視差よりも閾値以上に大きい場合（すなわち、第１ピクセルのΔｄＲが閾値よりも大きい場合）、第１ピクセルから左側にα・ΔｄＲ個だけのピクセルが単独に設定される。単独に設定されるピクセルの個数は第１視差と第３視差との間の差に比例する。
【００８２】
第１領域６３０及び第２領域６４０はピクセルの視差間の差分に基づいて生成されるホール領域（すなわち、前景４３２によって隠されたと判断される領域）を示す。
【００８３】
第２グラフ６５０は差分ΔｄＬまたはΔｄＲ及びαに比例して第１領域６３０及び第２領域６４０が設定される（または算出される）方法を示す。
【００８４】
αを算出する方法の一実施形態については、図７を参照して下記で詳細に説明する。１つ以上のピクセルによって重複して単独に設定された領域は、１つのホール領域で格納されてもよい。図７は、一実施形態に係る単独で設定されるピクセルの個数を決定する方法を説明する。
【００８５】
入力ベースラインは、１つ以上の入力ビューのうち最左側入力ビュー７１０の視点と最右側入力ビュー７２０の視点との間の距離である。最左側出力ビュー７３０は、１つ以上の入力ビューに基づいて生成された出力ビューのうち最も左側の視点を有する出力ビューである。最右側出力ビュー７４０は最も右側の視点を有する出力ビューである。
【００８６】
下記の数式（１）はαを算出する方法の一実施形態である。
【００８７】
【数１】
2013005440.tif 000003
例えば、入力ビューの視点間の最大距離に比べて、出力ビューの視点間の最大距離が２倍であれば、αは２になる。
【００８８】
図８は、一実施形態に係るホールマップ生成方法のフローチャートである。
【００８９】
図１に示すステップＳ１２４は下記のホールマップを生成方法するステップＳ８１０及びステップＳ８３０を含む。
【００９０】
図４〜図６を参照して説明したように、ホールマップ４４０は参照視点視差情報を用いて生成することができる。
【００９１】
ステップＳ８１０において、１つ以上の出力映像が生成される時に発生されるホール領域を予測するため、参照視点ビュー４２０内の各ピクセルの視差の差分（例えば、左側差分ΔｄＬ及び右側差分ΔｄＲ）が算出及び格納される。
【００９２】
ステップＳ８２０において、算出された視差の差分を用いて前景によって隠された領域がホール領域であると判断する。ステップＳ８３０において、ホール領域として判断された領域を用いてホールマップ４４０を構成する。
【００９３】
図９は、一実施形態に係る出力視点の映像を生成し、生成された出力視点の映像のホールに対するホール復元を行う原理を説明する。第１出力映像９１０及び第２出力映像９２０は１つ以上の参照ビューを用いて生成する。参照ビューは、１つ以上の入力ビューのうち特定の出力映像を生成するために選択されたビューである。例えば、内挿によって出力映像が生成される場合、出力映像の視点に左右に最も近接した２つの入力ビューが参照ビューとして選択される。外挿によって出力映像が生成される場合、出力映像の視点に最も近接した１個の入力ビュー（すなわち、最外角ビュー）が参照ビューとして選択される。
【００９４】
例えば、第１出力映像９１０の参照ビューは図４に示す入力ビュー４１０である。第２出力映像９２０の参照ビューは図４に示す入力ビュー４１５である。
【００９５】
第１出力映像９１０は、参照ビューの視差情報を用いて参照ビューの映像を第１出力映像９１０の視点にワーピングすることによって生成することができる。第２出力映像９２０は、参照ビューの視差情報を用いて参照ビューの映像を第２出力映像の視点にワーピングすることによって生成する。
【００９６】
１つ以上の入力ビュー４１０及び４１５の視点、及び出力映像９１０または９２０の視点間の差によって、出力視点の映像内でホール９１２またはホール９２２のようなホールが発生することがある。また、出力視点の参照レイヤ映像９３０及び９４０が各出力映像９１０または９２０のために生成される。出力視点の参照レイヤ映像９３０及び９４０は、参照レイヤ４８０の視差情報４９５を用いて参照レイヤ４８０の映像４９０をワーピングすることによって生成される。参照レイヤ４８０のワーピングは、参照レイヤ４８０内のホール復元に必要な情報を各出力視点に伝播する方式として見なすことができる。
【００９７】
第１出力映像９１０内のホール９１２に対する復元は、第１出力映像９１０の視点にワーピングされた第１参照レイヤ映像９３０を用いて行われる。第１参照レイヤ映像９３０のうちホール９１２に対応する領域９３２がホール９１２に対するホール復元を行うために用いられる。
【００９８】
また、第２出力映像９２０の視点にワーピングされた第２参照レイヤ映像９４０のうちホール９２２に対応する領域９４２がホール９２２に対するホール復元を行うために用いられる。
【００９９】
ホール復元が行われた出力映像９５０または９６０は、出力映像９１０または９２０及び前記出力映像９１０または９２０の視点にワーピングされた出力視点の参照レイヤ映像９３０または９４０が合成されることによって生成される。
【０１００】
ワーピングされた参照レイヤ映像９３０または９４０は、出力映像９５０または９６０の視点における背景情報として見なす。すなわち、参照レイヤ４８０の映像４９０は、ワーピングによって出力映像９５０または９６０の背景として用いられてもよい。このような特徴により参照レイヤ４８０は参照背景レイヤと命名する。初期参照レイヤ４５０は初期参照背景レイヤと命名する。
【０１０１】
図１０は、一実施形態に係る出力視点の映像を生成し、生成された出力視点の映像のホールに対するホール復元を行う方法のフローチャートである。図１０に示すステップＳ１０１０〜ステップＳ１０５０は特定の出力視点における最終出力映像を生成するために行われる。
【０１０２】
ステップＳ１３０は下記のステップＳ１０１０及びステップＳ１０２０を含んでもよい。
【０１０３】
ステップＳ１０１０において、１つ以上の入力ビュー４１０及び４１５のいずれか１つ以上の参照ビューを選択する。
【０１０４】
１つ以上の参照ビューは、１つ以上の入力ビュー４１０及び４１５のうち、特定の出力映像を生成するために選択されたビューである。出力映像が外挿によって生成される場合、１つの入力ビューは出力映像が内挿によって生成される場合に２つの入力ビューが参照ビューとして選択されてもよい。
【０１０５】
ステップＳ１０２０において、選択された参照ビューの視差情報を用いて参照ビューの映像を出力ビューの出力視点にワーピングすることによって、出力視点の映像９１０または９２０が生成される。
【０１０６】
図１に示すステップＳ１４０は、下記のステップＳ１０３０、ステップＳ１０４０及びステップＳ１０５０を含む。ステップＳ１０３０において、ステップＳ１０２０で生成された出力映像９１０または９２０内のホール９１２または９２２を検出する。ステップＳ１０４０において、参照レイヤ４８０の視差情報４９５を用いて参照レイヤ４８０の映像４９０を出力視点にワーピングすることで、出力視点の参照レイヤ映像９３０または９４０が生成される。
【０１０７】
ステップＳ１０５０において、出力視点の参照レイヤ映像９３０及び９４０のうち、出力視点の映像９１０または９２０のホール９１２または９２２に対応する領域９３２及び９４２が前記ホール９１２または９２２にコピーされ得る。すなわち、領域９３２及び９４２の情報（すなわち、カラー）がホール９１２または９２２にコピーされることで、前記ホール９１２または９２２に対するホールの復元を行うことができる。
【０１０８】
２つの生成された出力映像９１０または９２０のホール９１２または９２２に対するホール復元は参照レイヤ４８０の情報を用いて行われてもよい。すなわち、ホール９１２または９２２に対するホール復元は各視点ごとに独立的に行われる。ホールを有しない参照レイヤ４８０の映像４９０及び視差４９５の情報を各出力映像９１０または９２０内のホール９１２または９２２に伝播することで、ホール９１２または９２２のホールを復元する。
【０１０９】
参照視点におけるビュー情報に基づいて全ての出力映像内のホールのホールを復元することによって、出力映像間の視覚的な不一致を解決することができる。また、生成された出力視点の映像数に対応する回数だけのホール復元過程が反復される代わりに、初期参照レイヤ４５０に基づいて参照レイヤ４８０を生成するステップＳ１２８のような、１回だけのホール復元を行うため演算の反復を減少することができる。
【０１１０】
図１１は、一実施形態に係る映像処理装置の構造図である。映像処理装置１１００は、参照視点決定部１１１０、参照レイヤ生成部１１２０、出力視点映像生成部１１７０、ホール復元部１１８０、及び出力部１１９０を備える。
【０１１１】
映像処理装置１１００の入力は、１つ以上の入力ビュー４１０及び４１５である。映像処理装置１１００は１つ以上の出力ビュー（または、１つ以上の出力視点の映像）を出力する。
【０１１２】
参照視点決定部１１１０はステップＳ１１０を行う。参照視点決定部１１１０は参照視点を決定する。参照視点決定部１１０の入力は１つ以上の入力ビュー４１０及び４１５を含む。
【０１１３】
参照レイヤ生成部１１２０は、ステップＳ１２２〜ステップＳ１２８を行う。参照レイヤ生成部１１２０は、１つ以上の入力ビュー４１０及び４１５を用いて参照視点に対する参照レイヤ４８０を生成する。
【０１１４】
出力視点映像生成部１１７０はステップＳ１３０を行う。出力視点映像生成部１１７０は、１つ以上の入力ビュー４１０及び４１５を用いて出力視点の映像９１０または９２０を生成する。
【０１１５】
ホール復元部１１８０はステップＳ１４０を行う。ホール復元部１１８０は、参照レイヤ４８０を用いて出力視点の映像９１０または９２０内のホール９１２または９２２に対するホール復元を行う。
【０１１６】
参照レイヤ生成部１１２０は、参照視点映像／視差情報生成部１１３０、ホールマップ生成部１１４０、初期参照レイヤ生成部１１５０、及び参照レイヤ生成部１１６０を備える。
【０１１７】
参照視点映像／視差情報生成部１１３０はステップＳ１２２を行う。参照視点映像／視差情報生成部１１３０は、１つ以上の入力ビュー４１０及び４１５を用いて参照視点映像４３０及び参照視点視差情報４３５を生成する。
【０１１８】
ホールマップ生成部１１４０はステップＳ１２４を行う。ホールマップ生成部１１４０は参照視点に対するホールマップ４４０を生成する。ホールマップ生成部１１４０の入力は参照視点視差情報４３５である。ホールマップ生成部１１４０はホールマップ４４０を出力する。
【０１１９】
初期参照レイヤ生成部１１５０はステップＳ１２６を行う。初期参照レイヤ生成部１１５０は、ホールマップ４４０、参照視点映像４３０、及び参照視点視差情報４３５を用いて初期参照レイヤ４５０を生成する。
【０１２０】
参照レイヤ生成部１１６０はステップＳ１２８を行う。参照レイヤ生成部１１６０は、初期参照レイヤ４５０内のホール４６６、４６８、４７６または４７８を復元することによって参照レイヤ４８０を生成する。
【０１２１】
ホールマップ生成部１１４０は、差分算出部１１４２、ホール領域算出部１１４４、及びホールマップ構成部１１４６を備える。
【０１２２】
差分算出部１１４２はステップＳ８１０を行う。差分算出部１１４２は、１つ以上の出力映像（例えば、第１出力映像９１０及び第２出力映像９２０）が生成されるとき発生されるホール領域を予測するために参照視点ビュー４２０内の各ピクセルの視差の差分（例えば、左側差分ΔｄＬ及び右側差分ΔｄＲ）を算出及び格納する。
【０１２３】
ホール領域算出部１１４４はステップＳ８２０を行う。ホール領域算出部１１４４は、算出された視差の差分を用いて前景によって隠された領域をホール領域として判断する。
【０１２４】
ホールマップ構成部１１４６はステップＳ８３０を行う。ホールマップ構成部１１４６は、ホール領域と判断された領域を用いてホールマップ４４０を構成する。
【０１２５】
出力視点映像生成部１１７０は、参照ビュー選択部１１７２及び参照ビューワーピング部１１７４を含む。
【０１２６】
参照ビュー選択部１１７２はステップＳ１０１０を行う。参照ビュー選択部１１７２は、１つ以上の入力ビュー４１０及び４１５のうち１つ以上の参照ビューを選択する。
【０１２７】
参照ビューワーピング部１１７４は、選択された参照ビューの視差情報を用いて参照ビューの映像を出力ビューの出力視点にワーピングすることで、出力視点の映像９１０または９２０を生成する。参照ビューワーピング部１１７４の入力は参照ビュー（または、１つ以上の入力ビューの全てまたは一部）を含む。参照ビューワーピング部１１７４は出力視点の映像９１０または９２０を出力する。
【０１２８】
ホール復元部１１８０は、参照レイヤワーピング部１１８２、ホール領域検出部１１８４、及びホール領域コピー部１１８６を備える。
【０１２９】
参照レイヤワーピング部１１８２はステップＳ１０４０を行う。参照レイヤワーピング部１１８２は、参照レイヤ４８０の視差情報４９５を用いて参照レイヤ４８０の映像４９５を出力視点にワーピングすることで出力視点の参照レイヤ映像９３０または９４０を生成する。参照レイヤワーピング部１１８２の入力は参照レイヤ４８０を含む。参照レイヤワーピング部１１８２は、出力視点の参照レイヤ映像９３０または９４０を出力する。
【０１３０】
ホール領域検出部１１８４はステップＳ１０３０を行う。ホール領域検出部１１８４は、参照ビューワーピング部１１７４によって生成された出力映像９１０または９２０内のホール９１２または９２２を検出する。ホール領域検出部１１８４の入力は、出力視点の映像９１０または９２０及び出力視点の参照レイヤ映像９３０及び９４０である。
【０１３１】
ホール領域コピー部１１８６はステップＳ１０５０を行う。ホール領域コピー部１１８６は出力視点の参照レイヤ映像９３０及び９４０のうち、出力視点の映像９１０または９２０のホール９１２または９２２に対応する領域９３２及び９４２をホール９１２または９２２にコピーしてもよい。ホール領域コピー部１１８４の入力は、出力視点の映像９１０または９２０及び出力視点の参照レイヤ映像９３０及び９４０である。ホール領域コピー部１１８４は、ホールが復元された出力映像９５０または９６０を出力視点の最終映像として出力する。
【０１３２】
前述された構成要素１１１０〜１１９０の包含関係は単に例示的なものに過ぎない。例えば、参照視点映像／視差情報生成部１１３０は参照視点決定部１１１０内に含まれてもよい。参照レイヤワーピング部１１８２は出力視点映像生成部１１７０内に含まれてもよい。
【０１３３】
前記の構成要素１１１０〜１１９０の機能は、単一な制御部（図示せず）で行われる。ここで、制御部は単一（ｓｉｎｇｌｅ）または複数（ｍｕｌｔｉ）チップ、プロセッサ、またはコアを表し得る。構成要素１１１０〜１１９０のそれぞれは制御部で行われる関数、ライブラリー、サービス、プロセス、スレッド、またはモジュールを表し得る。
【０１３４】
先の図１〜図１０を参照して説明された技術的な内容が本実施形態にも適用されてもよい。したがって、本詳細な説明は以下は省略することにする。
【０１３５】
前述した実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コード（ｍａｃｈｉｎｅ  ｃｏｄｅ）だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード（ｈｉｇｈｅｒ  ｌｅｖｅｌ  ｃｏｄｅ）を含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。
【０１３６】
前述された１つ以上のソフトウェアモジュールは、モジュールまたはユニットに固有な専用プロセッサまたは１つ以上のモジュールに共通するプロセッサのようなコントローラによって実行される。前述の方法は汎用（ｇｅｎｅｒａｌ  ｐｕｒｐｏｓｅ）コンピュータまたは上述された映像処理装置のような特定の機械により実行されてもよい。
【０１３７】
図１２は、一実施形態に係る映像処理装置を含むマルチビューディスプレイ機器を説明する。図１２によれば、マルチビューディスプレイ機器１２００はコントローラ１２０１及び映像処理装置１２０５を備える。
【０１３８】
マルチビューディスプレイ機器１２００は、３Ｄ映像を表示するための３Ｄディスプレイの形態を有してもよく、２つ以上の異なる視点におけるマルチビュースキームを採用してもよい。３Ｄディスプレイの例は、タブレットコンピュータ機器、移動可能なゲーム用機器、３Ｄテレビディスプレイ、またはラップトップコンピュータのような移動可能な３Ｄモニターを含んでもよい。
【０１３９】
コントローラ１２０１は制御信号を生成する。制御信号はマルチビューディスプレイ機器１２００を制御する。制御信号はマルチビューディスプレイ機器１２００によって表示されてもよい。コントローラ１２０１は１つ以上のプロセッサを含む。
【０１４０】
映像処理装置１２０５はマルチビューディスプレイ装置１２００のためのマルチビュー映像を生成するために用いられてもよく、例えば、図１１で示された映像処理装置１１００に対応する。したがって、映像処理装置１２０５は、例えば参照視点決定部１１１０、参照レイヤ生成部１１２０、出力視点映像生成部１１７０、ホール復元部１１８０、及び出力部１１９０を備える。図１２には図示されていないにもかかわらず、このような部のそれぞれは図１１などで前述した類似に名付けられた部に対応する。したがって、これ以上の詳細な説明は省略する。
【０１４１】
映像処理装置１２０５は、マルチビューディスプレイ機器１２００内に内部的にインストールしてもよく、マルチビューディスプレイ機器１２００に付着されてもよく、または、マルチビューディスプレイ機器１２００とは分離して実装されてもよい。映像処理装置１２０５の物理的な構成には関係なく、映像処理装置１２０５は前述した全ての可能な機能を備えてもよい。映像処理装置１２０５は１つ以上の内部プロセッサを含んでもよく、例えば、コントローラ１２０１の１つ以上のプロセッサのようなマルチビューディスプレイ装置１２００内に含まれる１つ以上のプロセッサによって制御されてもよい。
【０１４２】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【０１４３】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１４４】
１１００      映像処理装置
１１１０      参照視点決定部
１１２０      参照レイヤ生成部
１１７０      出力視点映像生成部
１１８０      ホール復元部
１１９０      出力部
【図１】
2013005440.tif 000004
【図２】
2013005440.tif 000005
【図３】
2013005440.tif 000006
【図４】
2013005440.tif 000007
【図５】
2013005440.tif 000008
【図６】
2013005440.tif 000009
【図７】
2013005440.tif 000010
【図８】
2013005440.tif 000011
【図９】
2013005440.tif 000012
【図１０】
2013005440.tif 000013
【図１１】
2013005440.tif 000014
【図１２】
2013005440.tif 000015