(57)【特許請求の範囲】
【請求項１】
現在フレームの１つ以上の入力ビューを使用して基準視点に対する基準視点ビューを生成するステップと、
前記基準視点ビューを少なくとも１つの他の視点にワープさせることによって生成される少なくとも１つの他の視点ビュー内で発生するホール領域に対応する前記基準視点ビュー内の領域をホールに置換することによって前記現在フレームの初期基準視点レイヤを生成するステップと、
前記現在フレームの少なくとも１つの以前フレームの基準視点レイヤ及び前記初期基準視点レイヤに基づいて前記初期基準視点レイヤ内のホールを復元することによって前記現在フレームの基準視点レイヤを生成するステップと、
前記１つ以上の入力ビューを使用して出力視点における映像を生成するステップと、
前記現在フレームの基準視点レイヤを使用して前記出力視点の映像内のホールを復元するステップと、
を含む映像処理方法。
【請求項２】
前記基準視点は、前記１つ以上の入力ビューのうちの中心入力ビューの視点である、
請求項１に記載の映像処理方法。
【請求項３】
前記現在フレームの基準視点レイヤを生成するステップは、
累積した背景レイヤに基づいて前記初期基準視点レイヤ内のホールを復元するフレーム間修復、及び前記初期基準視点レイヤに基づいて前記初期基準視点レイヤ内のホールを復元するフレーム内修復のうちの１つ以上に基づいて前記初期基準視点レイヤ内のホールを復元するステップと、
前記現在フレームの基準視点レイヤを使用して前記累積した背景レイヤを更新するステップと、を含み、
前記累積した背景レイヤは、前記現在フレームの少なくとも１つの以前フレームの基準視点レイヤの背景を累積することによって生成される、
請求項１又は２に記載の映像処理方法。
【請求項４】
前記初期基準視点レイヤ内のホールは、前記初期基準視点レイヤの背景の構造体から優先的に復元する最適パッチ探索に基づく修復によって復元される、
請求項３に記載の映像処理方法。
【請求項５】
前記現在フレームの基準視点レイヤを生成するステップは、第１加重値及び第２加重値を決定するステップを含み、
前記初期基準視点レイヤ内のホールは、第１結果に前記第１加重値を適用した結果及び第２結果に前記第２加重値を適用した結果を合わせることによって復元され、
前記第１結果は、前記フレーム間修復を適用して前記初期基準視点レイヤ内のホールを復元したときに取得され、
前記第２結果は、前記フレーム内修復を適用して前記初期基準視点レイヤ内のホールを復元したときに取得される、
請求項３又は４に記載の映像処理方法。
【請求項６】
第１背景比率は第１探索領域内の背景の比率であり、第２背景比率は第２探索領域内の背景の比率であり、
前記第１探索領域は、最適パッチ探索に基づいた前記フレーム間修復が使用されるときに前記累積した背景レイヤ内のソースパッチが探索される領域であり、  前記第２探索領域は、最適パッチ探索に基づいた前記フレーム内修復が使用されるときに前記基準視点ビュー内のソースパッチが探索される領域であり、
前記第１背景比率が前記第２背景比率よりも大きい場合、前記初期基準視点レイヤ内のホールは、前記フレーム間修復によって復元され、
前記第１背景比率が前記第２背景比率よりも小さい場合、前記初期基準視点レイヤ内のホールは、前記フレーム内修復によって復元される、
請求項３乃至５の何れか一項に記載の映像処理方法。
【請求項７】
前記第１背景比率及び前記第２背景比率が互いに類似するとき、前記基準視点レイヤは、前記フレーム間修復を使用して復元されたホール及び前記フレーム内修復によって復元されたホールを混合することによって生成される、
請求項６に記載の映像処理方法。
【請求項８】
前記現在フレームの基準視点レイヤを生成するステップは、前記現在フレームの基準視点ビューの動きを推定するステップをさらに含み、
前記基準視点ビューの動きを推定するステップは、
前記基準視点ビュー内のブロックそれぞれの動きを推定するステップと、
前記ブロックのうちで背景に対応するブロックの推定された動きを、前記ブロックのうちで前景に対応するブロックの動きとして拡散するステップと、
を含む請求項３乃至７の何れか一項に記載の映像処理方法。
【請求項９】
前記累積した背景レイヤを更新するステップは、
前記基準視点ビューの推定された動きを反映し、前記基準視点レイヤの背景を前記累積した背景レイヤに累積するステップを含む、
請求項３乃至８の何れか一項に記載の映像処理方法。
【請求項１０】
前記累積した背景レイヤを更新するステップは、
前記現在フレームで場面転換が発生した場合、前記累積した背景レイヤを初期化するステップを含む、
請求項３乃至９の何れか一項に記載の映像処理方法。
【請求項１１】
コンピュータに、請求項１乃至１０のうちのいずれか一項に記載の方法を実行させるプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１２】
現在フレームの１つ以上の入力ビューを使用して基準視点に対する基準視点ビューを生成する基準視点ビュー生成部と、
前記基準視点ビューを少なくとも１つの他の視点にワープさせることによって生成される少なくとも１つの他の視点ビュー内で発生するホール領域に対応する前記基準視点ビュー内の領域をホールに置換することによって前記現在フレームの初期基準視点レイヤを生成する初期基準視点レイヤ生成部と、
前記現在フレームの少なくとも１つの以前フレームの基準視点レイヤ及び前記初期基準視点レイヤに基づいて前記初期基準視点レイヤ内のホールを復元することによって前記現在フレームの基準視点レイヤを生成する基準視点レイヤ生成部と、
前記１つ以上の入力ビューを使用して出力視点における映像を生成する出力ビュー生成部と、
前記現在フレームの基準視点レイヤを使用して前記出力視点の映像内のホールを復元する出力ビューホール復元部と、
を含む映像処理装置。
【請求項１３】
前記基準視点は、前記１つ以上の入力ビューのうちの中心入力ビューの視点である、
請求項１２に記載の映像処理装置。
【請求項１４】
前記基準視点レイヤ生成部は、
累積した背景レイヤに基づいて前記初期基準視点レイヤ内のホールを復元するフレーム間修復、及び前記初期基準視点レイヤに基づいて前記初期基準視点レイヤ内のホールを復元するフレーム内修復のうちの１つ以上に基づいて前記初期基準視点レイヤ内のホールを復元するホール復元部と、
前記現在フレームの基準視点レイヤを使用して前記累積した背景レイヤを更新する背景レイヤ累積部とを含み、
前記累積した背景レイヤは、前記現在フレームの少なくとも１つの以前フレームの基準視点レイヤの背景を累積することによって生成される、
請求項１２又は１３に記載の映像処理装置。
【請求項１５】
前記ホール復元部は、前記初期基準視点レイヤの背景の構造体から優先的に復元する最適パッチ探索に基づく修復を使用して前記初期基準視点レイヤ内のホールを復元する、
請求項１４に記載の映像処理装置。
【請求項１６】
前記基準視点レイヤ生成部は、
第１加重値及び第２加重値を決定する加重値決定部をさらに含み、
前記ホール復元部は、第１結果に前記第１加重値を適用した結果及び第２結果に前記第２加重値を適用した結果を合わせることによって前記初期基準視点レイヤ内のホールを復元し、
前記第１結果は、前記フレーム間修復を適用して前記初期基準視点レイヤ内のホールを復元したときに取得され、
前記第２結果は、前記フレーム内修復を適用して前記初期基準視点レイヤ内のホールを復元したときに取得される、
請求項１４又は１５に記載の映像処理装置。
【請求項１７】
第１背景比率は第１探索領域内の背景の比率であり、第２背景比率は第２探索領域内の背景の比率であり、
前記第１探索領域は、最適パッチ探索に基づいた前記フレーム間修復が使用されるときに前記累積した背景レイヤ内のソースパッチが探索される領域であり、
前記第２探索領域は、最適パッチ探索に基づいた前記フレーム内修復が使用されるときに前記基準視点ビュー内のソースパッチが探索される領域であり、
前記ホール復元部は、前記第１背景比率が前記第２背景比率よりも大きい場合、前記フレーム間修復を使用して前記初期基準視点レイヤ内のホールを復元し、前記第１背景比率が前記第２背景比率よりも小さい場合、前記フレーム内修復を使用して前記初期基準視点レイヤ内にホールを復元する、
請求項１４乃至１６の何れか一項に記載の映像処理装置。
【請求項１８】
前記第１背景比率及び前記第２背景比率が互いに類似するとき、前記基準視点レイヤは、前記フレーム間修復を使用して復元されたホール及び前記フレーム内修復によって復元されたホールを混合することによって生成される、
請求項１７に記載の映像処理装置。
【請求項１９】
前記基準視点レイヤ生成部は、前記現在フレームの基準視点ビューの動きを推定する動き推定部をさらに含み、
前記動き推定部は、前記基準視点ビュー内のブロックそれぞれの動きを推定し、前記ブロックのうちで背景に対応するブロックの推定された動きを、前記ブロックのうちで前景に対応するブロックの動きとして拡散する、
請求項１４乃至１８の何れか一項に記載の映像処理装置。
【請求項２０】
前記背景レイヤ累積部は、前記基準視点ビューの推定された動きを反映し、前記基準視点レイヤの背景を前記累積した背景レイヤに累積する、
請求項１４乃至１９の何れか一項に記載の映像処理装置。
【請求項２１】
前記背景レイヤ累積部は、前記現在フレームで場面転換が発生した場合、前記累積した背景レイヤを初期化する、
請求項１４乃至２０の何れか一項に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
多視点を生成する方法及び装置に関する。
【０００２】
視空間的な一貫性を向上させることができる画像処理方法及び装置が開示される。
【背景技術】
【０００３】
多視点画像（multi-view  image）装置は、相違した視点における複数の画像を出力する。全ての多視点映像に関する情報がリアルタイムで映像装置に送信及び格納されるためには、高仕様の記憶装置、高仕様の送信線、及び高い帯域幅が求められる。すなわち、多視点構造の映像を生成し、生成された映像を地上波放送又は有線ネットワークを通じて各家庭のテレビに送信するには、高い費用が求められる。
【０００４】
したがって、（例えば、１〜３つである）少数の入力ビューだけが伝達される（例えば、テレビである）映像処理装置が、前記入力ビューを使用して多視点映像を生成する必要がある。
【０００５】
制限された個数の入力ビューを使用して多視点映像を生成する場合、入力ビューでは、前景のオブジェクトによって遮られた背景の遮蔽（occlusion）領域が、多視点映像内でホール領域として現れることがある。
【０００６】
多視点映像のホールは、表示される前に復元されなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一実施形態は、基準視点レイヤを生成し、基準視点レイヤを使用して出力ビュー内のホールを復元することにより、互いに相違した視点を有する出力ビュー間の空間的な一貫性を向上させる装置及び方法を提供することを目的とする。
【０００８】
一実施形態は、以前フレームで生成された基準視点レイヤの背景に関する情報を累積し、累積した背景に関する情報を出力ビュー内のホールを復元するために使用することにより、隣接したフレームの出力ビュー間の時間的な一貫性を向上させる装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
一態様において、現在フレームの１つ以上の入力ビューを使用して基準視点に対する基準視点ビューを生成するステップ、少なくとも１つの視点でホールとして現れる前記基準視点ビュー内の領域をホールに置換することによって前記現在フレームの初期基準視点レイヤを生成するステップ、前記現在フレームの少なくとも１つの以前フレームの基準視点レイヤ及び前記初期基準視点レイヤに基づいて前記初期基準視点レイヤ内のホールを復元することによって前記現在フレームの基準視点レイヤを生成するステップ、前記１つ以上の入力ビューを使用して出力視点における映像を生成するステップ、及び前記現在フレームの基準視点レイヤを利用して前記出力視点の映像内のホールを復元するステップを含む、映像処理方法が提供される。
【００１０】
前記基準視点は、前記１つ以上の入力ビューのうちの中心入力ビューの視点であってもよい。
【００１１】
前記現在フレームの基準視点レイヤを生成するステップは、累積した背景レイヤに基づいて前記初期基準視点レイヤ内のホールを復元するフレーム間修復（inter-frame  inpainting）、及び前記初期基準視点レイヤに基づいて前記初期基準視点レイヤ内のホールを復元するフレーム内修復（intra-frame  inpainting）のうちの１つ以上に基づいて前記初期基準視点レイヤ内のホールを復元するステップ、及び前記現在フレームの基準視点レイヤを使用して前記累積した背景レイヤを更新するステップを含んでもよい。
【００１２】
前記累積した背景レイヤは、前記現在フレームの少なくとも１つの以前フレームの基準視点レイヤの背景を累積することによって生成されてもよい。
【００１３】
前記初期基準視点レイヤ内のホールは、前記初期基準視点レイヤの背景の構造体から優先的に復元する最適パッチ探索に基づいた修復によって復元されてもよい。
【００１４】
前記現在フレームの基準視点レイヤを生成するステップは、第１加重値及び第２加重値を決定するステップを含んでもよい。
【００１５】
前記初期基準視点レイヤ内のホールは、第１結果に前記第１加重値を適用した結果及び第２結果に前記第２加重値を適用した結果を合わせることによって復元されてもよい。
【００１６】
前記第１結果は、前記フレーム間修復を適用して前記初期基準視点レイヤ内のホールを復元したときの結果であってもよい。前記第２結果は、前記フレーム内修復を適用して前記初期基準視点レイヤ内のホールを復元したときの結果であってもよい。
【００１７】
第１背景比率は第１探索領域内の背景の比率であってもよく、第２背景比率は第２探索領域内の背景の比率であってもよい。
【００１８】
前記第１探索領域は、最適パッチ探索に基づいた前記フレーム間修復が使用されるときに前記累積した背景レイヤ内のソースパッチが探索される領域であってもよく、前記第２探索領域は、最適パッチ探索に基づいた前記フレーム内修復が使用されるときに前記基準視点ビュー内のソースパッチが探索される領域であってもよい。
【００１９】
前記第１背景比率が前記第２背景比率よりも大きい場合、前記初期基準視点レイヤ内のホールは、前記フレーム間修復によって復元されてもよく、前記第１背景比率が前記第２背景比率よりも小さい場合、前記初期基準視点レイヤ内のホールは、前記フレーム内修復によって復元されてもよい。
【００２０】
前記現在フレームの基準視点レイヤを生成するステップは、前記現在フレームの基準視点ビューの動きを推定するステップをさらに含んでもよい。
【００２１】
前記基準視点ビューの動きを推定するステップは、前記基準視点ビュー内のブロックそれぞれの動きを推定するステップ、及び前記ブロックのうちで背景に対応するブロックの推定された動きを、前記ブロックのうちで前景に対応するブロックの動きとして拡散するステップをさらに含んでもよい。
【００２２】
前記累積した背景レイヤを更新するステップは、前記基準視点ビューの推定された動きを反映し、前記基準視点レイヤの背景を前記累積した背景レイヤに累積するステップを含んでもよい。
【００２３】
前記累積した背景レイヤを更新するステップは、前記現在フレームで場面転換が発生した場合、前記累積した背景レイヤを初期化するステップをさらに含んでもよい。
【００２４】
他の一態様によれば、現在フレームの１つ以上の入力ビューを使用して基準視点に対する基準視点ビューを生成する基準視点ビュー生成部、少なくとも１つの視点でホールとして現れる前記基準視点ビュー内の領域をホールに置換することによって前記現在フレームの初期基準視点レイヤを生成する初期基準視点レイヤ生成部、前記現在フレームの少なくとも１つの以前フレームの基準視点レイヤ及び前記初期基準視点レイヤに基づいて前記初期基準視点レイヤ内のホールを復元することによって前記現在フレームの基準視点レイヤを生成する基準視点レイヤ生成部、前記１つ以上の入力ビューを使用して出力視点における映像を生成する出力ビュー生成部、及び前記現在フレームの基準視点レイヤを使用して前記出力視点の映像内のホールを復元する出力ビューホール復元部を含む、映像処理装置が提供される。
【発明の効果】
【００２５】
基準視点レイヤを生成し、基準視点レイヤを使用して出力ビュー内のホールを復元することにより、互いに相違した視点を有する出力ビュー間の空間的な一貫性を向上させる装置及び方法が提供される。
【００２６】
以前フレームで生成された基準視点レイヤの背景に関する情報を累積し、累積した背景に関する情報を出力ビュー内のホールを復元するために使用することにより、隣接したフレームの出力ビュー間の時間的な一貫性を向上させる装置及び方法が提供される。
【図面の簡単な説明】
【００２７】
【図１】一例に係る視空間的な一貫性を提供することができる多視点レンダリング方法の概要を説明する図である。
【図２】一実施形態に係る映像処理装置のブロック図である。
【図３】一実施形態に係る映像処理方法のフローチャートである。
【図４】一例に係る２つの入力ビューに基づいて基準視点を決定し、基準視点に対する映像及び視差を生成する方法を説明する図である。
【図５】一例に係る２ｎ＋１個の入力ビューに基づいて基準視点を決定し、基準視点に対する映像及び視差を生成する方法を説明する図である。
【図６】一例に係る初期基準視点レイヤ生成方法のフローチャートである。
【図７】一例に係る基準視点映像及び基準視点視差情報を使用して基準視点レイヤ及び基準視点レイヤの視差情報が生成される過程を説明する図である。
【図８】一例に係るホールマップの生成原理を説明する図である。
【図９】一例に係るホールマップ生成方法を説明する図である。
【図１０】一例に係るホールに設定されるピクセルの個数を決定する方法を説明する図ある。
【図１１】一例に係るホールマップ生成方法のフローチャートである。
【図１２】一例に係る基準視点レイヤ生成部のブロック図である。
【図１３】一例に係る基準視点レイヤ生成方法のフローチャートである。
【図１４】一例に係る最適パッチ探索に基づく修復のフローチャートである。
【図１５】一例に係る構造体を判別してホールピクセルに優先順位を付与する方法を説明する図である。
【図１６】一例に係る最適パッチ探索に基づく修復のためのソースパッチ探索方法を説明する図である。
【図１７】一例に係る動き推定によって累積した背景レイヤを生成した結果を説明する図である。
【図１８】一例に係る動きベクトルの拡散を説明する図である。
【図１９】一例に係るブロック間の動きベクトルの拡散を示す図である。
【図２０】一例に係る反復的な動きベクトルの拡散を説明する図である。
【図２１】一例に係る動きベクトルの拡散のフローチャートである。
【図２２】一例に係るフレーム間修復及びフレーム内修復の結果を比較する図である。
【図２３】他の一例に係るフレーム間修復及びフレーム内修復の結果を比較する図である。
【図２４】一例に係る累積した背景レイヤを更新する方法のフローチャートである。
【図２５】一例に係る基準視点レイヤの背景を累積した背景レイヤに累積する過程を説明する図である。
【図２６】一例に係る出力ビューの生成及び出力ビューのホールを復元する方法を説明する図である。
【発明を実施するための形態】
【００２８】
以下、実施形態について、添付の図面を参照しながら詳細に説明する。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一する参照符号は、同一する部材を示す。
【００２９】
視差及び深さは互いに反比例関係を有する。したがって、下記実施形態において、視差及び深さは互い代替される場合がある。
【００３０】
下記において、ｔフレームは、特定の視角ｔにおけるフレーム又はｔ番目のフレームを示す。したがって、現在フレームがｔフレームであるとき、ｔ−１フレームは現在フレームの以前のフレームを示す。
【００３１】
ビューは映像及び視差情報を含む。映像は１つ以上のピクセルを含む。視差情報は１つ以上のピクセルを含む。同じ座標を有する映像内のピクセル及び視差情報内のピクセルは互いに対応する。映像内の特定のピクセルはカラー値を有する。視差情報内の特定のピクセルは視差値を有する。映像内のピクセルが特定のオブジェクトの特定の点又は特定の領域のカラーを示す場合、前記映像内のピクセルに対応する視差情報内のピクセルは、前記点又は前記領域の視差を示す。
【００３２】
図１は、一例に係る視空間的な一貫性を提供することができる多視点レンダリング方法の概要を説明する図である。
【００３３】
視角ｔにおいて、現在フレームであるｔ番目のフレームの１つ以上の入力ビューが示された。１つ以上の入力ビューはそれぞれ、少なくとも１つのオブジェクトを含むシーンを特定の視点から撮影したものである。ここで、入力ビューの視点を参照視点（reference  viewpoint）と命名する。
【００３４】
１つ以上の入力ビューに基づいて１つ以上の出力ビューが生成される。前記出力ビューは、入力ビューの内挿（interpolation）によって生成された内挿ビュー、及び入力ビューの外挿（extrapolation）によって生成された外挿ビューを含む。ここで、出力ビューそれぞれの視点を任意視点と命名する。内挿又は外挿によって出力ビューが生成された場合、入力ビュー内では前景のオブジェクトによって遮蔽された背景領域が、出力ビュー内ではホールとして現れるようになる。
【００３５】
出力ビュー内のホールを復元するために、基準視点レイヤが使用される。ここで、ホールレンダリングとは、ホールを満たす動作を意味する。基準視点レイヤを使用するホールレンダリングにより、出力ビューの一部である、満たされた復元されたホールが生成される。
【００３６】
現在フレームの基準視点レイヤは、現在フレームの１つ以上の入力ビューを使用して生成される。基準視点レイヤは、互いに相違した視点を有する１つ以上のそれぞれの出力ビュー内のホールを一括的に復元するために使用する。単一の基準視点レイヤにより、それぞれの出力ビュー内にホールが空間的に均一に復元されるようになる。すなわち、このような一括的な復元により、出力ビュー間の空間的な一貫性が向上するようになる。
【００３７】
１つ以上の入力ビューに基づいて基準視点レイヤを生成するとき、基準視点レイヤの最大ホール領域が設定される。最大ホール領域を含む基準視点レイヤを初期基準視点レイヤと命名する。基準視点レイヤは、初期基準視点レイヤ内のホールが復元されたレイヤである。ここで、最大ホール領域は、１つ以上の入力ビューに基づいて生成されるすべての出力ビュー内のホールの領域を合わせたものである。前記最大ホール領域は、初期基準視点レイヤ自体の情報に基づいてホールを復元するフレーム内修復によって復元される。後述するように、フレーム内修復による最大ホール領域の復元は、時間軸に拡張される。
【００３８】
基準視点レイヤは、フレーム別に生成される。ｔフレームの初期基準視点レイヤが生成されるときには、既にｔ−１フレームの（ホール復元された）基準視点レイヤが生成されているものと見なす。現在フレームの初期基準視点レイヤの最大ホール領域は、現在フレームの初期基準視点レイヤの情報だけではなく、以前フレームの基準視点レイヤの情報にも基づいて復元される。フレーム間修復は、現在フレームの少なくとも１つの以前フレームの基準視点レイヤに基づいて現在フレームの初期基準視点レイヤの最大ホール領域を復元することを意味する。フレーム間修復は、現在フレームの少なくとも１つの以前フレームの累積した基準視点レイヤに基づいて現在フレームの初期基準視点レイヤの最大ホール領域を復元することを意味する。
【００３９】
フレーム間修復によって以前フレームで出力ビュー内のホールを復元するために参照された情報（すなわち、以前フレームの基準視点レイヤ）が、現在フレームの初期基準視点レイヤのホールを復元するために連続的に参照される。したがって、隣接したフレームの初期基準視点レイヤ内のホールが時間軸上で均一に復元されるようになる。また、現在フレームの（ホール復元された）基準視点レイヤは、以後には、現在フレームの次フレーム（例えば、ｔ＋１フレーム）の初期基準視点レイヤ内の最大ホール領域を復元するために使用される。
【００４０】
上述したフレーム内修復及びフレーム間修復に基づいて生成された基準視点レイヤを使用することにより、１つ以上のホールが復元された出力ビュー間の視空間的な一貫性が向上するようになる。
【００４１】
図２は、一実施形態に係る映像処理装置のブロック図である。映像処理装置２００は、基準視点決定部２１０、基準視点ビュー生成部２２０、初期基準視点レイヤ生成部２３０、基準視点レイヤ生成部２４０、出力ビュー生成部２５０、出力ビューホール復元部２６０、及び出力部２７０を含む。前記構成要素２１０〜２７０それぞれの動作は、後述する図３〜図２６を参照しながら詳細に説明する。
【００４２】
図３は、一実施形態に係る映像処理方法のフローチャートである。
【００４３】
ステップ３１０で、基準視点決定部２１０は、基準視点レイヤの基準視点を決定する。
【００４４】
基準視点は、後述される基準視点映像、基準視点視差情報、ホールマップ、初期基準視点レイヤ、及び基準視点レイヤの視点である。すなわち、基準視点は、ホールマップ及び基準視点レイヤなどの生成において基準となる視点である。
【００４５】
基準視点を決定する方法の一例は、後述する図４及び図５を参照しながら詳細に説明する。
【００４６】
ステップ３２０で、基準視点ビュー生成部２２０は、現在フレームの１つ以上の入力ビューを使用して基準視点に対する基準視点ビューを生成する。基準視点ビューは、映像及び視差情報を含む。
【００４７】
ステップ３３０で、初期基準視点レイヤ生成部２３０は、例えば、任意の視点へのワーピングにより、少なくとも１つの視点でホールとして現れる基準視点ビュー内の領域をホールに置換することによって現在フレームの初期基準視点レイヤを生成する。
【００４８】
１つ以上の入力ビューはそれぞれ、映像及び視差情報を含む。初期基準視点レイヤは、映像及び視差情報を含む。初期基準視点レイヤを生成する方法の一例は、後述する図６〜図１１を参照しながら詳細に説明する。
【００４９】
ステップ３４０で、基準視点レイヤ生成部２４０は、現在フレームの少なくとも１つの以前フレームの基準視点レイヤ及び現在フレームの初期基準視点レイヤに基づいて前記初期基準視点レイヤ内のホールを復元することによって現在フレームの基準視点レイヤを生成する。基準視点レイヤ内で復元された領域は、出力ビュー内のホールを復元するために使用される。基準視点レイヤは、映像及び視差情報を含む。
【００５０】
ステップ３５０で、出力ビュー生成部２５０は、１つ以上の入力ビューを使用して１つ以上の出力ビューを生成する。１つ以上の出力ビューはそれぞれ、特定の出力視点におけるビューである。出力ビューは、出力視点における映像を含む。出力ビュー生成部２５０は、１つ以上の入力ビューを使用する内挿又は外挿によって１つ以上の出力ビューを生成する。内挿又は外挿によって生成された１つ以上の出力ビューはそれぞれ、ホールを含む。ここで、出力視点における映像とは、観測者が１つ以上の入力ビューによって捕捉したシーンを前記出力視点から眺めたとき、前記観測者が見ることになる映像を意味する。
【００５１】
ステップ３６０で、出力ビューホール復元部２６０は、現在フレームの基準視点レイヤを使用して１つ以上の出力ビューのホールを復元する。ステップ３７０で、出力部２７０は、ホール復元された１つ以上の出力ビューを出力する。
【００５２】
図４は、一例に係る２つの入力ビューに基づいて基準視点を決定し、基準視点に対する映像及び視差を生成する方法を説明する図である。図４で、入力ビューは、第１入力ビュー４１０及び第２入力ビュー４２０である。第１入力ビュー４１０及び第２入力ビュー４２０はそれぞれ、ステレオ（すなわち、両方向）ビュー入力の左入力ビュー及び右入力ビューである。または、第１入力ビュー４１０及び第２入力ビュー４２０はそれぞれ、２ｎ個の入力ビューのうちのｎ番目の入力ビュー及びｎ＋１番目の入力ビューである。ここで、ｎは１以上の整数である。第１入力ビュー４１０及び第２入力ビュー４２０は、１つ以上の入力ビューのうちで中心に位置する２つの入力ビューである。
【００５３】
第１入力ビュー４１０は、映像４１２及び視差情報４１４を含む。第２入力ビュー４２０は、映像４２２及び視差情報４２４を含む。
【００５４】
ステップ３１０で、基準視点決定部２１０は、第１入力ビュー４１０の視点及び第２入力ビュー４２０の視点の中心を基準視点として決定する。また、基準視点決定部２１０は、１つ以上の全体入力ビューのうち、２つの選択された入力ビューの視点の中心を基準視点として決定する場合がある。
【００５５】
ステップ３２０で、基準視点ビュー生成部２２０は、第１入力ビュー４１０及び第２入力ビュー４２０に基づいて基準視点ビュー４３０（すなわち、基準視点映像４３２及び基準視点視差情報４３４）を生成する。基準視点ビュー生成部２２０は、第１入力ビュー４１０及び第２入力ビュー４２０の色／視差の内挿によって基準視点ビュー４３０を生成する。基準視点ビュー生成部２２０は、第１入力ビュー４１０の映像４１２、第１入力ビュー４１０の視差情報４１４、第２入力ビュー４２０の映像４２２、及び第２入力ビュー４２０の視差情報４２４を使用するワーピングを実行することによって基準視点ビュー４３０を生成する。
【００５６】
図５は、一例に係る２ｎ＋１個の入力ビューに基づいて基準視点を決定し、基準視点に対する映像及び視差を生成する方法を説明する図である。図５で、入力ビューは、奇数個の入力ビュー５１０、３２０、３３０である。
【００５７】
１つ以上の入力ビューは２ｎ＋１個である。ここで、ｎは０以上の整数である。中心入力ビュー５２０（すなわち、２ｎ＋１個の入力ビューのうちのｎ番目の入力ビュー）は、映像５２２及び視差情報５２４を含む。
【００５８】
ステップ３１０で、基準視点決定部２１０は、１つ以上の入力ビューのうち、中央に位置する入力ビューの視点を基準視点として決定する。基準視点決定部２１０は、２ｎ＋１個の入力ビューのうち、ｎ番目の中心入力ビュー５２０の視点を基準視点として決定する。
【００５９】
ステップ３２０で、基準視点が１つ以上の入力ビューのうちの特定のビューの視点と同じである場合、基準視点ビュー生成部２２０は、前記特定のビューを基準視点ビュー５４０として設定（または、使用）する。また、基準視点ビュー生成部２２０は、前記特定のビューの映像を基準視点映像５４２として設定し、前記特定のビューの視差情報を基準視点視差情報５４４として設定する。例えば、基準視点が中心入力ビュー５２０の視点である場合、基準視点ビュー生成部２２０は、中心入力ビュー５２０を基準視点ビュー５４０として設定する。
【００６０】
ステップ３２０で、１つ以上の入力ビューが奇数個（すなわち、２ｎ＋１個）である場合、基準視点ビュー生成部２２０は、中心（すなわち、ｎ番目の）入力ビュー５２０の映像５２２を基準視点映像５４２として設定し、中心入力ビュー５２０の視差情報５２４を基準視点視差情報５４４として設定する。
【００６１】
図６は、一例に係る初期基準視点レイヤ生成方法のフローチャートである。ステップ３３０は、下記ステップ６１０〜６３２を含む。
【００６２】
ステップ６１０で、初期基準視点レイヤ生成部２３０は、基準視点に対するホールマップを生成する。ホールマップは、出力ビューで発生する最大の大きさのホール領域を意味する最大ホール領域を示す。基準視点ビュー内のピクセルが特定の視点へのワープ（warping）によって移動する場合、ホールマップは、前記ピクセルのうちの少なくとも１つの視点でホールとして現れる領域に対応するピクセルを示す。すなわち、基準視点ビュー内のピクセルのうちの少なくとも１つの視点でホールとして現れるピクセルは、ホールマップ内でホールピクセルになる。すなわち、最大ホール領域は、１つ以上の入力ビューに基づいて生成されるすべての出力ビュー内のホールの領域を合わせたものである。ホールマップは、任意の出力ビュー内で発生するホールに関する情報を基準視点に集めたものである。
【００６３】
ステップ６２０で、初期基準視点レイヤ生成部２３０は、ホールマップ及び基準視点ビュー（すなわち、基準視点映像及び基準視点視差情報）を使用して初期基準視点レイヤを構成する。
【００６４】
図７は、一例に係る基準視点映像及び基準視点視差情報を使用して基準視点レイヤ及び基準視点レイヤの視差情報が生成される過程を説明する図である。
【００６５】
図２〜図５を参照しながら詳述したように、１つ以上の入力ビュー７１０、７１５に基づいて基準視点ビュー７２０（すなわち、基準視点映像７３０及び基準視点視差情報７３５）が生成される。基準視点ビュー７２０は、基準視点映像７３０及び基準視点視差情報７３５を含む。
【００６６】
基準視点映像７３０は、前景７３２及び背景７３４を含む。一般的に、前景７３２は背景７３４に比べてより大きい視差（すなわち、より小さい深さ）を有する。
【００６７】
基準視点視差情報７３５は、前景７３２と関連した前景視差情報７３６及び背景７３４と関連した背景視差情報７３８を含む。
【００６８】
ホールマップ７４０は、ホール部分７４２、７４４及び非ホール部分７４６を含む。ホールマップ７４０は、ホール部分７４２、７４４は０で表現し、非ホール部分７４６は１で表現する２進マップである。ホールは、ピクセルの視差が分からないものを意味する。すなわち、ホール部分７４２、７４４は、ホール部分７４２、７４４に対応するピクセルの視差が分からないものを意味する。
【００６９】
ステップ６１０で、初期基準視点レイヤ生成部２３０が基準視点に対するホールマップ７４０を生成する具体的な方法の一例は、下記図８〜図１２を参照しながら詳細に説明する。
【００７０】
初期基準視点レイヤ７５０は、映像７６０及び視差情報７７０を含む。初期基準視点レイヤ７５０の映像７６０は、前景７６２、背景７６４、及びホール７６６、７６８を含む。
【００７１】
ステップ６２０で、初期基準視点レイヤ生成部２３０は、基準視点映像７３０及びホールマップ７４０に基づいて初期基準視点レイヤ７５０の映像７６０を構成する。例えば、初期基準視点レイヤ生成部２３０は、基準視点映像７３０のうちでホール部分７４２、７４４に対応する部分をホール７６６、７６８として設定する。初期基準視点レイヤ生成部２３０は、基準視点映像７３０のうちで非ホール部分７４６に対応する部分を前景７６２又は背景７６４として設定する。
【００７２】
ステップ６２０で、初期基準視点レイヤ生成部２３０は、基準視点視差情報７３５及びホールマップ７４０に基づいて初期基準視点レイヤ７５０の視差情報７７０を生成する。例えば、視差情報７７０は、前景７６２に対応する前景視差情報７７２、背景７６４に対応する背景視差情報７７４、及びホール７７６、７７８を含む。
【００７３】
ステップ６２０で、初期基準視点レイヤ生成部２３０は、基準視点映像７３０及びホールマップ７４０の間の論理積（AND）演算に基づいて初期基準視点レイヤ７５０の映像７６０を生成する。初期基準視点レイヤ生成部２３０は、基準視点映像７３０のうちでホールマップ７４０の「０」（すなわち、ホール部分７４２、７４４）に対応する部分をＡＮＤ演算によってホール７６６、４６８として設定する。基準視点映像７３０のうちでホールマップ７４０の「１」（すなわち、比−ホール部分７４６）に対応する部分は、ＡＮＤ演算によって影響を受けない。したがって、初期基準視点レイヤ生成部２３０は、基準視点映像７３０のうちでホールマップ７４０の「１」に対応する部分を前景７６２又は背景７６４として設定する。
【００７４】
すなわち、初期基準視点レイヤ生成部２３０は、初期基準視点レイヤ７５０の映像７６０のうちで非ホール部分７４６に対応する領域７６２、７６４に対しては基準視点映像７３０をそのまま使用し、映像７６０のうちでホール部分７４２、７４４に対応する領域７６６、７６８はホールとして設定する。また、初期基準視点レイヤ生成部２３０は、初期基準視点レイヤ７５０の視差情報７７０のうちで非ホール部分７４６に対応する領域７７２、７７４に対しては基準視点視差情報７３５をそのまま使用し、視差情報７７０のうちでホール部分７４２、７４４に対応する領域７７６、７７８はホールとして設定する。
【００７５】
ステップ３４０で、基準視点レイヤ生成部２４０は、初期基準視点レイヤ７５０の映像７６０に対するホール復元過程を実行することにより、ホールがすべて復元された（すなわち、満たされた）基準視点レイヤ７８０を生成する。基準視点レイヤ７８０は、映像７９０及び視差情報７９５を含む。映像７９０及び視差情報７９５はホールを有さない。
【００７６】
任意の視点の出力ビューを生成するときに生じる出力ビューのホールは、基準視点レイヤ７８０で一括的に復元されたホール領域を利用して復元される。
【００７７】
初期基準視点レイヤ７５０内のホールを復元する具体的な方法は、下記図８〜図１１を参照しながら詳細に説明する。
【００７８】
図８は、一例に係るホールマップの生成原理を説明する図である。
【００７９】
出力映像内のホールは、準視点映像内の隣接した領域（例えば、互いに隣接した左側ピクセル及び右側ピクセル）の視差間の差によって発生するようになる。
【００８０】
ピクセルが自身と隣接し、自身の左側にあるピクセルに比べてさらに大きい視差を有する場合（すなわち、ピクセルの視差から前記ピクセルの左側ピクセルの視差を引いた値である△ｄLが０よりも大きい場合）、基準視点から左側方向にワープした出力映像内で、前記ピクセルの左側にホールが発生するようになる。
【００８１】
ピクセルの自身と隣接し、自身の右側にあるピクセルに比べてさらに大きい視差を有する場合（すなわち、ピクセルの視差から前記ピクセルの右側ピクセルの視差を引いた値である△ｄＲが０よりも大きい場合）、基準視点から右側方向にワープした出力映像内で、前記ピクセルの右側にホールが発生するようになる。
【００８２】
第１出力映像８１０は、基準視点ビュー７２０（又は、基準視点映像７３０）が左側方向にワープすることによって生成される。第１出力映像８１０内では、前景８１２の左側領域に△ｄL（例えば、２０ピクセル）だけのホール８１６が発生する。第２出力映像８２０は、基準視点ビュー７２０が右側方向にワープすることによって生成される。第２出力映像８２０内では、前景８２２の右側領域に△ｄＲ（例えば、２０ピクセル）だけのホール８２６が発生する。
【００８３】
したがって、基準視点ビュー７２０内の隣接したピクセル間の視差差を分析することにより、特定の視点の出力映像内で発生するホール領域が予測される。したがって、ホールマップ７４０は、基準視点ビュー７２０を任意の視点にワープさせることによって生成されるホールを基準視点映像に集めたものと見なされる。
【００８４】
図９は、一例に係るホールマップ生成方法を説明する図である。
【００８５】
初期基準視点レイヤ生成部２３０は、１つ以上の出力ビューが生成されるときに発生するホール領域を予測するために、基準視点ビュー７２０内の各ピクセルの視差の差分を計算する。下記において、ピクセルは領域に代替される場合がある。
【００８６】
視差の差分は、左側差分△ｄＬ及び右側差分△ｄＲを含む。左側差分は、前記ピクセルの左側に隣接したピクセル（以下、左側ピクセル）に対する差分である。右側差分は、前記ピクセルの右側に隣接したピクセル（以下、右側ピクセル）に対する差分である。
【００８７】
第１グラフ９２０で、基準視点視差情報７３５内の特定の水平線９１０の視差が示された。
【００８８】
初期基準視点レイヤ生成部２３０は、グラフ９２０に示すような視差の差を利用し、基準視点映像７３０内の前景７３２によって遮られた領域をホール領域として判断する。
【００８９】
初期基準視点レイヤ生成部２３０は、１）視差の左側差分、２）視差の右側差分、３）入力ビュー間の入力ベースライン、及び４）最外郭出力ビューの視点間の距離に基づき、前景によって遮られた領域を計算する。初期基準視点レイヤ生成部２３０は、基準視点映像７３０内のピクセルの視差間の差分（すなわち、△ｄＬ及び△ｄＲ）に基づいてホールマップ７４０を生成する。
【００９０】
前景によって遮られた領域（すなわち、ホールとして設定されるピクセル）を判断する方法の一例は、下記で説明される。
【００９１】
第１ピクセルの第１視差が第１ピクセルに左側に隣接した第２ピクセルの第２視差よりも閾値以上大きい場合（すなわち、第１ピクセルの△ｄＬが閾値よりも大きい場合）、初期基準視点レイヤ生成部２３０は、第１ピクセルから右側にα・△ｄＬ個だけのピクセルをホールとして設定する。ここで、ホールとして設定されるピクセルの個数は、第１視差及び第２視差の間の差に比例する。αは定数である。
【００９２】
第１ピクセルの第１視差が第１ピクセルに右側に隣接した第３ピクセルの第３視差よりも閾値以上大きい場合（すなわち、第１ピクセルの△ｄＲが閾値よりも大きい場合）、初期基準視点レイヤ生成部２３０は、第１ピクセルから左側にα・△ｄＲ個だけのピクセルをホールとして設定する。ホールとして設定されるピクセルの個数は、第１視差及び第３視差の間の差に比例する。
【００９３】
第１領域９３０及び第２領域９４０はそれぞれ、ピクセルの視差間の差分に基づいて生成されるホール領域（すなわち、前景７３２によって遮られると判断された領域）を示す。
【００９４】
第２グラフ９５０は、差分（△ｄＬ又は△ｄＲ）及びαに比例して第１領域９３０及び第２領域９４０が設定される（又は、計算される）方法を示す。
【００９５】
αを計算する方法の一例は、下記で図１０を参照しながら詳細に説明する。
【００９６】
初期基準視点レイヤ生成部２３０は、１つ以上のピクセルによって重複してホールとして設定された領域を１つのホール領域として格納する。
【００９７】
図１０は、一例に係るホールとして設定されるピクセルの個数を決定する方法を説明する図である。
【００９８】
入力ベースラインは、１つ以上の入力ビューのうち、最左側入力ビュー１０１０の視点及び最右側入力ビュー１０２０の視点の間の距離である。
【００９９】
最左側出力ビュー１０３０は、１つ以上の入力ビューに基づいて生成された出力ビューのうちで最も左側の視点を有する出力ビューである。最右側出力ビュー１０４０は、１つ以上の入力ビューに基づいて生成された出力ビューのうちで最も右側の視点を有する出力ビューである。
【０１００】
入力ベースラインに比べて最外郭出力ビューの視点間の距離が長いほど、隣接する２つのピクセル間の視差の差により、より多くのピクセルがホールとして設定される。
【０１０１】
下記の数式（１）は、初期基準視点レイヤ生成部２３０がαを計算する方法の一例を示す。
【０１０２】
【数１】
0005964741.tif 000002
すなわち、αは、最外郭出力ビューの視点間の距離の入力ベースラインに対する比率を示す。
【０１０３】
例えば、入力ビューの視点間の最大距離に比べて出力ビューの視点間の最大距離が２倍であれば、αは２となる。
【０１０４】
図１１は、一例に係るホールマップ生成方法のフローチャートである。
【０１０５】
図６のステップ６１０は、下記ステップ１１１０、１１３０を含む。
【０１０６】
ステップ１１１０で、初期基準視点レイヤ生成部２３０は、１つ以上の出力映像が生成されるときに発生するホール領域を予測するために、基準視点ビュー７２０内の各ピクセルの視差の差分（例えば、左側差分△ｄＬ及び右側差分△ｄＲ）を計算及び格納する。
【０１０７】
ステップ１１２０で、初期基準視点レイヤ生成部２３０は、計算された視差の差分を利用し、前景によって遮られた領域をホール領域として判断及び設定する。ステップ１１３０で、初期基準視点レイヤ生成部２３０は、ホール領域と判断された領域を使用してホールマップ７４０を構成する。
【０１０８】
図１〜図１０を参照しながら詳述した実施形態に係る技術的内容は、本実施形態にそのまま適用される。したがって、より詳細な説明は、以下では省略する。
【０１０９】
図１２は、一例に係る基準視点レイヤ生成部のブロック図である。
【０１１０】
基準視点レイヤ生成部２４０は、動き推定部１２１０、場面転換判断部１２２０、加重値決定部１２３０、ホール復元部１２４０、及び背景レイヤ累積部１２５０を含む。
【０１１１】
前記構成要素１２１０〜１２５０それぞれの動作は、下記で図１３〜図２６を参照しながら詳細に説明する。
【０１１２】
図１３は、一例に係る基準視点レイヤ生成方法のフローチャートである。
【０１１３】
まず、フレーム間修復及びフレーム内修復を詳細に説明する。フレーム間修復は、累積した背景レイヤに基づいて初期基準視点レイヤ内のホールを復元することを意味する。累積した背景レイヤは、現在フレームの少なくとも１つの以前フレームの基準視点レイヤの背景を累積することによって生成される。フレーム内修復は、初期基準視点レイヤ（又は、初期基準視点レイヤの情報）に基づいて初期基準視点レイヤ内のホールを復元することを意味する。
【０１１４】
フレーム間修復及びフレーム内修復において、初期基準視点レイヤ内のホールは、初期基準視点レイヤの背景の構造体から優先的に復元する最適パッチ探索に基づく修復によって復元される。最適パッチ探索に基づく修復については、下記で図１４〜図１６を参照しながら詳細に説明する。最適パッチ探索に基づく修復方法を使用するフレーム間修復を、最適パッチ探索に基づく修復と略述する。最適パッチ探索に基づく修復方法を使用するフレーム内修復を、最適パッチ探索に基づく修復と略述する。
【０１１５】
ステップ１３１０で、動き推定部１２１０は、現在フレームの基準視点ビューの動きを推定する。基準視点ビューの推定された動きは、後述するステップ１３２０で現在フレームにおいて場面が転換したか否かを判断するために使用され、ステップ１３６０で累積した背景レイヤを更新するために使用される。
【０１１６】
現在フレームの基準視点ビューの動きを推定するための方法は、下記で図１７〜図２１を参照しながら詳細に説明する。
【０１１７】
ステップ１３２０で、場面転換判断部１２２０は、現在フレームの基準視点ビューで場面転換が発生したか否かが判断される。場面転換が発生した場合、現在フレームの情報（例えば、入力ビュー内の映像及び深さ情報）は、以前フレームの情報とは相当に相違するようになる。したがって、場面転換が発生した場合、累積した背景レイヤを使用して初期基準視点レイヤ内のホールを復元するフレーム間修復が使用される場合、ホールが復元された結果でエラーが発生することがある。場面転換が発生した場合、従来の累積した背景レイヤは、これ以上使用しないことが好ましいことがある。したがって、場面転換が発生した場合、ステップ１３６０で、背景レイヤ累積部１２６０は、累積した背景レイヤを初期化する。
【０１１８】
場面転換が発生した場合はステップ１３５０が実行され、場面転換が発生しなかった場合はステップ１３３０が実行される。場面転換判断部１２２０は、１番目のフレームに対しては場面転換が発生したと判断する。したがって、１番目のフレームの初期基準視点レイヤは、フレーム内修復が適用される。
【０１１９】
場面転換判断部１２２０は、現在フレーム（又は、現在フレームの基準視点ビュー）及び以前フレーム（又は、現在フレームの基準視点ビュー）の間の明るさ変化などのような両フレーム（又は、両基準視点ビュー）間の差に基づき、前記差が基準値以上の場合には、場面転換が発生したと判断する。
【０１２０】
場面転換判断部１２２０は、現在フレームの基準視点ビュー内のブロック及び以前フレームの基準視点ビュー内のブロックのうち、互いに対応するブロック間の絶対差分和（Sum  of  Absolute  Difference）に基づいて場面転換発生の可否を判断する。現在フレームの基準視点ビュー内のブロックを、以下では現在ブロックと命名する。以前フレームの基準視点ビュー内のブロックを、以下では以前ブロックと命名する。前記現在ブロックは、現在フレームの基準視点ビュー内の少なくとも１つのピクセルである。前記以前ブロックは、以前フレームの基準視点ビュー内の少なくとも１つのピクセルである。
【０１２１】
後述するように、ステップ１３１０で、動き推定部１２１０は、現在ブロックそれぞれに対し、現在ブロック（又は、ピクセル）の動きベクトル（MV）を決定する。前記ＭＶにより、現在ブロックはそれぞれ、特定の以前ブロックに対応する。すなわち、ＭＶによって特定の以前ブロックが特定の現在ブロックに移動したと推定される場合、前記特定の以前ブロック及び前記特定の現在ブロックは、互いに対応する。
【０１２２】
動き推定部１２１０は、現在ブロックそれぞれに対し、現在ブロック及び前記現在ブロックに対応する以前ブロックの間のＳＡＤを計算する。動き推定部１２１０は、全体現在ブロックのうちで計算されたＳＡＤの大きさが第１基準値以上である現在ブロックの個数又は比率が第２基準値以上である場合、現在フレームで場面転換が発生したと判断する。
【０１２３】
ステップ１３３０で、加重値決定部１２３０は、第１加重値及び第２加重値を決定する。
【０１２４】
後述されるステップ１３４０で、ホール復元部１２４０は、第１結果及び第２結果を適応的に融合することによって初期基準視点レイヤ内のホールを復元する。ここで、第１結果は、フレーム間修復を適用して初期基準視点レイヤ内のホールを復元したときの結果である。第２結果は、フレーム内修復を適用して初期基準視点レイヤ内のホールを復元したときの結果である。
【０１２５】
第１加重値は、初期基準視点レイヤ内のホールを復元するにおいて、第１結果が適用される比率を示す。第２加重値は、初期基準視点レイヤ内のホールを復元するにおいて、第２結果が適用される比率を示す。
【０１２６】
ステップ１３４０で、ホール復元部１２４０は、フレーム間修復及びフレーム内修復のうちの１つ以上に基づいて初期基準視点レイヤ内のホールを最終的に復元する。
【０１２７】
ホール復元部１２４０は、下記の数式（２）に基づいて初期基準視点レイヤ内のホールを復元する。
【０１２８】
【数２】
0005964741.tif 000003
【０１２９】
ここで、Ｉfusionは、初期基準視点レイヤ内のホールが最終的に復元された結果、すなわち、基準視点レイヤを示す。Ｉinterは、フレーム間修復を適用して初期基準視点レイヤ内のホールを復元したときの第１結果を示す。Ｉintraは、フレーム内修復を適用して初期基準視点レイヤ内のホールを復元したときの第２結果を示す。１−βは第１加重値を示す。βは第２加重値を示す。第１加重値及び第２加重値の合計は１である。
【０１３０】
すなわち、ホール復元部１２４０は、第１結果に第１加重値を適用した結果及び第２結果に第２加重値を適用した結果を合わせることによって初期基準視点レイヤ内のホールを復元する。
【０１３１】
第１加重値及び第２加重値は、初期基準視点レイヤ内のブロック別に決定される場合がある。第１加重値及び第２加重値は、初期基準視点レイヤ内のピクセル別に決定される場合がある。したがって、初期基準視点レイヤ内のブロック（又は、ピクセル）別に相違した復元方法が使用される場合がある。初期基準視点レイヤ内の第１ホールは、フレーム間修復によって復元される反面、初期基準視点レイヤ内の第２ホールは、フレーム内修復によって復元される。
【０１３２】
第１加重値及び第２加重値を決定する具体的な方法は、下記で図２２及び図２３を参照しながら詳細に説明する。
【０１３３】
ステップ１３５０で、ホール復元部１２４０は、フレーム内修復に基づいて初期基準視点レイヤ内のホールを最終的に復元する。ステップ１３５０は、現在フレームで場面転換が発生したと判断されたときに実行される。場面転換が発生したため、ホール復元部１２４０は、初期基準視点レイヤ内のホールを復元するために以前フレームの情報は使用しない。
【０１３４】
ステップ１３４０及びステップ１３５０により、ホール復元部１２４０は、初期基準視点レイヤ内のホールを復元することによって基準視点レイヤを生成する。ステップ１３６０で、背景レイヤ累積部１２５０は、現在フレームの基準視点レイヤを使用して累積した背景レイヤを更新する。前記更新によって累積した背景レイヤは、現在フレームの基準視点レイヤに関する情報を含み、以後の次フレームの初期基準視点レイヤ内のホールを復元するために使用される。
【０１３５】
累積した背景レイヤを更新するための具体的な方法は、下記で図２４及び図２５を参照しながら詳細に説明する。
【０１３６】
図１４は、一例に係る最適パッチ探索に基づく修復のフローチャートである。ステップ１４１０で、ホール復元部１２４０は、各ホールピクセルに対して前記ホールピクセルが視角的に強い構造体内にあるピクセルであるか否かを分析し、定量化した分析の結果を使用して前記ホールピクセルの優先順位を計算する。
【０１３７】
ホール復元部１２４０は、複数のホールピクセルのうちで主要な構造体を示すホールピクセルを優先的に復元することにより、初期基準視点レイヤ内の主要な構造体を維持しながら初期基準視点レイヤ内のホールを復元する。ホール復元部１２４０がホールピクセルの優先順位を計算する方法の一例は、下記で図１５を参照しながら詳細に説明する。
【０１３８】
ステップ１４２０で、ホール復元部１２４０は、ホールピクセルの優先順位を整列する。ステップ１４３０で、ホール復元部１２４０は、ターゲットパッチを決定する。ここで、ターゲットパッチは、最も高い優先順位を有するホールピクセルを中心として有するブロックである。
【０１３９】
ステップ１４４０で、ホール復元部１２４０は、初期基準視点レイヤ又は累積した背景レイヤ内からソースパッチを探索する。ソースパッチは、ターゲットパッチと最も類似したブロックである。
【０１４０】
ホール復元部１２４０がフレーム間修復を実行する場合、ホール復元部１２４０は、累積した背景レイヤ内からソースパッチを探索する。ホール復元部１２４０がフレーム内修復を実行する場合、ホール復元部１２４０は、初期基準視点レイヤ内からソースパッチを探索する。ホール復元部１２４０は、下記基準１〜基準３のうちの１つ以上を使用してターゲットパッチ及びソースパッチの間の類似度を計算する。
【０１４１】
基準１：ターゲットパッチのピクセル及び前記ターゲットパッチのピクセルに対応するソースパッチのピクセル間のＲＧＢ値の差。
【０１４２】
基準２：ターゲットパッチのブロック構造及びソースパッチのブロック構造間の差。ここで、ブロック構造は、パッチ内のピクセルのうち、輝度値が基準値よりも大きいピクセルは１に、輝度値が基準値以下のピクセルは０に設定したものを示す。ホール復元部１２４０は、ターゲットパッチのブロック構造及びソースパッチのブロック構造間のビット毎の差値を計算する。
【０１４３】
基準３：ターゲットパッチの空間座標及びソースパッチの空間座標間の差。
【０１４４】
ステップ１４５０で、ホール復元部１２４０は、探索されたソースパッチをターゲットパッチに複写することによって最も高い優先順位を有するホールピクセルを復元する。前記複写は、ソースパッチ内のピクセルそれぞれのカラー及び視差情報をターゲットパッチ内の対応するピクセルのカラー及び視差情報として使用することを意味する。ここで、ピクセルのカラーは、初期基準視点レイヤ（又は、累積した背景レイヤ）の映像内で参照され、ピクセルの視差情報は、初期基準視点レイヤ（又は、累積した背景レイヤ）の視差情報内で参照される。
【０１４５】
また、前記複写によって最も高い優先順位を有するホールピクセルの他にも、ターゲットパッチ内の異なる少なくとも１つのホールピクセルが復元される。
【０１４６】
ホール復元部１２４０がソースパッチを探索する方法の一例は、下記で図１６を参照しながら詳細に説明する。
【０１４７】
ステップ１４６０で、ホール復元部１２４０は、初期基準視点レイヤ内に残りのホールピクセルが存在するか否かを検査する。残りのホールピクセルがある場合、復元が継続されなければならない。また、ステップ１４５０での復元により、各ホールピクセルの優先順位が変更される。したがって、残りのホールピクセルがある場合、ステップ１４１０が再び実行される。残りのホールピクセルがない場合、基準視点レイヤが生成されたため、手順を終了する。
【０１４８】
ホール境界ピクセルは、初期基準視点レイヤ内のホール内のピクセルのうち、ホールでないピクセルと隣接したピクセルを意味する。すなわち、ホール境界ピクセルは、ホールピクセルのうち、ホール領域及び非ホール領域の間の境界にあるピクセルを意味する。
【０１４９】
一般的に、ホール境界ピクセルは、他のホールピクセルよりも高い優先順位を有する。したがって、前記ステップ１４１０〜１４６０で、ホールピクセルはホール境界ピクセルに代替される場合がある。すなわち、各ホール境界ピクセルの優先順位が計算され、最も高い優先順位を有するホール境界ピクセルを含むターゲットパッチが優先的に復元される場合がある。
【０１５０】
図１５は、一例に係る構造体を判別してホールピクセルに優先順位を付与する方法を説明する図である。
【０１５１】
下記において、ホールを含むターゲットパッチと同じパターンを有するパッチの個数に基づいて構造体を判別してホールピクセルに優先順位を付与する方法が説明される。
【０１５２】
図１５において、コーナーを示す第１ビュー１５１０、エッジを示す第２ビュー１５２０、及び均一な映像を示す第３ビュー１５３０がそれぞれ示される。また、ビュー１５１０、１５２０、１１５３０のターゲットパッチ１５１６、１５２６、１５３６が示される。ここで、ビュー１５１０、１５２０、１５３０は、それぞれ、初期基準視点レイヤである。
【０１５３】
コーナー領域を含む第１ビュー１５１０は、相違した色相又は視差を有する２つの領域１５１２、１５１４で構成される。エッジ領域を含む第２ビュー１５２０は、相違した色相又は視差を有する２つの領域１５２２、１５２４で構成される。均一な領域だけを示す第３ビュー１５３０は、単一な領域１５３４で構成される。
【０１５４】
ホール復元部１２４０は、ホールピクセルと隣接した領域内に前記ホールピクセルが示す構造体と同じ構造体を有する個数が少ないほど、前記ホールピクセルに高い優先順位を付与する。ここで、ホールピクセルと隣接した領域は、ホールピクセルを中心として有する特定の大きさのブロック内の領域を意味する。
【０１５５】
ホール復元部１２４０は、ホールピクセルと隣接した領域内に前記ホールピクセルを含むターゲットパッチと同じパターンを有するパッチの個数が少ないほど、前記ホールピクセルに高い優先順位を付与する。
【０１５６】
各ビュー１５１０、１５２０、１５３０の下段には、パッチ検索結果を示す映像１５４０、１５５０、１５６０が示される。各映像１５４０、１５５０、１５６０において、白色の部分は、ターゲットパッチ１５１６、１５２６、１５３６と同じパターンを有するパッチの中心を示す。第１ビュー１５１０内で（又は、ターゲットパッチ１５１６と隣接した領域内で）、ターゲットパッチ１５１６と同じパターンを有するパッチは、ターゲットパッチ１５１６自身だけである。したがって、第１映像１５４０内で白色の部分は１つの点だけである。
【０１５７】
第２ビュー１５２０内で、ターゲットパッチ１５２６と同じパターンを有するパッチは、第１領域１５２４及び第２領域１５２２の間の境界をなす斜線に沿って（すなわち、エッジの方向に沿って）存在する。したがって、第２映像１５５０内で白色の部分は前記斜線である。
【０１５８】
第３ビュー１５３０内のすべてのパッチは、ターゲットパッチ１５３６と同じパターンを有する。したがって、第３映像１５６０内で白色の部分は第３映像１５６０全体である。
【０１５９】
ターゲットパッチがランダムな形態を有する任意のテクスチャである場合、前記ターゲットパッチは、コーナー領域を示すターゲットパッチと類似した特性を有する。ターゲットパッチが同じ形態が繰り返される反復的なテクスチャである場合、前記ターゲットパッチは、エッジ領域を示すターゲットパッチと類似した特性を有する。
【０１６０】
したがって、ホール復元部１２４０は、１）コーナーを示すホールピクセル、２）ランダムなテクスチャを示すホールピクセル、３）エッジを示すホールピクセル、４）反復的なテクスチャを示すホールピクセル、５）均一な領域を示すホールピクセルの順に、高い優先順位を付与する。
【０１６１】
２つのパッチのパターンが同じであるか否かは、２つのパッチの対応するピクセル間の赤緑青（RGB）値の差によって決定される。すなわち、ホール復元部１２４０は、ターゲットパッチ及び比較の対象である特定のパッチに対し、両パッチの対応するピクセル間のＲＧＢ値の差を計算する。ホール復元部１２４０は、両パッチのすべての対応するピクセルのＲＧＢ値の差を合わせ、前記合計が基準値以下である場合、前記特定のパッチが前記ターゲットパッチと同じパターンを有するパッチであると決定する。
【０１６２】
ホール復元部１２４０は、探索領域内でターゲットパッチ及びホールピクセルを含むパッチ間のピクセル別ＲＧＢ値の差の平均（又は、総合計）が基準値以下である地点（すなわち、パッチの位置）の個数の逆数を前記ホールピクセルの優先順位として使用する。ここで、探索領域は、同じパターンを有するパッチを探索する領域である。例えば、第１ビュー１５１０のホールピクセルの優先順位は１／１である。第３ビュー１５３０のホールピクセルの優先順位は１／（探索領域内のピクセルの個数）である。
【０１６３】
上述した方式により、ホール復元部１２４０は、初期基準視点レイヤ内のホールの周辺のうちで主要な構造体が存在する地点（すなわち、ホールピクセル）に対し、優先的にホール復元を実行する。
【０１６４】
下記において、ホール境界ピクセルの輝度値の変化分の大きさに基づいて構造体を判別して、ホールピクセルに優先順位を付与する方法が説明される。
【０１６５】
ホール復元部１２４０は、下記の数式（３）で説明されたように、ホールピクセルの輝度値の水平方向への変化分（例えば、勾配値）及び垂直方向への変化分を計算し、前記水平方向への変化分及び前記垂直方向への変化分の幾何平均に基づいて前記ホールピクセルの優先順位を決定する。
【０１６６】
【数３】
0005964741.tif 000004
【０１６７】
ここで、ｘ及びｙはホールピクセルの座標を示す。Ｉ（ｘ，ｙ）はホールピクセルの輝度値を示す。Ｉｘはホールピクセルの輝度値の水平方向への変化分を示す。Ｉｙはホールピクセルの輝度値の垂直方向への変化分を示す。Ｇ（Ｉ）はホールピクセルの輝度値の勾配値を示す。
【０１６８】
ホールピクセルの輝度値の変化分の大きさを使用することにより、ホール復元部１２４０は、ホールピクセルの優先順位を決定する。すなわち、ホール復元部１２４０は、前記変化分の大きさを０以上１以下の値に正規化し、正規化された値をホールピクセルの優先順位の定量化した値として使用する。したがって、ホール復元部１２４０は、相対的に輝度値の差が大きいエッジ成分（すなわち、エッジを示すホールピクセル）から優先的にホールレンダリングが適用されるように優先順位を設定する。
【０１６９】
一般的に、ホール境界ピクセルは、他のホールピクセルに比べて高い優先順位を有する。したがって、上述した説明において、ホールピクセルはホール境界ピクセルに代替される場合がある。
【０１７０】
図１６は、一例に係る最適パッチ探索に基づく修復のためのソースパッチ探索方法を説明する図である。図１６で、初期基準視点レイヤ１６５０及び初期基準視点レイヤ１６５０の視差情報１６１０が示された。
【０１７１】
下記において、ホール復元部１２４０がフレーム内修復を使用して初期基準視点レイヤ１６５０内のホールを復元する場合、ソースパッチは初期基準視点レイヤ１６５０内で探索される。ホール復元部１２４０がフレーム間修復を使用して初期基準視点レイヤ１６５０内のホールを復元する場合、ソースパッチは累積した背景レイヤ内で探索される。
【０１７２】
ターゲットパッチ１６６０は、前景１６６２、背景１６６４、及びホール１６６６を有する。すなわち、ターゲットパッチ１６６０内には、前景１６６２、背景１６６４、及びホール１６６６が混在する。また、ターゲットパッチ１６６０の視差情報１６２０は、前景１６２２、背景１６２４、及びホール１６２６を有する。
【０１７３】
ターゲットパッチ内に前景がない場合、ホール復元部１２４０は、初期基準視点レイヤ１６５０又は累積した基準視点レイヤ内で最も類似した背景を探索する。しかし、図１６に示すように、ターゲットパッチ１６６０内に前景１６６２及び背景１６６４が共にある場合、ターゲットパッチ１６６０内で前景１６６２が分離しなければ、ホール復元部１２４０は、前景１６６２と類似したパッチをソースパッチとして選択する。したがって、ホール復元部１２４０が前景を示す情報を使用して初期基準視点レイヤ１６５０内のホールを復元するエラーが発生することがある。このようなエラーは、初期基準視点レイヤ１６５０又は累積した基準視点レイヤ内の前景が初期基準視点レイヤ１６５０のホールに拡散することを意味する。
【０１７４】
ホール復元部１２４０は、ターゲットパッチ１６６０内のピクセルの視差を分析して前記ピクセルを前景ピクセル及び背景ピクセルに分類する。ホール復元部１２４０は、ターゲットパッチ内のピクセルの視差が単一な群に分類される場合、すべてのピクセルを背景と見なす。ホール復元部１２４０は、ターゲットパッチ内のピクセルの視差が２つの群に分類される場合、低い視差を有する群に該当するピクセルを背景と見なし、高い視差を有する群に該当するピクセルを前景と見なす。ホール復元部１２４０は、ターゲットパッチ内のピクセルの視差が３つ以上の群に分類される場合、最も低い視差を有する群に該当するピクセルのみを背景と見なし、他の視差を有する群に該当するピクセルは前景と見なす。
【０１７５】
ホール復元部１２４０は、ターゲットパッチ内のピクセルの視差により、ターゲットパッチ内のピクセルのうちから背景ピクセルだけを選択し、初期基準視点レイヤ１６５０は累積した基準視点レイヤ内で、選択された背景ピクセルと最も類似したピクセルをソースパッチとして決定する。すなわち、ホール復元部１２４０は、ターゲットパッチ内のピクセルのうち、背景ピクセルだけを使用してソースパッチを決定する。
【０１７６】
図１０は、背景ピクセルだけが選択されたターゲットパッチ１６７０を示す。背景ピクセルだけが選択されたターゲットパッチ１６７０は、背景１６７４及びホール１６７６だけを有する。ターゲットパッチ１６６０で前景１６６２だった領域は、背景ピクセルだけが選択されたターゲットパッチ１６７０ではホール１６７６の一部になる。
【０１７７】
入力ビューでは前景によって遮蔽された背景は、初期基準視点レイヤでは観測されるようになる。このような遮蔽された背景は、初期基準視点レイヤではホールとして現れるようになる。したがって、ホール復元部１２４０は、前景に関する情報は排除し、背景に関する情報だけを使用して前記ホールを復元する。ホール復元部１２４０は、背景の構造を維持したままでホールを復元することにより、視角的に自然な結果を導き出すようになる。
【０１７８】
図１７は、一例に係る動き推定によって累積した背景レイヤを生成した結果を説明する図である。
【０１７９】
ホール復元部１２４０は、以前フレームの基準視点ビュー１７１０及び現在フレームの基準視点ビュー１７２０を比較することにより、現在フレームの基準視点ビュー１７２０の動きを推定する。
【０１８０】
以前フレームの基準視点ビュー１７１０の視差情報１７１２及び映像１７１４が示されており、現在フレームの基準視点ビュー１７２０の視差情報１７２２及び映像１７２４が示される。両視差情報１７１２、１７２２によれば、以前フレームの基準視点ビュー１７１０内には前景及び背景があり、現在フレームの基準視点ビュー１７２０内にも前景及び背景がある。
【０１８１】
図１７で、現在フレームの基準視点ビュー１７２０内の背景は右側方向にパニング（panning）しており、現在フレームの基準視点ビュー１７２０内の前景は下方向に動いている。一般的な動き推定方法が使用される場合、連続したフレーム間におけるブロックそれぞれの移動方向が予測されるようになる。ブロックは、基準視点ビュー内の少なくとも１つのピクセルである。
【０１８２】
動き推定されたビュー１７３０は、背景１７４０及び前景１７５０を含む。背景１７４０の推定された動きベクトル１７４２及び前景１７５０の推定された動きベクトル１７５２が示される。一般的な動き推定方法は、図１７に示すように、ブロックが背景１７５０であるか又は前景１７５２であるかとは関係なく、ブロックの移動方向を予測する。
【０１８３】
初期基準視点レイヤ内のホールを復元するためには、現在フレームの基準視点ビュー１７２０では前景によって遮蔽された背景に関する情報が累積した背景レイヤ１７６０内に存在しなければならない。しかし、動きベクトル１７５２は、以前フレームの基準視点ビュー１７１０内の前景を示す。したがって、動き推定されたビュー１７３０内の前景１７５０によって遮蔽された背景に関する情報が、以前フレームの基準視点ビュー１７１０のうちのどの部分にあるかが識別されることはできない。したがって、累積した背景レイヤ１７６０内に背景１７６２以外にも前景１７６４が存在し、累積した背景レイヤ１７６０に連続したフレームの背景が正確に累積されない。
【０１８４】
図１８は、一例に係る動きベクトルの拡散を説明する図である。動きベクトルの拡散は、前景に対しては動きベクトルの推定を排除し、前景に隣接した背景の動きベクトルを前記前景の動きベクトルに代替して使用することを意味する。
【０１８５】
図１８で、動きベクトルの拡散（motion  vector  diffusion）が適用されたビュー１８１０が示される。動きベクトルの拡散が適用されたビュー１８１０は、背景１８２０及び前景１８３０を含む。背景１８２０の推定された動きベクトル１８２２が示されており、前景１８３０の動きベクトルの拡散によって生成された動きベクトル１８３２が示される。前景１８３０の動きベクトル１８３２は、背景１８２０の動きベクトル１８２２が拡散したものである。
【０１８６】
動きベクトル１８３２は、以前フレームの基準視点ビュー１７１０内の背景を示す。すなわち、動きベクトル１８３２が示す背景は、動きベクトルの拡散が適用されたビュー１８１０の前景１８３０によって遮蔽された背景に関する情報を示す。したがって、動き推定部１２１０は、動きベクトル１８３２が示す以前フレームの基準視点ビュー１７１０内の背景を使用して現在フレームの基準視点ビュー１７２０の前景を代替する。したがって、累積した背景レイヤ１８４０は背景１８４２を含み、動きベクトルの拡散が適用されたビュー１８１０の前景１８３０に対応する部分１８４４も背景である。背景レイヤ累積部１２５０は、上述した前景に対する動きベクトルの拡散によって多様な動きを有する連続したフレームの背景を累積した背景レイヤ１８４０に累積される。
【０１８７】
図１９は、一例に係るブロック間の動きベクトルの拡散を示す図である。第１カラー情報１９００において、５つのブロック１９１０、１９１２、１９１４、１９１６、１９１８、及び５つのブロック１９１０、１９１２、１９１４、１９１６、１９１８それぞれの推定された動きベクトル１９２０、１９２２、１９２４、１９２６、１９２８が示される。また、第１視差情報１９３０において、５つのブロック１９１０、１９１２、１９１４、１９１６、１９１８それぞれの視差情報１９４０、１９４２、１９４４、１９４６、１９４８が示される。
【０１８８】
第１ブロック１９１０及び第２ブロック１９１２は背景を示す背景ブロックであり、第３ブロック１９１４、第４ブロック１９１６、及び第５ブロック１９１８は前景を示す前景ブロックである。
【０１８９】
第２カラー情報１９５０及び第２視差情報１９７０は、５つのブロック１９１０、１９１２、１９１４、１９１６、１９１８に動きベクトルの拡散が適用された結果を示す。
【０１９０】
動き推定は、背景ブロックに隣接した前景ブロックに適用される。図１９で、背景ブロックに隣接した前景ブロックは第３ブロック１９１４である。動き推定部１２１０は、第１ブロック１９１０の動きベクトル１９２０又は第２ブロック１９１２の動きベクトル１９２２を第３ブロック１９１４に拡散することにより、第３ブロック１９１４に新たな動きベクトル１９６４を割り当てる。動きベクトルの拡散は、動きベクトルが拡張された前景ブロックが、前景によって遮蔽された背景ブロックと見なされるということを意味する。したがって、動きベクトルが拡張された前景ブロックは、背景ブロックを示す視差情報を有する。動き推定部１２１０は、第１ブロック１９１０の視差情報１９４０又は第２ブロック１９１２の視差情報１９４２を第３ブロック１９１４に拡散することにより、第３ブロック１９１４に背景を示す新たな視差情報１９８４を割り当てる。
【０１９１】
図２０は、一例に係る反復的な動きベクトルの拡散を説明する図である。動きベクトルは、背景及び前景に隣接した境界前景ブロック（又は、画素）から前景の中心にある内部前景ブロックに漸進的に拡散する。
【０１９２】
拡散前最初基準視点ビューの映像２０１０及び拡散前最初基準視点ビューの視差情報２０２０が示される。拡散前最初基準視点ビューの映像２０１０は、前景２０１４及び背景２０１２を含む。
【０１９３】
拡散が初めて実行されれば、第１拡散後の基準視点ビューの映像２０３０及び第１拡散後の基準視点ビューの視差情報２０４０が生成される。第１拡散後、基準視点ビューの映像２０３０で、背景ブロックに隣接した前景ブロックの動きベクトルが変更される。すなわち、背景ブロックの動きベクトルが背景ブロックに隣接した前景ブロックに拡散される。
【０１９４】
背景ブロックの動きベクトルが前景ブロックに拡散されると、動きベクトルが拡散した前景ブロックは遮蔽された背景ブロックと見なされる。したがって、動きベクトルが拡散した前景ブロックに対する視差情報が、隣接した背景の視差情報と同じ値を有するように変更される。
【０１９５】
拡散が繰り返されると、第２拡散後の基準視点ビューの映像２０５０及び第１拡散後の基準視点ビューの視差情報２０６０が生成される。第２拡散後、基準視点ビューの映像２０５０で、第１拡散によって動きベクトルが変更されたブロックに隣接した前景ブロックの動きベクトルが変更される。すなわち、第１拡散が適用された前景ブロックの動きベクトルが、前記第１拡散が適用された前景ブロックに隣接した前景ブロックに拡散される。
【０１９６】
第２拡散後、基準視点ビュー内では前景ブロックが存在しない。したがって、拡散はこれ以上繰り返されない。
【０１９７】
図２１は、一例に係る動きベクトルの拡散のフローチャートである。ステップ２１１０で、動き推定部１２１０は、ビュー内のブロックそれぞれの動きを推定する。ここで、ブロックは、少なくとも１つのピクセルである。ブロックは、四角形の形態を有する少なくとも１つのピクセルである。ここで、ビューは、基準視点ビューである。
【０１９８】
前記ブロックは、前景ブロック又は背景ブロックである。すなわち、ステップ２１１０は、ビュー内のすべてのブロックそれぞれの動きを推定することにより、ブロックそれぞれの動きベクトルの初期値を生成する。
【０１９９】
下記ステップ２１１０〜２１５０で、動き推定部１２１０は、ブロックのうちで背景に対応するブロックの推定された動きをブロックのうちで前景に対応する前景ブロックの動きとし、前記前景に対応するブロックに拡散させる。以下、ビュー内のブロックのうちで前景に対応するブロックを前景ブロックと命名する。ビュー内のブロックのうちで背景に対応するブロックを背景ブロックと命名する。
【０２００】
以下、動きベクトルの拡散が適用されるブロックを現在ブロックと命名する。現在ブロックは、ビュー内のブロックのうちで前景に対応する１つのブロックである。現在ブロックは、前景ブロックのうちの少なくとも１つの背景ブロックと隣接したブロックである。
【０２０１】
ステップ２１２０で、動き推定部１２１０は、現在ブロックに隣接したブロックそれぞれの平均視差を計算する。ここで、現在ブロックに隣接したブロックとは、座標上で現在ブロックの上にあるブロック、現在ブロックの下にあるブロック、現在ブロックの左側にあるブロック、及び現在ブロックの右側にあるブロックを意味する。平均視差は、隣接したブロック内の１つ以上のピクセルの視差値の平均である。
【０２０２】
ステップ２１３０で、動き推定部１２１０は、現在ブロックに対する最小視差ブロックを決定する。最小視差ブロックは、現在ブロックに隣接したブロックのうちで平均視差値が最も小さいブロックである。
【０２０３】
ステップ２１４０で、動き推定部１２１０は、現在ブロックの平均視差が最小視差ブロックの平均視差よりもさらに大きいかを検査する。もし、現在ブロックの平均視差が最小視差ブロックの平均視差よりもさらに大きければ、ステップ２１５０が実行される。現在ブロックの平均視差が最小視差ブロックの平均視差よりもさらに大きい場合、現在ブロックは相対的に前景ブロックと見なされる。また、最小視差ブロックは、相対的に背景ブロックと見なされる。したがって、最小視差ブロックの動きベクトルが現在ブロックに拡散される。
【０２０４】
現在ブロックの平均視差が最小視差ブロックの平均視差以下である場合、現在ブロックは相対的に背景ブロックと見なされ、現在ブロックに他のブロックの動きベクトルが拡散する必要がない。したがって、現在ブロックの平均視差が最小視差ブロックの平均視差以下である場合、手順が終了する。
【０２０５】
ステップ２１５０で、動き推定部１２１０は、最小視差ブロックの動きベクトルを現在のベクトルに拡散する。すなわち、動き推定部１２１０は、最小視差ブロックの動きベクトルが現在のベクトルの動きベクトルを代替するようにする。
【０２０６】
ステップ２１１０〜２１５０により、１つの前景に対応するブロックに動きベクトルが拡散される場合がある。したがって、動き推定部１２１０は、ビュー内に前景に対応するブロックが存在しなくなるまでステップ２１１０〜２１５０を繰り返し実行する場合がある。ステップ２１１０〜２１５０が繰り返して実行されることにより、背景ブロックに隣接しなかった前景ブロックにも背景ブロックの動きベクトルが拡散される。
【０２０７】
図２２は、一例に係るフレーム間修復及びフレーム内修復の結果を比較する図である。図２２では、以前フレームの基準視点ビュー２２１０及び現在フレームの基準視点ビュー２２４０が示される。以前フレームの基準視点ビュー２２１０は、視差情報２２２０及び映像２２３０を含む。現在フレームの基準視点ビュー２２４０は、視差情報２２５０及び映像２２６０を含む。
【０２０８】
本例において、累積した背景レイヤは、以前フレームに基づいて生成されるものと見なされる。すなわち、以前フレームの基準視点ビュー２２１０を累積した背景レイヤと見なす。
【０２０９】
以前フレームの基準視点ビュー２２１０の視差情報２２２０及び映像２２３０内で、第１探索領域が四角形のボックスで表示される。第１探索領域は、最適パッチ探索に基づいた前記フレーム間修復が使用されるとき、以前フレームの基準視点ビュー２２１０（すなわち、累積した背景レイヤ）内のソースパッチが探索される領域である。
【０２１０】
また、現在フレームの基準視点ビュー２２４０の視差情報２２５０及び映像２２６０内で、第２探索領域が四角形のボックスで表示される。第２探索領域は、最適パッチ探索に基づいた前記フレーム間修復が使用されるとき、現在フレームの基準視点ビュー２２４０内のソースパッチが探索される領域である。
【０２１１】
第１探索領域及び第２探索領域はそれぞれ、復元されるホール（又は、ホールに対応するピクセル）に隣接した領域である。
【０２１２】
初期基準視点レイヤ２２７０、第１基準視点レイヤ２２８０、及び第２基準視点レイヤ２２９０が示される。第１基準視点レイヤ２２８０は、最適パッチ探索に基づくフレーム間修復を適用して前記初期基準視点レイヤ２２７０内のホールを復元することによって生成される。第２基準視点レイヤ２２９０は、最適パッチ探索に基づくフレーム内修復を適用して前記の初期基準視点レイヤ２２７０内のホールを復元することによって生成される。
【０２１３】
以前フレームの基準視点ビュー２２１０及び現在フレームの基準視点ビュー２２４０を参照したとき、背景は移動せず、前景が左側に移動する。すなわち、以前フレーム内では現れる背景が、現在フレーム内では前景によって遮蔽されている。したがって、初期基準視点レイヤ２２７０内のホールは、以前フレームを参照して（すなわち、フレーム間修復を使用して）復元されることが好ましい。したがって、フレーム間修復が適用された第１基準視点レイヤ２２８０が、フレーム内修復が適用された第２基準視点レイヤ２２９０よりも正確にホールを復元した結果を有するようになる。
【０２１４】
フレーム間修復が適用された第１基準視点レイヤ２２８０及びフレーム内修復が適用された第２基準視点レイヤ２２９０のうちのいずれの基準視点レイヤがさらに正確にホールを復元した結果を示すかを判断するために、加重値決定部１２３０は、第１探索領域及び第２探索領域を比較する。
【０２１５】
第１背景比率は第１探索領域内の背景の比率である。第２背景比率は第２探索領域内の背景の比率である。一般的に、背景を多く含む探索領域が使用される場合、ホールがさらに適切に復元される。
【０２１６】
加重値決定部１２３０は、第１探索領域内で発生した背景の遮蔽程度及び第２探索領域内で発生した背景の遮蔽程度に基づき、フレーム間修復によってホールが復元された結果及びフレーム内修復によってホールが復元された結果を、最終的な基準視点レイヤを生成するために適応的に選択する。ここで、適応的な選択とは、上述した数式（２）での加重値βの値を選択することを意味する。
【０２１７】
加重値決定部１２３０は、第１背景比率が第２背景比率よりもさらに大きい場合、βの値を０に設定する。したがって、ホール復元部１２４０は、第１背景比率が第２背景比率よりもさらに大きい場合、フレーム間修復を使用して初期基準視点レイヤ２２７０内のホールを復元する。
【０２１８】
加重値決定部１２３０は、第１背景比率が第２背景比率よりもさらに小さい場合、βの値を１に設定する。したがって、ホール復元部１２４０は、第１背景比率が第２背景比率よりもさらに小さい場合、フレーム内修復を使用して初期基準視点レイヤ２２７０内のホールを復元する。
【０２１９】
加重値決定部１２３０は、第１背景比率及び第２背景比率が互いに類似する場合、βの値を０．５に設定する。したがって、ホール復元部１２４０は、第１背景比率及び第２背景比率が互いに類似する場合、フレーム間修復を使用することによってホールが復元された結果及びフレーム間修復を使用することによってホールが復元された結果を混合して基準視点レイヤを生成する。
【０２２０】
図２２で、第１探索領域内には前景がない。第２探索領域内には前景が存在する。すなわち、第１背景比率が第２背景比率よりもさらに大きい。したがって、第１基準視点レイヤ２２８０が第２基準視点レイヤ２２９０に比べてさらに正確であると見なされる。
【０２２１】
図２３は、一例に係るフレーム間修復及びフレーム内修復の結果を比較する図である。図２３で、以前フレームの基準視点ビュー２３１０及び現在フレームの基準視点ビュー２３４０が示される。以前フレームの基準視点ビュー２３１０は、視差情報２３２０及び映像２３３０を含む。現在フレームの基準視点ビュー２３４０は、視差情報２３５０及び映像２３６０を含む。
【０２２２】
本例において、累積した背景レイヤは、以前フレームに基づいて生成されるものと見なされる。すなわち、以前フレームの基準視点ビュー２３１０を累積した背景レイヤと見なす。
【０２２３】
以前フレームの基準視点ビュー２３１０の視差情報２３２０及び映像２３３０内で、第１探索領域が四角形のボックスで表示される。
【０２２４】
また、現在フレームの基準視点ビュー２３４０の視差情報２３５０及び映像２３６０内で、第２探索領域が四角形のボックスで表示される。以前フレームの基準視点ビュー２３１０及び現在フレームの基準視点ビュー２３４０を参照したとき、背景は左側に移動する。したがって、第２探索領域は、基準視点レイヤ２３７０内の探索領域に比べ、背景の動きベクトルに従って右側に移動する。すなわち、以前フレームの基準視点ビュー２３１０内における第２探索領域の位置は、初期基準視点レイヤ２３７０内の探索領域の位置に比べて相対的にさらに右側にある。ここで、背景の動きベクトルは、動きベクトル拡散によって推定されたものである。
【０２２５】
また、初期基準視点レイヤ２３７０、第１基準視点レイヤ２３８０、及び第２基準視点レイヤ２３９０が示される。第１基準視点レイヤ２３８０は、最適パッチ探索に基づくフレーム間修復を適用して前記初期基準視点レイヤ２３７０内のホールを復元することによって生成される。第２基準視点レイヤ２３９０は、最適パッチ探索に基づくフレーム内修復を適用して前記初期基準視点レイヤ２３７０内のホールを復元することによって生成される。
【０２２６】
以前フレームの基準視点ビュー２３１０及び現在フレームの基準視点ビュー２３４０を参照したとき、背景は左側に移動し、前景は右側に移動する。すなわち、以前フレーム内では、遮蔽されていた背景が現在フレーム内で新たに現れる。したがって、初期基準視点レイヤ２３７０内のホールは、現在フレームを参照して（すなわち、フレーム内修復を使用して）復元されることが好ましい。したがって、フレーム内修復が適用された第２基準視点レイヤ２３９０が、フレーム間修復が適用された第１基準視点レイヤ２３８０よりも正確にホールを復元した結果を有するようになる。
【０２２７】
図２３で、第１探索領域内で背景が占める比率よりも、第２探索領域内で背景が占める背景の比率がより大きい。すなわち、第２背景比率が第１背景比率よりもさらに大きい。したがって、第２基準視点レイヤ２３９０が第１基準視点レイヤ２３８０よりもさらに正確であると見なされる。
【０２２８】
図２４は、一例に係る累積した背景レイヤを更新する方法のフローチャートである。
【０２２９】
ステップ１３６０は、ステップ２４１０〜２４３０を含む。
【０２３０】
ステップ２４１０で、背景レイヤ累積部１２５０は、現在フレーム（又は、現在フレームの基準視点ビュー）で場面転換が発生したか否かを判断する。累積した背景レイヤに基準視点レイヤの背景を正しく累積し、累積した背景レイヤを利用して初期基準視点レイヤ内のホールを正しく復元するためには、場面転換の検出が求められる。
【０２３１】
場面転換が発生した場合、ステップ２４２０が実行される。場面転換が発生しなかった場合、ステップ２４３０が実行される。背景レイヤ累積部１２５０は、場面転換判断部１２２０の判断結果に基づいて場面転換が発生したか否かを判断する。
【０２３２】
現在フレームで場面転換が発生した場合、ステップ２４２０で、背景レイヤ累積部１２５０は、累積した背景レイヤを初期化する。場面転換が発生した場合、以前フレームの基準視点レイヤの背景に関する情報は、現在フレームの以後フレームの初期基準視点レイヤ内のホールを復元するには適合しないことがある。したがって、累積した背景レイヤは、現在フレームの基準視点レイヤの背景に関する情報だけを含む必要がある。したがって、ステップ２４３０に先立ち、累積した背景レイヤが初期化される。
【０２３３】
ステップ２４３０で、背景レイヤ累積部１２５０は、現在フレームの基準視点レイヤの背景を累積した背景レイヤと組み合わせる。
【０２３４】
現在フレームの基準視点レイヤの背景を、ブロック別（又は、ピクセル別）に累積した背景レイヤと組み合わせる場合がある。
【０２３５】
まず、背景レイヤ累積部１２５０は、基準視点レイヤ内の第１ブロックに対し、前記第１ブロックの動きベクトルを使用して前記第１ブロックに対応する累積した背景レイヤ内の第２ブロックを検索する。
【０２３６】
背景レイヤ累積部１２５０は、第１ブロックの（平均）視差及び第２ブロックの（平均）視差を比較する。背景レイヤ累積部１２５０は、第１ブロック及び第２ブロックのうちで低い視差を有するブロックのカラー値（すなわち、ブロック内のピクセルのカラー値）を現在フレームに対する累積した背景レイヤの第２ブロックのカラー値として使用する。すなわち、背景レイヤ累積部１２５０は、第１ブロックの（平均）視差が第２ブロックの（平均）視差よりもさらに低い場合、第１ブロックのカラー値を第２ブロックのカラー値にコピーする。したがって、現在フレームの基準視点レイヤで視差が低い背景領域が現れた場合、背景レイヤ累積部１２５０は、前記背景領域を累積した背景レイヤの一部として使用する。現在フレームの基準視点レイヤで視差が低い背景領域が現れなかった場合、背景レイヤ累積部１２５０は、現在フレームを処理するときに使用された累積した背景レイヤを、以後フレームを使用するときにもそのまま使用する。
【０２３７】
図２５は、一例に係る基準視点レイヤの背景を累積した背景レイヤに累積する過程を説明する図である。図２５で、１番目行の図は、ｔ−Ｎフレームからｔ−Ｎ＋３フレームまでの基準視点レイヤそれぞれの視差情報を示す。２番目行の図は、ｔ−Ｎフレームからｔ−Ｎ＋３フレームまでの基準視点レイヤを示す。３番目行の図は、ｔ−Ｎ−１フレーム〜ｔ−Ｎ＋３フレームを処理しながら生成された累積した背景レイヤを示す。四番目行の図は、累積背景レイヤの視差情報を示す。
【０２３８】
ｔ−Ｎ＋１フレームまでは、背景は移動せず、前景のオブジェクトが右側に移動する。ｔ−Ｎフレームで、ホール復元部１２４０は、以前フレームで更新された累積した背景レイヤ及び基準視点レイヤを比較する。ホール復元部１２４０は、各ブロック（又は、ピクセル）別に、基準視点レイヤ内の第１ブロック及び前記第１ブロックに対応する累積した背景レイヤ内の第２ブロックのうち、さらに小さい（平均）視差を有するブロックを新たに累積した背景レイヤで累積する。すなわち、第１ブロック及び第２ブロックのうち、１つが前景ブロックであり、１つが背景ブロックである場合、背景ブロックが背景レイヤの一部として累積される。したがって、ｔ−Ｎフレームにおける累積した背景レイヤは、ｔ−Ｎ−１フレームにおける累積した背景レイヤに比べ、背景ブロックをさらに多く含む。
【０２３９】
また、ｔ−Ｎ＋１フレーム〜ｔ−Ｎ＋３フレームには、上述したような比較及び累積が適用される。例えば、ｔ−Ｎ＋１フレームには、ｔ−Ｎフレームで更新された累積した背景レイヤ及び基準視点レイヤが比較される。
【０２４０】
ｔ−Ｎ＋２フレームからは背景が移動する。背景レイヤ累積部１２５０は、動き拡散によって推定された動きベクトルを使用し、以前フレームで更新された累積した背景レイヤの情報を現在フレームの基準視点レイヤに追加する。背景の動きにより、現在フレームの基準視点レイヤの背景に関する情報が累積的に追加される。したがって、現在フレームの基準視点レイヤでは観測されない領域に対応する背景の情報も、累積した背景レイヤ内には存在するようになる。したがって、ホール復元部１２４０は、現在フレームの視点では観測されない以前フレームの基準視点レイヤ内の背景情報を、現在フレームの初期基準視点レイヤのホールを復元するために使用する。
【０２４１】
上述したような累積により、現在フレームの基準視点レイヤでは遮蔽のために参照されない背景に関する情報も、累積した背景レイヤ内では残っていることがある。すなわち、背景に関する情報が累積した背景レイヤ内で漸進的に累積される。例えば、図２５で、ｔ−Ｎ＋１フレームで更新された累積した背景レイヤ及びｔ−Ｎ＋１フレーム以後のフレームで更新された累積した背景レイヤは、遮蔽された領域なくすべての背景に関する情報を含む。
【０２４２】
ホール復元部１２４０は、フレーム間修復によって累積した背景レイヤ内にある背景に対する累積した情報を、次フレームの初期基準視点レイヤ内のホールを復元するために使用する。背景に対する累積した情報を使用することにより、ホール復元の性能が向上し、ホール復元において視空間的な均一性が維持されるようになる。
【０２４３】
図２６は、一例に係る出力ビューの生成及び出力ビューのホールを復元する方法を説明する図である。出力ビュー生成部２５０は、１つ以上の入力ビューを使用して１つ以上の出力ビューを生成する。出力ビューは出力映像を含む。出力映像は、出力ビューの視点における映像を意味する。図２６で、１つ以上の出力ビューとして、第１出力映像２６１０及び第２出力映像２６２０が示される。
【０２４４】
参照ビューは、１つ以上の入力ビューのうち、特定の出力映像を生成するために選択されたビューを意味する。例えば、内挿によって出力映像が生成される場合、ステップ３５０で、出力ビュー生成部２５０は、出力映像の視点に左／右に最も近接した２つの入力ビューを参照ビューとして選択する。外挿によって出力映像が生成される場合、出力ビュー生成部２５０は、出力映像の視点に最も近接した１つの入力ビュー（すなわち、最外郭ビュー）を参照ビューとして選択する。
【０２４５】
図３のステップ３５０で、出力ビュー生成部２５０は、参照ビューの視差情報を使用して参照ビューの映像を第１出力映像２６１０の視点にワープすることによって第１出力映像２６１０を生成する。出力ビュー生成部２５０は、参照ビューの視差情報を使用して参照ビューの映像を第２出力映像２６２０の視点にワープすることによって第２出力映像２６２０を生成する。
【０２４６】
１つ以上の入力ビューの視点及び出力映像２６１０、２６２０の視点間の差により、出力視点の映像内でホール２６１２、２６２２が発生することがある。
【０２４７】
図３のステップ３６０で、出力ビューホール復元部２６０は、各出力映像２６１０、２６２０のためにワープされた出力視点の基準視点レイヤ映像２６３０、２６４０を生成する。出力ビューホール復元部２６０は、基準視点レイヤの視差情報を使用して基準視点レイヤの映像をワープさせることによって出力視点の基準視点レイヤ映像２６３０、２６４０を生成する。ここで、基準視点レイヤのワープは、基準視点レイヤ内のホール復元に必要な情報を各出力視点に伝播するものと見なされる。
【０２４８】
図３のステップ３６０で、出力ビューホール復元部２６０は、第１出力映像２６１０の視点にワープされた第１基準視点レイヤ映像２６３０を使用して第１出力映像２６１０内のホール２６１２を復元する。出力ビューホール復元部２６０は、第１基準視点レイヤ映像２６３０のうちでホール２６１２に対応する領域２６３２を、ホール２６１２を復元するために使用する。また、出力ビューホール復元部２６０は、第２出力映像２６２０の視点にワープされた第２基準視点レイヤ映像２６４０を使用して第２出力映像２６２０内のホール２６２２を復元する。出力ビューホール復元部２６０は、第２基準視点レイヤ映像２６４０のうちでホール２６２２に対応する領域２６４２を、ホール２６２２を復元するために使用する。
【０２４９】
図３のステップ３６０で、出力ビューホール復元部２６０は、出力映像２６１０、２６２０、及び前記出力映像２６１０、２６２０の視点にワープされた出力視点の基準視点レイヤ映像２６３０、２６４０を合成することによってホールが復元された出力映像２６５０、２６６０を生成する。
【０２５０】
出力ビューホール復元部２６０は、ワープされた基準視点レイヤ映像２６３０、２６４０を出力映像２６５０、２６６０の視点における背景情報と見なす。すなわち、出力ビューホール復元部２６０は、ワープによって基準視点レイヤの映像を出力映像２６５０、２６６０の背景として使用する。
【０２５１】
各出力映像のホールが互いに相違したデータによって復元されたり、互いに相違した方式によって復元される場合、ホールレンダリングにおいて時間的及び空間的な不均一性の問題が発生することがある。
【０２５２】
出力映像内のホール復元のために上述した基準視点レイヤを一括的に使用することにより、互いに相違した視点を有する、互いに相違したフレームの出力ビューの視空間的な一貫性が向上するようになる。
【０２５３】
一実施形態に係る方法は、多様なコンピュータ手段によって実行されるプログラム命令形態で実現され、コンピュータで読み取り可能な媒体に記録される。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含む。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたもの、コンピュータソフトウェアの当業者に公知の使用可能なものである。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような光磁気媒体、及びリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ等のようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけではなく、インタープリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されていてもよく、その逆も同様である。
【０２５４】
上述したように、本発明は限定された実施形態と図面によって説明されたが、本発明は上述した実施形態に限定されるものではなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。
【０２５５】
したがって、本発明の範囲は、説明された実施形態に限定されて定められてはならず、添付する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。
【符号の説明】
【０２５６】
２００  映像処理装置
２１０  基準視点決定部
２２０  基準視点ビュー生成部
２３０  初期基準視点レイヤ生成部
２４０  基準視点レイヤ生成部
２５０  出力ビュー生成部
２６０  出力ビューホール復元部
２７０  出力部
【図１】
0005964741.tif 000005
【図２】
0005964741.tif 000006
【図３】
0005964741.tif 000007
【図４】
0005964741.tif 000008
【図５】
0005964741.tif 000009
【図６】
0005964741.tif 000010
【図７】
0005964741.tif 000011
【図８】
0005964741.tif 000012
【図９】
0005964741.tif 000013
【図１０】
0005964741.tif 000014
【図１１】
0005964741.tif 000015
【図１２】
0005964741.tif 000016
【図１３】
0005964741.tif 000017
【図１４】
0005964741.tif 000018
【図１５】
0005964741.tif 000019
【図１６】
0005964741.tif 000020
【図１９】
0005964741.tif 000021
【図２０】
0005964741.tif 000022
【図２１】
0005964741.tif 000023
【図２２】
0005964741.tif 000024
【図２３】
0005964741.tif 000025
【図２４】
0005964741.tif 000026
【図２５】
0005964741.tif 000027
【図２６】
0005964741.tif 000028
【図１７】
0005964741.tif 000029
【図１８】
0005964741.tif 000030