(57)【要約】【課題】  出力イメージのホールを復元するための方法及び装置を提供すること。【解決手段】  映像処理方法は、第１視点のカラーイメージを第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングして第２視点のターゲットカラーイメージを生成し、第２視点のターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち時間的に隣接するカラーイメージ間の変換関係を算出し、変換関係に基づいてターゲットカラーイメージ内のホールを復元する。【選択図】      図４
2017050866.tif 000002
【特許請求の範囲】
【請求項１】
第１視点のカラーイメージを前記第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングして前記第２視点のターゲットカラーイメージを生成するステップと、
前記第２視点のターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち、時間的に隣接するカラーイメージ間の変換関係を決定するステップと、
前記変換関係に基づいて前記ターゲットカラーイメージ内の第１ホールを復元するステップと、
を含む、映像処理方法。
【請求項２】
前記ターゲットカラーイメージ内の残余ホールを前記ターゲットカラーイメージを用いて復元するステップをさらに含む、
請求項１に記載の映像処理方法。
【請求項３】
前記変換関係は、前記時間的に隣接するカラーイメージ間のホモグラフィを示す、
請求項１または２に記載の映像処理方法。
【請求項４】
前記変換関係を算出するステップは、
前記複数のカラーイメージの背景特徴を抽出するステップと、
前記背景特徴に基づいて前記変換関係を算出するステップと、
を含む、
請求項１乃至３いずれか一項に記載の映像処理方法。
【請求項５】
前記背景特徴を抽出するステップは、
前記複数のカラーイメージの特徴を抽出するステップと、
前記特徴を前記特徴に対応する深度値に基づいて深度ごとに整列するステップと、
前記深度ごとに整列した特徴のうち予め設定された個数の特徴を前記背景特徴として決定するステップと、
を含む、請求項４に記載の映像処理方法。
【請求項６】
前記特徴を抽出するステップは、前記複数のカラーイメージ内の構造体を前記特徴として抽出する、
請求項５に記載の映像処理方法。
【請求項７】
前記背景特徴に基づいて前記変換関係を算出するステップは、
前記背景特徴に基づいて第１カラーイメージの第１背景特徴を検出するステップと、
前記背景特徴に基づいて第２カラーイメージの第２背景特徴を検出するステップと、
前記第１背景特徴及び前記第２背景特徴をマッチングするステップと、
前記マッチングに基づいて前記変換関係を算出するステップと、
を含み、
前記第１カラーイメージ及び前記第２カラーイメージは、前記時間的に隣接するカラーイメージである、
請求項４に記載の映像処理方法。
【請求項８】
前記第１ホールを復元するステップは、
前記変換関係を用いて前記複数のカラーイメージを前記ターゲットカラーイメージのターゲット平面にそれぞれ変換するステップと、
前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元するステップと、
を含む、請求項１に記載の映像処理方法。
【請求項９】
前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元するステップは、
前記ターゲットカラーイメージに対応するターゲット深度イメージの第２ホールに、前記第２ホールに隣接する背景領域の深度値を割り当てるステップ（前記第２ホールは、前記第１ホールに対応する）と、
前記ターゲット平面に変換された複数のカラーイメージに対応する複数の深度イメージのうち前記第２ホールに対応する深度参照領域を検出するステップと、
前記深度参照領域に対応する前記ターゲット平面に変換された複数のカラーイメージのカラー参照領域を検出するステップと、
前記カラー参照領域に基づいて前記第１ホールを復元するステップと、
を含む、請求項８に記載の映像処理方法。
【請求項１０】
前記深度参照領域を検出するステップは、
前記複数の深度イメージのうち前記第２ホールの座標と同一の座標を有する領域を検出するステップと、
前記検出された領域のうち前記第２ホールに割り当てられた深度値との深度値の差が閾値以下である領域を前記深度参照領域として決定するステップと、
を含む、請求項９に記載の映像処理方法。
【請求項１１】
前記カラー参照領域に基づいて前記第１ホールを復元するステップは、前記カラー参照領域のカラー値の平均を前記第１ホールのカラー値に設定して前記第１ホールを復元するステップである、
請求項９に記載の映像処理方法。
【請求項１２】
前記カラー参照領域に基づいて前記第１ホールを復元するステップは、前記カラー参照領域のカラー値のうち出現頻度が最も大きいカラー値を前記第１ホールのカラー値に設定して前記第１ホールを復元するステップである、
請求項９に記載の映像処理方法。
【請求項１３】
映像処理を行う命令語セットを格納するメモリと、
前記メモリに格納された前記命令語セットにより、第１視点のカラーイメージを前記第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングして前記第２視点のターゲットカラーイメージを生成し、かつ、
前記ターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち時間的に隣接するカラーイメージ間の変換関係を決定し、前記変換関係に基づいて前記ターゲットカラーイメージ内の第１ホールを復元するように制御するプロセッサと、
を含む、映像処理装置。
【請求項１４】
複数の入力カラーイメージの複数の視点に基づいて参照視点を決定するステップと、
前記複数の入力カラーイメージに基づいて前記参照視点に対応するターゲット参照レイヤを生成するステップと、
前記ターゲット参照レイヤを含む前記参照視点の複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を決定するステップと、
前記ターゲット参照レイヤをワーピングすることによって発生する最大ホールを前記ターゲット参照レイヤに割り当てるステップと、
前記変換関係に基づいて前記最大ホールを復元するステップと、
前記複数の入力カラーイメージのうち少なくとも１つを出力視点にワーピングして出力カラーイメージを生成するステップと、
前記ターゲット参照レイヤを用いて前記出力カラーイメージ内のホールを復元するステップと、
を含む、映像処理方法。
【請求項１５】
前記ターゲット参照レイヤ内の残余ホールを前記ターゲット参照レイヤを用いて復元するステップをさらに含む、
請求項１４に記載の映像処理方法。
【請求項１６】
前記変換関係は、前記時間的に隣接する参照レイヤの間のホモグラフィを示す、
請求項１４または１５に記載の映像処理方法。
【請求項１７】
前記変換関係を算出するステップは、
前記ターゲット参照レイヤの背景特徴を抽出するステップと、
前記背景特徴に基づいて前記変換関係を算出するステップと、
を含む、請求項１４乃至１６いずれか一項に記載の映像処理方法。
【請求項１８】
前記最大ホールを復元するステップは、
前記変換関係を用いて前記複数の参照レイヤを前記ターゲット参照レイヤのターゲット平面に変換するステップと、
前記ターゲット平面に変換された複数の参照レイヤに基づいて前記最大ホールを復元するステップと、
を含む、請求項１４に記載の映像処理方法。
【請求項１９】
１つ以上の視点それぞれの１つ以上の入力カラーイメージを受信するステップと、
前記一つ以上の視点のうち参照視点を設定するステップと、
前記一つ以上の入力カラーイメージのうちターゲット参照レイヤとして参照レイヤを設定するステップ（前記ターゲット参照レイヤは前記参照視点に対応する）と、
前記ターゲット参照レイヤを含む前記参照視点の複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を決定するステップと、
前記参照レイヤが１つ以上のホールを含むように前記ターゲット参照レイヤを１つ以上の視点にワーピングするステップと、
前記複数の変換関係に基づいて前記ターゲット参照レイヤの前記一つ以上のホールを復元することによって前記ターゲット参照レイヤを復元するステップと、
前記入力カラーイメージのうちの１つを第１視点にワーピングすることによって出力イメージを生成するステップ（前記出力イメージはホールを含む）と、
前記復元されたターゲット参照レイヤに基づいて前記出力イメージの前記ホールを復元するステップと、
を含む、映像処理方法。
【請求項２０】
前記一つ以上の入力カラーイメージは同じ時間的位置を有し、前記複数の参照レイヤは互いに異なる時間的位置を有する、
請求項１９に記載の映像処理方法。
【請求項２１】
前記変換関係のそれぞれは、時間的に隣接する参照レイヤの対のホモグラフィを示す、
請求項１９または２０に記載の映像処理方法。
【請求項２２】
前記ターゲット参照レイヤの前記一つ以上のホールを復元するステップは、前記複数の変換関係に基づいて前記複数の参照レイヤを前記ターゲット参照レイヤの平面に変換することによって複数の変換された参照レイヤを生成するステップと、
前記複数の変換された参照レイヤに基づいて前記ターゲット参照レイヤの前記一つ以上のホールを復元するステップと、
を含む、請求項１９に記載の映像処理方法。
【請求項２３】
前記復元されたターゲット参照レイヤに基づいて前記出力イメージのホールを復元するステップは、出力カラーイメージのホールを前記復元されたターゲット参照レイヤの部分に代替するステップを含み、
前記復元されたターゲット参照レイヤの前記部分は、前記出力カラーイメージ内の前記ホールの位置に対応する位置を有する、
請求項１９に記載の映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像を処理するための方法及び装置に関し、より詳しくは、視点が変更された映像を生成する方法及び装置に関する。
【背景技術】
【０００２】
３次元ディスプレイ装置は３Ｄ立体映像を出力する。
【０００３】
様々な視点で映像を視聴する視聴者に３Ｄ効果を提供するためには、様々な視点に対する出力映像を生成しなければならない。出力映像は、入力映像を内挿又は１つの入力映像を外挿することにより生成される。ここで、少数の入力映像を用いることで複数の出力映像を生成する場合、入力映像では見られないが、出力映像には必要な領域（すなわち、出力映像では可視領域）を処理する方法が求められる。このような領域をホールといい、ホール処理方式の１つとして、このようなホールフィリング（ｈｏｌｅ−ｆｉｌｌｉｎｇ）を出力映像それぞれに対して独立的に行う方式を採用している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一実施形態の目的は、複数のカラーイメージ間の変換関係に基づいて映像を処理する方法及び装置を提供する。
【０００５】
一実施形態の目的は、ターゲット参照レイヤを用いて出力カラーイメージ内のホールを復元する方法及び装置を提供する。
【課題を解決するための手段】
【０００６】
一側面に係る映像処理方法は、第１視点のカラーイメージを前記第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングして前記第２視点のターゲットカラーイメージを生成するステップと、前記第２視点のターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち、時間的に隣接するカラーイメージ間の変換関係を決定するステップと、前記変換関係に基づいて前記ターゲットカラーイメージ内の第１ホールを復元するステップとを含む。
【０００７】
前記映像処理方法は、前記ターゲットカラーイメージ内の残余ホールを前記ターゲットカラーイメージを用いて復元するステップをさらに含んでもよい。
【０００８】
前記変換関係は、前記時間的に隣接するカラーイメージ間のホモグラフィを示してもよい。
【０００９】
前記変換関係を算出するステップは、前記複数のカラーイメージの背景特徴を抽出するステップと、前記背景特徴に基づいて前記変換関係を算出するステップとを含んでもよい。
【００１０】
前記背景特徴を抽出するステップは、前記複数のカラーイメージの特徴を抽出するステップと、前記特徴を前記特徴に対応する深度値に基づいて深度ごとに整列するステップと、前記深度ごとに整列した特徴のうち予め設定された個数の特徴を前記背景特徴として決定するステップとを含んでもよい。
【００１１】
前記特徴を抽出するステップは、前記複数のカラーイメージ内の構造体を前記特徴として抽出してもよい。
【００１２】
前記背景特徴に基づいて前記変換関係を算出するステップは、前記背景特徴に基づいて第１カラーイメージの第１背景特徴を検出するステップと、前記背景特徴に基づいて第２カラーイメージの第２背景特徴を検出するステップと、前記第１背景特徴及び前記第２背景特徴をマッチングするステップと、前記マッチングに基づいて前記変換関係を算出するステップとを含んでもよい。
【００１３】
前記第１カラーイメージ及び前記第２カラーイメージは、前記時間的に隣接するカラーイメージであってもよい。
【００１４】
前記第１ホールを復元するステップは、前記変換関係を用いて前記複数のカラーイメージを前記ターゲットカラーイメージのターゲット平面にそれぞれ変換するステップと、前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元するステップとを含んでもよい。
【００１５】
前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元するステップは、前記ターゲットカラーイメージに対応するターゲット深度イメージの第２ホールに、前記第２ホールに隣接する背景領域の深度値を割り当てるステップ（前記第２ホールは、前記第１ホールに対応する）と、前記ターゲット平面に変換された複数のカラーイメージに対応する複数の深度イメージのうち前記第２ホールに対応する深度参照領域を検出するステップと、前記深度参照領域に対応する前記ターゲット平面に変換された複数のカラーイメージのカラー参照領域を検出するステップと、前記カラー参照領域に基づいて前記第１ホールを復元するステップとを含んでもよい。
【００１６】
前記深度参照領域を検出するステップは、前記複数の深度イメージのうち前記第２ホールの座標と同一の座標を有する領域を検出するステップと、前記検出された領域のうち前記第２ホールに割り当てられた深度値との深度値の差が閾値以下である領域を前記深度参照領域として決定するステップとを含んでもよい。
【００１７】
前記カラー参照領域に基づいて前記第１ホールを復元するステップは、前記カラー参照領域のカラー値の平均を前記第１ホールのカラー値に設定して前記第１ホールを復元するステップであってもよい。
【００１８】
前記カラー参照領域に基づいて前記第１ホールを復元するステップは、前記カラー参照領域のカラー値のうち出現頻度が最も大きいカラー値を前記第１ホールのカラー値に設定して前記第１ホールを復元するステップであってもよい。
【００１９】
他の一実施形態に係る映像処理装置は、映像処理を行う命令語セットを格納するメモリと、前記メモリに格納された前記命令語セットにより、第１視点のカラーイメージを前記第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングして前記第２視点のターゲットカラーイメージを生成し、前記ターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち時間的に隣接するカラーイメージ間の変換関係を決定し、前記変換関係に基づいて前記ターゲットカラーイメージ内の第１ホールを復元するように制御するプロセッサとを含む。
【００２０】
更なる一実施形態に係る映像処理方法は、複数の入力カラーイメージの複数の視点に基づいて参照視点を決定するステップと、前記複数の入力カラーイメージに基づいて前記参照視点に対応するターゲット参照レイヤを生成するステップと、前記ターゲット参照レイヤを含む前記参照視点の複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を決定するステップと、前記ターゲット参照レイヤをワーピングすることによって発生する最大ホールを前記ターゲット参照レイヤに割り当てるステップと、前記変換関係に基づいて前記最大ホールを復元するステップと、前記複数の入力カラーイメージのうち少なくとも１つを出力視点にワーピングして出力カラーイメージを生成するステップと、前記ターゲット参照レイヤを用いて前記出力カラーイメージ内のホールを復元するステップとを含む。
【００２１】
前記映像処理方法は、前記ターゲット参照レイヤ内の残余ホールを前記ターゲット参照レイヤを用いて復元するステップをさらに含んでもよい。
【００２２】
前記変換関係は、前記時間的に隣接する参照レイヤの間のホモグラフィを示してもよい。
【００２３】
前記変換関係を算出するステップは、前記ターゲット参照レイヤの背景特徴を抽出するステップと、前記背景特徴に基づいて前記変換関係を算出するステップとを含んでもよい。
【００２４】
前記最大ホールを復元するステップは、前記変換関係を用いて前記複数の参照レイヤを前記ターゲット参照レイヤのターゲット平面に変換するステップと、前記ターゲット平面に変換された複数の参照レイヤに基づいて前記最大ホールを復元するステップとを含んでもよい。
【００２５】
更なる一実施形態に係る映像処理方法は、１つ以上の視点それぞれの１つ以上の入力カラーイメージを受信するステップと、前記一つ以上の視点のうち参照視点を設定するステップと、前記一つ以上の入力カラーイメージのうちターゲット参照レイヤとして参照レイヤを設定するステップ（前記ターゲット参照レイヤは前記参照視点に対応する）と、前記ターゲット参照レイヤを含む前記参照視点の複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を決定するステップと、前記参照レイヤが１つ以上のホールを含むように前記ターゲット参照レイヤを１つ以上の視点にワーピングするステップと、前記複数の変換関係に基づいて前記ターゲット参照レイヤの前記一つ以上のホールを復元することによって前記ターゲット参照レイヤを復元するステップと、前記入力カラーイメージのうちの１つを第１視点にワーピングすることによって出力イメージを生成するステップ（前記出力イメージはホールを含む）と、前記復元されたターゲット参照レイヤに基づいて前記出力イメージの前記ホールを復元するステップとを含む。
【００２６】
前記一つ以上の入力カラーイメージは同じ時間的位置を有し、前記複数の参照レイヤは互いに異なる時間的位置を有してもよい。
【００２７】
前記変換関係のそれぞれは、時間的に隣接する参照レイヤの対のホモグラフィを示してもよい。
【００２８】
前記ターゲット参照レイヤの前記一つ以上のホールを復元するステップは、前記複数変換関係に基づいて前記複数の参照レイヤを前記ターゲット参照レイヤの平面に変換することによって複数の変換された参照レイヤを生成するステップと、前記複数の変換された参照レイヤに基づいて前記ターゲット参照レイヤの前記一つ以上のホールを復元するステップとを含んでもよい。
【００２９】
前記復元されたターゲット参照レイヤに基づいて前記出力イメージのホールを復元するステップは、前記出力カラーイメージのホールを前記復元されたターゲット参照レイヤの部分に代替するステップを含んでもよい。
【００３０】
前記復元されたターゲット参照レイヤの前記の部分は、前記出力カラーイメージ内の前記ホールの位置に対応する位置を有してもよい。
【発明の効果】
【００３１】
本発明によると、複数のカラーイメージ間の変換関係に基づいて映像を処理する方法及び装置を提供することができる。
【００３２】
本発明によると、ターゲット参照レイヤを用いて出力カラーイメージ内のホールを復元する方法及び装置を提供することができる。
【図面の簡単な説明】
【００３３】
【図１】一実施形態に係る入力イメージに基づいて生成された新しい視点のイメージを示す。
【図２】一実施形態に係る複数の入力イメージを示す。
【図３】一実施形態に係る映像処理装置の構成図である。
【図４】一実施形態に係る映像処理方法のフローチャートである。
【図５】一実施形態に係る新しい視点の複数のカラーイメージを示す。
【図６】一実施形態に係る複数のカラーイメージの変換関係を示す。
【図７】一実施形態に係る変換関係を算出する方法のフローチャートである。
【図８】一実施形態に係る背景特徴を抽出する方法のフローチャートである。
【図９】一実施形態に係る背景特徴に基づいて変換関係を算出する方法のフローチャートである。
【図１０】一実施形態に係るターゲットカラーイメージ内のホールを復元する方法のフローチャートである。
【図１１】一実施形態に係る背景特徴を示す。
【図１２】一実施形態に係るターゲット平面に変換された複数のカラーイメージに基づいてターゲットカラーイメージ内のホールを復元する方法のフローチャートである。
【図１３】一実施形態に係るターゲット深度イメージを示す。
【図１４】一実施形態に係る深度参照領域を検出する方法のフローチャートである。
【図１５】他の一実施形態に係る映像処理方法のフローチャートである。
【図１６】一実施形態に係るターゲット参照レイヤを示す。
【図１７】一実施形態に係る最大ホールをターゲット参照レイヤに割り当てる方法を示す。
【図１８】一実施形態に係るホールマップを生成する方法を示す。
【図１９】一実施形態に係る最大ホールが割り当てられたターゲット参照レイヤを示す。
【図２０】一実施形態に係る複数の参照レイヤの間の変換関係を示す。
【図２１】一実施形態に係る最大ホールが復元されたターゲット参照レイヤを示す。
【図２２】一実施形態に係る出力イメージ内のホールを復元する方法のフローチャートを示す。
【図２３】一実施形態に係るホールが復元された出力イメージを示す。
【図２４】一実施形態に他のイメージの領域を分割して変換関係を算出する方法を示す。
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための形態の具体例を、図面を参照しながら、詳細に説明する。各図面で提示された同一の参照符号は同一の部材を示す。
【００３５】
本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００３６】
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００３７】
また、図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、それに対する重複説明を省略する。本実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。
【００３８】
以下では、用語「イメージ」はスチール映像であってもよく、動画フレームであってもよい。用語「イメージ」及び「映像」は同じ意味で、相互交換して使用し得る。
【００３９】
「カラーイメージ」はイメージ内のピクセルがカラーの値を有するイメージである。
【００４０】
「深度イメージ」はイメージ内のピクセルが深度値を有するイメージである。
【００４１】
一側面によると、カラーイメージに対応する深度イメージは、カラーイメージのピクセルに対する深度値を示すピクセルを含む。例えば、深度イメージは、深度カメラ又はレーザーによって生成され得る。他の例として、深度イメージは深度推測方法を用いて生成されてもよい。
【００４２】
深度及び視差は、互いに定数項によって逆相関される。追加的に、以下の実施形態において用語「深度」及び「視差」は相互交換して使用してもよい。また、深度を視差に変換したり視差を深度に変換するステップ又は動作が下記の実施形態に付加され得る。
【００４３】
図１は、一実施形態に係る入力イメージに基づいて生成された新しい視点のイメージを示す。
【００４４】
入力イメージ１１２は、特定視点で場面を撮影したイメージであり得る。特定視点は、第１視点１１０と命名する。例えば、入力イメージ１１２は、第１視点１１０のカメラを用いて撮影される。入力イメージ１１２はカラーイメージである。入力イメージ１１２に対応する深度イメージは、第１視点１１０で撮影した場面の深度を示す。
【００４５】
図１は、１つの入力イメージ１１２のみを示しているが、これに限定されることはない。例えば、第１視点１１０と異なる視点で撮影した異なる入力イメージが入力イメージ１１２にさらに追加的に提供され得る。
【００４６】
第１視点１１０と異なる新しい視点１２０〜１３０のイメージが入力イメージ１１２に基づいて生成される。例えば、新しい視点１２０〜１３０は、カメラを用いて直接撮影できない視点であってもよい。新しい視点１２０〜１３０は、仮想視点であってもよい。
【００４７】
出力イメージ１２２及び１３２は、新しい視点１２０及び１３０で場面を撮影したイメージであり得る。以下では、特定の視点でキャプチャーされたイメージ又は特定の視点でキャプチャーされたように生成されたイメージは、特定視点のイメージ又は特定視点に対応するイメージと命名する。類似に、イメージに対応する視点はイメージの視点と命名する。
【００４８】
一側面によると、出力イメージ１２２及び１３２は、入力イメージ１１２をワーピングすることによって生成される。例えば、入力イメージ１１２及び入力イメージ１１２に対応する深度イメージを用いて出力イメージ１２２及び１３２が生成される。
【００４９】
ここで、ワープ（ｗａｒｐ）又はワーピングは、イメージ内のピクセルそれぞれの座標を、イメージの深度情報を用いてシフトすることを意味する。深度が小さいピクセルであるほど、深度の大きいピクセルに比べてより多くシフトされる。イメージの深度情報は、深度イメージによって取得され得る。例えば、第１視点でキャプチャーされた第１イメージは、第２視点の第２イメージを生成するためにワーピングされる。第１視点及び第２視点はそれぞれ異なってもよい。
【００５０】
入力イメージ１１２の視点をワーピングさせる場合、生成された出力イメージ１２２及び１３２内にはホールが存在する。ホールは、ホールピクセル又はホールピクセルの領域を意味する。
【００５１】
ワーピングによるホールの発生は、イメージ内の前景及び背景間の深度差によって発生する。図１に示す入力イメージ１１０は前景としてサッカーボールを含み、背景としてサッカーゴールポストを含む。入力イメージ１１２内でサッカーボールが背景よりもカメラに近く位置しているため、視点を移動した場合、サッカーボールに遮られたボールの形態の背景が出力イメージ１２２及び１３２でホールとして示される。
【００５２】
一側面によると、出力イメージ１２２及び１３２のホールを復元するために出力イメージ１２２及び１３２と時間的に関ったイメージを用いることができる。例えば、時間的に関ったイメージは出力イメージ１２２及び１３２を含む出力動画のイメージであり得る。
【００５３】
例えば、入力イメージ１１２が入力動画で複数のフレームのうちｔ番目のフレームである場合、出力イメージ１２２及び１３２は、出力動画で複数のフレームのうちｔ番目のフレームであり得る。この場合、出力イメージ１２２及び１３２の時間的に関ったイメージは、出力動画に含まれたフレームであり得る。動画フレームは、時間的な昇順（すなわち、ディスプレイ時刻に応じて）に整列される。例えば、ｔ番目のフレームの次にはｔ＋１番目のフレームであり、その次にはｔ＋２番目のフレームである。以下は、「ｔ」、「ｔ＋１」、「ｔ＋２」、及び「ｔ＋ｎ」などはイメージ又はフレームの時間的な位置を示す。
【００５４】
以下は図２〜図２４を参照して出力イメージ１２２及び１３２内のホールを復元する方法を説明する。
【００５５】
図２は、一実施形態に係る複数の入力イメージを示す。
【００５６】
複数の入力イメージ２００は、前述した入力動画に含まれた複数のフレームである。入力動画２００は、ｔ−１番目の入力イメージ２１０、ｔ番目の入力イメージ１１２、及びｔ＋１番目の入力イメージ２２０を含む。
【００５７】
ｔ−１番目の入力イメージ２１０及びｔ番目の入力イメージ１１２は、時間的に隣接するイメージである。ｔ番目の入力イメージ１１２及びｔ＋１番目の入力イメージ２２０は時間的に隣接するイメージである。
【００５８】
出力動画は、入力動画の各イメージを第２視点に変換することによって生成される。以下で図５を参照して出力動画が詳細に説明する。
【００５９】
図３は、一実施形態に係る映像処理装置の構成図である。
【００６０】
映像処理装置３００（以下、映像処理装置３００は装置３００と称する）は、通信部３１０、プロセッサ３２０、及び格納部３３０を含む。
【００６１】
通信部３１０は、入力動画又は入力イメージを他の装置から受信する。例えば、通信部３１０は、「通信回路３１０」であってもよく、データを送信又は受信する回路又は回路網であり得る。
【００６２】
プロセッサ３２０は、通信部３１０が受信したデータ及び格納部３３０のデータを処理する。
【００６３】
「プロセッサ」は目的とする動作を実行するための物理的な構造を有する回路を有するハードウェアから具現されたデータ処理装置である。例えば、目的とする動作は、プログラムに含まれたコード又は命令を含む。例えば、ハードウェアで具現されたデータ処理装置は、マイクロプロセッサー、中央処理装置、プロセッサコア、マルチ−コアプロセッサ、マルチプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を含む。
【００６４】
プロセッサ３２０は、メモリ（例えば、メモリ３３０）に格納されたコンピュータで読み出すことのできるコード（例えば、ソフトウェア）及びプロセッサ３２０によって誘発された命令を実行する。
【００６５】
格納部３３０は、通信部３１０が受信したデータ及びプロセッサ３２０が処理したデータを格納する。例えば、格納部３３０は入力動画及び入力イメージを格納することができる。
【００６６】
一側面によると、格納部３３０は、１つ以上の揮発性メモリ、不揮発性メモリ、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ハードディスクドライブ、及び光学ディスクドライブを含む。
【００６７】
格納部３３０は、映像処理を行う命令語セット（例えば、ソフトウェア）を格納することができる。映像処理を行う命令語セットは、プロセッサ３２０によって実行され得る。
【００６８】
プロセッサ３２０は、命令語セットにより映像処理を行う。
【００６９】
以下では図４〜図２４を参照して通信部３１０、プロセッサ３２０、及び格納部３３０を詳細に説明する。
【００７０】
図４は、一実施形態に係る映像処理方法のフローチャートである。
【００７１】
以下のステップＳ４１０が実行される前に、通信部３１０は、他の装置から入力動画又は入力イメージを受信する。例えば、他の装置は入力動画及び入力イメージを撮影するカメラであり得る。
【００７２】
ステップＳ４１０において、プロセッサ３２０は、第１視点のカラーイメージを第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングし、第２視点のターゲットカラーイメージを生成する。
【００７３】
第１視点は、カメラが撮影した視点、第２視点は出力視点である。ターゲットカラーイメージは、出力イメージのカラー値を示す。
【００７４】
ステップＳ４１０において、プロセッサ３２０は、第１視点のカラーイメージに対応する深度イメージを第２視点にワーピングして第２視点のターゲット深度イメージを生成する。第２視点のターゲットカラーイメージ及び第２視点のターゲット深度イメージは互いに対応する。例えば、イメージ内の同じ位置を有する第２視点のターゲットカラーイメージのピクセル及び第２視点のターゲット深度イメージのピクセルは互いに対応する。
【００７５】
ワーピングを用いて第２視点のターゲットカラーイメージを生成する方法は、仮想視点のイメージを生成する分野で広く知られた技術であるため、その説明を省略する。
【００７６】
生成された第２視点のターゲットカラーイメージはホールを含む。生成された第２視点のターゲット深度イメージは第２ホールを含む。ホール及び第２ホールは互いに対応する。例えば、ターゲットカラーイメージ内のホールピクセルの座標と同一の座標を有するターゲット深度イメージのピクセルは第２ホールピクセルであり得る。
【００７７】
ステップＳ４２０において、プロセッサ３２０は、第２視点のターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち時間的に隣接するカラーイメージ間の変換関係を算出する。
【００７８】
一側面によると、変換関係は、時間的に隣接するカラーイメージイメージ間のホモグラフィであり得る。
【００７９】
以下では、図６〜図９を参照して変換関係を算出する方法が詳細に説明する。
【００８０】
ステップＳ４３０において、プロセッサ３２０は、変換関係に基づいて第２視点のターゲットカラーイメージ内のホールを復元する。
【００８１】
プロセッサ３２０は、変換関係に基づいて第２視点のターゲット深度イメージ内の第２ホールを復元する。
【００８２】
前述したステップＳ４１０〜Ｓ４３０によって第２視点のターゲットカラーイメージ内のホールが復元され得る。
【００８３】
以下のステップＳ４４０は、ステップＳ４１０〜４３０によって復元されていない残余ホールが存在する場合、追加的に実行され得る。
【００８４】
ステップＳ４４０において、プロセッサ３２０は、第２視点のターゲットカラーイメージ内の残余ホールを含むパッチを設定する。プロセッサ３２０は、第２視点のターゲットカラーイメージ内で最適なパッチを検出する。最適なパッチは、設定されたパッチと最も類似のパッチである。プロセッサ３２０は、第２視点のターゲットカラーイメージ内の残余ホールを最適パッチに基づいて復元する。例えば、最適なパッチは、設定されたパッチと閾値を超過する類似度を有するパッチであり得る。
【００８５】
図５は、一実施形態に係る新しい視点の複数のカラーイメージを示す。
【００８６】
プロセッサ３２０は、入力動画２００を第２視点にワーピングして出力動画５００を生成する。例えば、プロセッサ３２０は、入力動画２００の各イメージを第２視点にワーピングして出力動画５００を生成する。
【００８７】
ｔ−１番目の入力イメージ２１０、ｔ番目の入力イメージ１１２、及びｔ＋１番目の入力イメージ２２０は、ｔ−１番目の出力イメージ５１０、ｔ番目の出力イメージ５０１、及びｔ＋１番目の出力イメージ５２０にそれぞれ対応する。ｔ番目の出力イメージ５０１は、ターゲットカラーイメージ５０１と命名する。
【００８８】
出力動画５００は、ターゲットカラーイメージ５０１を含んでいる複数のカラーイメージを含む。例えば、出力動画５００は複数のカラーイメージ５００と命名する。
【００８９】
図６は、一実施形態に係る複数のカラーイメージの変換関係を示す。
【００９０】
プロセッサ３２０は、複数のカラーイメージ５００のうち時間的に隣接するカラーイメージ間の変換関係を算出する。算出された変換関係は複数であり得る。
【００９１】
例えば、第１カラーイメージ６１０及び第２カラーイメージ６２０は、時間的に隣接するカラーイメージである。プロセッサ３２０は、第１カラーイメージ６１０及び第２カラーイメージ６２０間の変換関係を算出する。第１カラーイメージ６１０及び第２カラーイメージ６２０間の変換関係はＨ１であり得る。
【００９２】
第２カラーイメージ６２０及び第２カラーイメージ６２０と時間的に隣接する第３カラーイメージ間の変換関係はＨ２であり得る。
【００９３】
図７は、一実施形態に係る変換関係を算出する方法のフローチャートである。
【００９４】
前述したステップＳ４２０は、以下のステップＳ７１０及び７２０を含む。
【００９５】
ステップＳ７１０において、プロセッサ３２０は、複数のカラーイメージの背景特徴を抽出する。
【００９６】
一側面によると、プロセッサ３２０は、複数のカラーイメージのうち少なくともいずれか１つに含まれた背景特徴を抽出する。
【００９７】
他の一側面によると、プロセッサ３２０は、ターゲットカラーイメージの背景特徴を抽出する。
【００９８】
複数のカラーイメージの背景特徴を抽出する方法については、以下で図８を参照して詳細に説明する。
【００９９】
ステップＳ７２０において、プロセッサ３２０は、背景特徴に基づいて複数のカラーイメージのうち時間的に隣接するカラーイメージ間の変換関係を算出する。
【０１００】
以下で図９を参照して背景特徴に基づいて変換関係を算出する方法を詳細に説明する。
【０１０１】
図８は、一実施形態に係る背景特徴を抽出する方法のフローチャートである。
【０１０２】
前述したステップＳ７１０は、以下のステップＳ８１０〜Ｓ８３０を含む。
【０１０３】
ステップＳ８１０において、プロセッサ３２０は、複数のカラーイメージの特徴を抽出する。例えば、プロセッサ３２０は、複数のカラーイメージのうち少なくともいずれか１つに含まれた特徴を抽出し得る。
【０１０４】
一側面によると、プロセッサ３２０は、複数のカラーイメージ内の構造体を特徴として抽出することができる。例えば、構造体は、テクスチャ、コーナー、及びエッジを含んでもよい。
【０１０５】
抽出された特徴は、特徴に対応する深度値を有する。例えば、カラーイメージの特徴は、特徴の座標と同一の座標を有する深度イメージのピクセルの深度値に対応する。
【０１０６】
他の一側面によると、プロセッサ３２０は、複数のカラーイメージ内の勾配を特徴として抽出することができる。
【０１０７】
ステップＳ８１５において、プロセッサ３２０は、ターゲットカラーイメージの特徴を抽出する。
【０１０８】
一側面によると、ステップＳ８１０及びステップＳ８１５は選択的に実行される。
【０１０９】
ステップＳ８２０において、プロセッサ３２０は、抽出された特徴を深度ごとに整列する。
【０１１０】
一側面によると、プロセッサ３２０は、特徴に対応する深度値を用いて抽出された特徴を深度ごとに整列する。例えば、プロセッサ３２０は、深度値が大きい順に特徴を整列する。
【０１１１】
ステップＳ８３０において、プロセッサ３２０は、抽出された特徴のうち一部を背景特徴として決定する。
【０１１２】
一側面によると、プロセッサ３２０は、深度ごとに整列した特徴のうち予め設定された個数の特徴を背景特徴として決定する。
【０１１３】
他の一側面によると、プロセッサ３２０は、深度ごとに整列した特徴を深度値に基づいてセグメンテーションする。プロセッサ３２０は、特徴の深度値に基づいて背景深度を決定する。プロセッサ３２０は、背景深度に基づいて特徴のうち背景特徴を決定する。
【０１１４】
例えば、プロセッサ３２０は、特徴を深度値に基づいて予め設定された範囲のグループに分類してもよい。プロセッサ３２０は、グループのうち閾値以上の深度値を有するグループを背景グループとして選定する。プロセッサ３２０は、背景グループに含まれた特徴を背景特徴として決定する。
【０１１５】
以下で図１１を参照して背景特徴について詳細に説明する。
【０１１６】
図９は、一実施形態に係る背景特徴に基づいて変換関係を算出する方法のフローチャートである。
【０１１７】
前述したステップＳ７２０は、以下のステップＳ９１０〜Ｓ９４０を含む。
【０１１８】
ステップＳ９１０において、プロセッサ３２０は、第１カラーイメージの第１背景特徴を検出する。第１カラーイメージは、複数のカラーイメージ５００のいずれか１つである。
【０１１９】
第１背景特徴は、抽出された背景特徴に対応する。例えば、プロセッサ３２０は、第１カラーイメージの特徴を抽出し、抽出された特徴のうち背景特徴との差が閾値以下である特徴を第１背景特徴として検出する。
【０１２０】
ステップＳ９２０において、プロセッサ３２０は、第２カラーイメージの第２背景特徴を検出する。第２カラーイメージは、複数のカラーイメージ５００のいずれか１つである。第２カラーイメージは、第１カラーイメージと時間的に隣接する。例えば、第１カラーイメージがｔ番目のイメージである場合、第２カラーイメージはｔ＋１番目イメージである。
【０１２１】
第２背景特徴は、抽出された背景特徴に対応する。例えば、プロセッサ３２０は、第２カラーイメージの特徴を抽出し、抽出された特徴のうち背景特徴との差が閾値以下である特徴を第２背景特徴として検出する。
【０１２２】
ステップＳ９３０において、プロセッサ３２０は、第１背景特徴及び第２背景特徴をマッチングする。
【０１２３】
一側面によると、プロセッサ３２０は、第１背景特徴に関する座標及び第２背景特徴に関する座標をマッチングする。
【０１２４】
ステップＳ９４０において、プロセッサ３２０は、マッチングに基づいて第１カラーイメージ及び第２カラーイメージ間の変換関係を算出する。
【０１２５】
一側面によると、プロセッサ３２０は、マッチングされた座標に基づいて第１カラーイメージ及び第２カラーイメージ間の変換関係を算出する。
【０１２６】
例えば、第１カラーイメージの第１背景特徴がＦｔであり、第２カラーイメージの第２背景特徴がＦｔ＋１である場合、以下の数式（１）を用いて変換関係を算出することができる。
【０１２７】
【数１】
2017050866.tif 000003
Ｈｔは第１カラーイメージ及び第２カラーイメージ間の変換関係である。変換関係は、３ｘ３ホモグラフィ行列である。
【０１２８】
第１背景特徴Ｆｔが以下の数式（２）のように表現される。第１背景特徴は、第１カラーイメージ内で（ｘ、ｙ）の座標を有する。
【０１２９】
【数２】
2017050866.tif 000004
第２背景特徴Ｆｔ＋１が以下の数式（３）のように表現される。第２背景特徴は、第２カラーイメージ内で（ｘ’、ｙ’）の座標を有する。
【０１３０】
【数３】
2017050866.tif 000005
変換関係は数式（４）のように表現される。
【０１３１】
【数４】
2017050866.tif 000006
プロセッサ３２０は、複数の背景特徴がマッチングされた場合、Ｈｔの最小平均自乗誤差（ｌｅａｓｔ  ｍｅａｎ  ｓｑｕａｒｅ  ｅｒｒｏｒ）が最小になるｈ１〜ｈ９の値を算出する。
【０１３２】
一側面によると、ステップＳ９１０〜Ｓ９４０は、処理されるカラーイメージを変更しながら繰り返し実行され得る。例えば、プロセッサ３２０は、第１カラーイメージ及び第２カラーイメージ間の変換関係Ｈｔを算出した後、第２カラーイメージ及び第３カラーイメージ間の変換関係Ｈｔ＋１を算出する。
【０１３３】
一側面によると、プロセッサ３２０は、カラーイメージを複数のサブカラーイメージに分割した後、サブカラーイメージに対する変換関係を算出する。サブカラーイメージに対する変換関係を算出する方法については、以下で図２４を参照して詳細に説明する。
【０１３４】
図１０は、一実施形態に係るターゲットカラーイメージ内のホールを復元する方法のフローチャートである。
【０１３５】
前述したステップＳ４３０は、下記のステップＳ１０１０〜Ｓ１０２０を含む。
【０１３６】
ステップＳ１０１０において、プロセッサ３２０は、変換関係を用いて複数のカラーイメージをターゲットカラーイメージのターゲット平面にそれぞれ変換する。
【０１３７】
プロセッサ３２０は、変換関係を用いて複数のカラーイメージをターゲットカラーイメージと同一の平面に変換させ得る。
【０１３８】
例えば、ターゲットカラーイメージがｔ番目のイメージである場合、ｔ−１番目のカラーイメージは以下の数式（５）を用いてターゲットカラーイメージと同一の平面に変換される。
【０１３９】
【数５】
2017050866.tif 000007
Ｉｔ−１はｔ−１番目のカラーイメージに関する情報である。例えば、Ｉｔ−１はｔ−１番目のカラーイメージ内のピクセルの座標によるカラー値を含む。
【０１４０】
Ｉｔ（ｔ−１）はｔ−１番目のカラーイメージがターゲット平面に変換されたイメージに関する情報である。
【０１４１】
時間的に隣接するカラーイメージ間の変換関係が算出されたため、ターゲットカラーイメージと時間的に隣接していないカラーイメージもターゲット平面に変換される。
【０１４２】
例えば、ターゲットカラーイメージがｔ番目のイメージである場合、ｔ−Ｎ番目のカラーイメージは以下の数式（６）を用いてターゲットカラーイメージと同一の平面に変換される。
【０１４３】
【数６】
2017050866.tif 000008
Ｉｔ（ｔ−Ｎ）はｔ−Ｎ番目のカラーイメージがターゲット平面に変換されたイメージに関する情報である。
【０１４４】
例えば、ターゲットカラーイメージがｔ番目のイメージである場合、ｔ＋Ｎ番目のカラーイメージは以下の数式（７）を用いてターゲットカラーイメージと同一の平面に変換される。
【０１４５】
【数７】
2017050866.tif 000009
Ｉｔ（ｔ＋Ｎ）はｔ＋Ｎ番目のカラーイメージがターゲット平面に変換されたイメージに関する情報である。
【０１４６】
一実施形態によると、特定のカラーイメージ（又は深度イメージ）をターゲット平面に変換することは、隣接するイメージ間の変換関係を用いて特定のカラーイメージ（又は深度イメージ）の平面をターゲットカラーイメージと同一の平面に変換することである。
【０１４７】
ステップＳ１０１０において、プロセッサ３２０は、変換関係を用いて複数の深度イメージをターゲット深度イメージのターゲット平面に変換する。複数の深度イメージをターゲット深度イメージのターゲット平面に変換する方法は、前述した複数のカラーイメージをターゲットカラーイメージのターゲット平面に変換する方法と類似する。
【０１４８】
ステップＳ１０２０において、プロセッサ３２０は、ターゲット平面に変換された複数のカラーイメージに基づいてターゲットカラーイメージ内のホールを復元する。ホールを復元する方法に対して以下で図１２〜図１４を参照して詳細に説明する。
【０１４９】
図１１は、一実施形態に係る背景特徴を示す。
【０１５０】
ターゲットカラーイメージ５０１は、前景１１０３及び背景１１０１を含む。ホール１１０５は、前景１１０３によって示される背景である。ホール１１０７は、ターゲットカラーイメージ５０１では示されないホールである。
【０１５１】
プロセッサ３２０は、ターゲットカラーイメージ５０１の特徴１１０３、１１０９及び１１１１を抽出する。前景１１０３は特徴から抽出され得る。
【０１５２】
プロセッサ３２０は、抽出された特徴１１０３、１１０９及び１１１１の深度値に基づいて特徴１１０３、１１０９及び１１０１のうち背景特徴１１０９及び１１１１を決定する。決定された背景特徴１１０９及び１１１１に対応する深度値は、予め設定された深度値以上である。
【０１５３】
例えば、背景特徴１１０９及び１１１１は１つのピクセル座標に対応してもよい。
【０１５４】
他の例として、背景特徴１１０９及び１１１１は予め設定された大きさの領域であってもよい。
【０１５５】
図１２は、一実施形態に係るターゲット平面に変換された複数のカラーイメージに基づいてターゲットカラーイメージ内のホールを復元する方法のフローチャートである。
【０１５６】
前述したステップＳ１０２０は、以下のステップＳ１２１０〜Ｓ１２４０を含む。
【０１５７】
ステップＳ１２１０において、プロセッサ３２０は、第２視点のターゲット深度イメージの第２ホールに第２ホールと隣接する背景領域の深度値を割り当てる。ターゲット深度イメージは、前述したステップＳ４１０で予め生成される。
【０１５８】
前景が移動することにより示される深度イメージの第２ホールは、背景である可能性が最も高い。プロセッサ３２０は、第２ホールに第２ホールと隣接する背景領域の深度値を割り当てる。
【０１５９】
ステップＳ１２２０において、プロセッサ３２０は、複数の深度イメージのうち、第２ホールに対応する深度参照領域を検出する。前記複数の深度イメージは、ターゲット平面に変換された深度イメージであり得る。前記複数の深度イメージは、ターゲット平面に変換された複数のカラーイメージに対応する。
【０１６０】
一側面によると、深度参照領域は、第２ホールの座標と同一の座標を有する複数の深度イメージの領域である。
【０１６１】
深度参照領域を検出する方法については、以下で図１４を参照して詳細に説明する。
【０１６２】
ステップＳ１２３０において、プロセッサ３２０は、検出された深度参照領域に対応するターゲット平面に変換された複数のカラーイメージのカラー参照領域を検出する。
【０１６３】
一側面によると、深度参照領域及びカラー参照領域は互いに対応する。例えば、互いに対応する深度参照領域及びカラー参照領域は、イメージ内の座標が互いに同一であり得る。
【０１６４】
一側面によると、ステップＳ１２３０で、プロセッサ３２０は検出された深度参照領域に対応するカラー参照領域であって、検出された深度参照領域の全てのピクセルに対応する複数のカラー参照領域の全てのピクセルを検出し得る。
【０１６５】
一側面によると、ステップＳ１２３０で、プロセッサ３２０は、全ての検出された深度参照領域のそれぞれについて上記で説明した動作を実行し得る。
【０１６６】
ステップＳ１２４０において、プロセッサ３２０は、検出されたカラー参照領域に基づいてターゲットカラーイメージ内のホールを復元する。
【０１６７】
一側面によると、プロセッサ３２０は、カラー参照領域のカラー値の平均をホールのカラー値に設定することによってホールを復元し得る。
【０１６８】
他の一側面によると、プロセッサ３２０は、カラー参照領域のカラー値のうち出現頻度が最も大きいカラー値をホールのカラー値に設定することでホールを復元し得る。
【０１６９】
一側面によると、ステップＳ１２４０で、プロセッサ１２４０は、ピクセルごとにホールを復元し得る。例えば、プロセッサ３２０は、ホールの選択されたピクセルに対応する複数のピクセルの平均値又はホールの選択されたピクセルに対応する複数のピクセルのうち最も頻繁に発生する値をホールの選択されたピクセル値に決定し得る。
【０１７０】
ステップＳ１２４０で、ホールの選択されたピクセルに対応する複数のピクセルは、ターゲット平面に変換された複数のカラーイメージのカラー参照領域に定義することができる。ホールの選択されたピクセルに対応する複数のピクセルは、ホールの選択されたピクセルと同じ位置（例えば、座標）を有する。
【０１７１】
一側面によると、ステップＳ１２４０で、プロセッサ３２０は、ホール内の全てのピクセルのそれぞれについて上記で説明した動作を実行し得る。
【０１７２】
図１３は、一実施形態に係るターゲット深度イメージを示す。
【０１７３】
ターゲット深度イメージ１３０１は、前述したターゲットカラーイメージ５０１に対応する。
【０１７４】
ターゲット深度イメージ１３０１は、第２ホール１３０５及び１０３０７を含む。
【０１７５】
例えば、プロセッサ３２０は、第２ホール１３０５に隣接する背景領域１３０９の深度値を第２ホール１３０５の深度値に設定する。
【０１７６】
他の例として、プロセッサ３２０は、第２ホール１３０７に隣接する背景領域１３０８又は１３０９の深度値を第２ホール１３０７の深度値に設定することもできる。
【０１７７】
図１４は、一実施形態に係る深度参照領域を検出する方法のフローチャートである。
【０１７８】
前述したステップＳ１２２０は以下のステップ１４１０及び１４２０を含む。
【０１７９】
ステップＳ１４１０において、プロセッサ３２０は、複数の深度イメージのうち第２ホールの座標と同一の座標を有する領域を検出する。
【０１８０】
ステップＳ１４２０において、プロセッサ３２０は、検出された領域のうち第２ホールに割り当てられた深度値との深度値の差が閾値以下である領域を深度参照領域として決定する。
【０１８１】
図４〜図１４を参照して説明した映像処理方法により、出力イメージ内のホールが復元され得る。
【０１８２】
他の一実施形態に係る出力イメージ内のホールを復元する方法については、以下で図１５〜図２３を参照して説明する。
【０１８３】
図１５は、他の一実施形態に係る映像処理方法のフローチャートである。
【０１８４】
以下のステップＳ１５１０が実行される前に、通信部３１０は、他の装置から入力動画又は入力イメージを受信する。例えば、他の装置は、入力動画及び入力イメージを撮影するカメラであり得る。
【０１８５】
通信部３１０は、１つ以上の視点で生成された１つ以上の入力カラーイメージ及び１つ以上の入力深度イメージを受信する。前記の１つ以上の入力カラーイメージは、互いに異なる視点で同一の時刻に撮影されたイメージである。１つ以上の深度イメージは１つ以上のカラーイメージにそれぞれ対応する。
【０１８６】
ｔ番目の１つ以上の入力カラーイメージを用いてｔ番目の仮想視点の出力カラーイメージが生成される。仮想視点の出力カラーイメージはホールを含む。ｔ番目の背景レイヤが存在する場合、ｔ番目の背景レイヤを用いて出力カラーイメージのホールを復元することができる。
【０１８７】
ｔ番目の背景レイヤを生成し、生成された背景レイヤを用いてｔ番目の出力カラーイメージのホールを復元する方法については以下で説明される。
【０１８８】
ｔ番目の背景レイヤは以下でターゲット参照レイヤと称する。
【０１８９】
ステップＳ１５１０において、プロセッサ３２０は、１つ以上の入力カラーイメージの１つ以上の視点に基づいて参照視点を決定する。
【０１９０】
参照視点は、後述される参照レイヤ、ターゲット参照レイヤ、及びホールマップの視点であり得る。
【０１９１】
参照視点を決定する方法の一実施形態については、以下で図１６を参照して詳細に説明する。
【０１９２】
ステップＳ１５１５において、プロセッサ３２０は、１つ以上の入力カラーイメージに基づいて参照視点に対応するターゲット参照レイヤを生成する。ステップＳ１５１５は、プロセッサ３２０がステップＳ１５１０で決定された参照視点の入力カラーイメージを参照視点レイヤに設定するステップを含む。ターゲット参照レイヤは、ｔ番目の１つ以上の入力カラーイメージを用いて仮想視点の出力カラーイメージを生成するため、生成されるｔ番目の参照レイヤであり得る。
【０１９３】
ステップＳ１５２０において、プロセッサ３２０は、ターゲット参照レイヤを特定の視点にワーピングすることによって発生し得る最大ホールをターゲット参照レイヤに割り当てる。
【０１９４】
最大ホールをターゲット参照レイヤに割り当てる方法については、以下で図１７〜１９を参照して詳細に説明する。
【０１９５】
ステップＳ１５２５において、プロセッサ３２０は、ターゲット参照レイヤを含む参照視点の複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を算出する。
【０１９６】
複数の参照レイヤそれぞれは、複数の入力カラーイメージと時間的に隣接する複数の入力カラーイメージそれぞれに対するターゲット参照レイヤである。複数の参照レイヤのそれぞれは、互いに異なる時間的位置を有する。例えば、ｔ−１番目の参照レイヤはｔ−１番目の複数の入力カラーイメージに対するターゲット参照レイヤである。
【０１９７】
変換関係は、時間的に隣接する参照レイヤ間のホモグラフィを示す。
【０１９８】
複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を算出する方法については、以下で図１６を参照して詳細に説明する。
【０１９９】
ステップＳ１５２０〜ステップＳ１５２５は並列的に実行されてもよい。
【０２００】
ステップＳ１５３０において、プロセッサ３２０は、変換関係に基づいてターゲット参照レイヤに割り当てられた最大ホールを復元する。
【０２０１】
最大ホールを復元する方法については、以下で図２２を参照して詳細に説明する。
【０２０２】
ステップＳ１５３５において、プロセッサ３２０は、ターゲット参照レイヤに残余ホールが存在する場合、残余ホールをターゲット参照レイヤを用いて復元する。プロセッサ３２０は、ターゲット参照レイヤ内の残余ホールを含むパッチを設定する。プロセッサ３２０は、ターゲット参照レイヤ内の最適なパッチを検出することができる。最適なパッチは、設定されたパッチと最大類似度を有する。プロセッサ３２０は、最適なパッチを用いてターゲット参照レイヤ内の残余ホールを復元し得る。
【０２０３】
一側面によると、プロセッサ３２０は、残余ホールを含むパッチを設定し、設定されたパッチと最も類似の最適なパッチをターゲット参照レイヤから検索する。例えば、最適なパッチは、設定されたパッチと閾値を超過する類似度を有するパッチであり得る。
【０２０４】
ステップＳ１５３５において、残余ホールが存在するか否かに応じて選択的に実行される。
【０２０５】
ステップＳ１５４０において、前述したステップＳ１５１０〜Ｓ１５３５と並列的に実行されてもよい。
【０２０６】
ステップＳ１５４０において、プロセッサ３２０は、複数の入力カラーイメージのうち少なくとも１つを出力視点にワーピングして出力カラーイメージを生成する。
【０２０７】
例えば、プロセッサ３２０は、ワーピングに用いられる入力カラーイメージに対応する入力深度イメージに基づいて出力カラーイメージを生成する。
【０２０８】
出力カラーイメージ内にはホールが存在する。
【０２０９】
ステップＳ１５４５において、プロセッサ３２０は、最大ホールが復元されたターゲット参照レイヤを用いて出力イメージ内のホールを復元する。
【０２１０】
出力イメージ内のホールを復元する方法については、以下で図２２〜２３を参照して詳細に説明する。
【０２１１】
図１６は、一実施形態に係るターゲット参照レイヤを示す。
【０２１２】
一側面によると、複数の入力カラーイメージは２ｎ−１個である。ここで、ｎは自然数である。
【０２１３】
参照視点は、複数の入力カラーイメージのうち中間に位置する入力カラーイメージの視点である。プロセッサ３２０は、２ｎ−１個の入力カラーイメージのうち、ｎ番目の中心入力カラーイメージ１６２０の視点を参照視点として決定する。
【０２１４】
参照視点が複数の入力カラーイメージのうち特定の入力カラーイメージの視点と同一の場合、前記の特定の入力カラーイメージがターゲット参照レイヤ１６４０に設定（又は、使用）される。例えば、参照視点が中心入力カラーイメージ１６２０の視点である場合、中心入力カラーイメージ１６２０がターゲット参照レイヤ１６４０に設定され得る。
【０２１５】
他の一側面によると、複数の入力カラーイメージは２ｎ個であってもよい。
【０２１６】
プロセッサ３２０は、複数の入力カラーイメージが２ｎ個である場合、ｎ番目の入力カラーイメージ及びｎ＋１番目の入力カラーイメージの中間視点を参照視点として決定する。
【０２１７】
プロセッサ３２０は、複数の入力カラーイメージが２ｎ個である場合、参照視点のターゲット参照レイヤを複数の入力カラーイメージに基づいて生成する。
【０２１８】
図１７は、一実施形態に係る最大ホールをターゲット参照レイヤに割り当てる方法を示す。
【０２１９】
前述したステップＳ１５２０は、以下のステップＳ１７１０〜Ｓ１７４０を含む。
【０２２０】
ステップＳ１７１０において、プロセッサ３２０は、ターゲット参照レイヤを１つ以上の視点にワーピングする。１つ以上の視点は、出力視点に決定される視点である。
【０２２１】
ステップＳ１７２０において、プロセッサ３２０は、１つ以上の視点にワーピングされたターゲット参照レイヤ内のホールを検出する。例えば、プロセッサ３２０は、カラー値が割り当てられないピクセルのグループ又は領域をホールとして検出する。
【０２２２】
ステップＳ１７３０において、プロセッサ３２０は、検出されたホールに基づいてホールマップを生成する。ホールマップについては、以下で図１８を参照して詳細に説明する。
【０２２３】
ステップＳ１７４０において、プロセッサ３２０は、ホールマップをターゲット参照レイヤに適用することによって最大ホールをターゲット参照レイヤに割り当てる。
【０２２４】
図１８は、一実施形態に係るホールマップを生成する方法を示す。
【０２２５】
プロセッサ３２０は、ターゲット参照レイヤ１８１０を１つ以上の視点にワーピングする。ターゲット参照レイヤ１８１０は前景１８１２を含む。
【０２２６】
プロセッサ３２０は、参照視点に比べて左側視点にターゲット参照レイヤ１８１０をワーピングして第１ワーピングされたターゲット参照レイヤ１８２０を生成する。第１ワーピングされたターゲット参照レイヤ１８２０はホール１８２４を含む。
【０２２７】
プロセッサ３２０は、参照視点に比べて右側視点にターゲット参照レイヤ１８１０をワーピングして第２ワーピングされたターゲット参照レイヤ１８３０を生成する。第２ワーピングされたターゲット参照レイヤ１８３０はホール１８３４を含む。
【０２２８】
プロセッサ３２０は、ホール１８２４及びホール１８３４をそれぞれ検出する。
【０２２９】
プロセッサ３２０は、検出されたホール１８２４及びホール１８３４を１つのレイヤに集めることでホールマップ１８４０を生成する。ホールマップ１８４０は、ターゲット参照レイヤ１８１０をワーピングすることで発生する最大ホールを示す。ホールマップ１８４０は、ターゲット参照レイヤ１８１０を他の視点にワーピングすることで発生する他の視点のイメージ内のホール位置を、ターゲット参照レイヤ１８１０に対応する視点にホールとして表示したものである。すなわち、ターゲット参照レイヤ１８１０内のホールは、１つ以上の他の視点のイメージでホールとして表示される。最大ホールは、ターゲット参照レイヤ１８０を１つ以上の他の視点にワーピングすることで１つ以上の他の視点のイメージ内で発生する全てのホールに対応する領域を意味する。
【０２３０】
図１９は、一実施形態に係る最大ホールが割り当てられたターゲット参照レイヤを示す。
【０２３１】
プロセッサ３２０は、ターゲット参照レイヤ１８１０にホールマップ１８４０を適用することで最大ホールが割り当てられたターゲット参照レイヤ１９１０を生成する。
【０２３２】
その後、最大ホールが割り当てられたターゲット参照レイヤ１９１０のホールが背景に復元されることによって背景レイヤが生成され得る。
【０２３３】
図２０は、一実施形態に係る複数の参照レイヤの間の変換関係を示す。
【０２３４】
複数の参照レイヤ２０００は、ターゲット参照レイヤ２０１０を含む。例えば、複数の参照レイヤ２０００のうちｔ−ｎ番目の参照レイヤは、ｔ−ｎ番目の複数の入力カラーイメージのターゲット参照レイヤであり得る。
【０２３５】
複数の参照レイヤ間の変換関係を算出する方法に対する説明は、前述したステップＳ４２０の説明が類似に適用される。ステップＳ４２０に対する説明のうち、「第２視点の複数のカラーイメージ」に対する説明が、ステップＳ１５２５の「複数の参照レイヤ」に対する説明に代替され得る。
【０２３６】
例えば、第１参照レイヤ２０２０及び第２参照レイヤ２０３０は、時間的に隣接する参照レイヤであってもよい。プロセッサ３２０は、第１参照レイヤ２０２０と第２参照レイヤ２０３０との間の変換関係を算出する。第１参照レイヤ２０２０と第２参照レイヤ２０３０との間の変換関係はＨ１であってもよい。
【０２３７】
第２参照レイヤ２０３０及び第２参照レイヤ２０３０と時間的に隣接する第３参照レイヤ間の変換関係はＨ２であってもよい。
【０２３８】
図２１は、一実施形態に係る最大ホールが復元されたターゲット参照レイヤを示す。
【０２３９】
プロセッサ３２０は、最大ホールが割り当てられたターゲット参照レイヤ１９１０のホールを復元する。
【０２４０】
プロセッサ３２０は、ターゲット参照レイヤ１９１０のホール１９１４及び１９１６を背景に復元する。
【０２４１】
ホール１９１４及び１９１６を復元する方法に対する説明は、前述したステップＳ４３０に対する説明が類似に適用され得る。ステップＳ４３０に対する説明のうち「第２視点のターゲットカラーイメージ」に対する説明が、ステップＳ１５３０の「ターゲット参照レイヤ」に対する説明に代替され得る。
【０２４２】
図２２は、一実施形態に係る出力イメージ内のホールを復元する方法のフローチャートを示す。
【０２４３】
前述したステップＳ１５４５は、以下のステップＳ２２１０〜Ｓ２２３０を含む。
【０２４４】
ステップＳ２２１０において、プロセッサ３２０は、前述したステップＳ１５４０で生成された出力イメージ内のホールを検出する。
【０２４５】
ステップＳ２２２０において、プロセッサ３２０は、ターゲット参照レイヤを出力イメージの視点にワーピングする。
【０２４６】
ステップＳ２２３０において、プロセッサ３２０は、ワーピングされたターゲット参照レイヤで出力イメージのホールに対応する領域を用いてホールを復元する。
【０２４７】
ホールを復元する方法については、以下の図２４を参照して詳細に説明する。
【０２４８】
図２３は、一実施形態に係るホールが復元された出力イメージを示す。
【０２４９】
ワーピングされた出力イメージ２３１０はホール２３１４を含む。
【０２５０】
プロセッサ３２０は、ターゲット参照レイヤを出力イメージ２３１０の視点にワーピングしてワーピングされたターゲット参照レイヤ２３２０を生成する。
【０２５１】
プロセッサ３２０は、ホール２３１４に対応する領域２３２４をワーピングされたターゲット参照レイヤ２３２０から検出する。例えば、領域２３２４は、ホール２３１４とイメージ内の座標が同一であり得る。
【０２５２】
一側面によると、プロセッサ３２０は、領域２３２４をコピーして出力イメージ２３１０のホール２３１４に貼り付けることによってホール２３１４を復元する。
【０２５３】
プロセッサ３２０は、ホール２３１４を復元することでホール復元された出力イメージ２３３０を生成する。
【０２５４】
図２４は、一実施形態に係るカラーイメージをサブカラーイメージに分割して変換関係を算出する方法を示す。
【０２５５】
一側面に係る前述したステップＳ４２０及びステップＳ１５２５の変換関係は、以下の一実施形態を用いて算出され得る。
【０２５６】
例えば、プロセッサ３２０は、第１参照レイヤ２０２０を複数のサブカラーイメージ２０２１〜２０２４に分割してもよい。プロセッサ３２０は、第２参照レイヤ２０３０を複数のサブカラーイメージ２０３１〜２０３４に分割してもよい。
【０２５７】
プロセッサ３２０は、対応するサブカラーイメージ間のサブ変換関係を算出する。例えば、プロセッサ３２０は、第１参照レイヤ２０２０のサブカラーイメージ２０２１と第２参照レイヤ２０３０のサブカラーイメージ２０３１との間のサブ変換関係を算出する。
【０２５８】
プロセッサ３２０は、算出されたサブ変換関係に基づいてターゲット参照レイヤの最大ホールを復元する。
【０２５９】
本実施形態による方法は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【０２６０】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【０２６１】
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【０２６２】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【０２６３】
３１０：通信部
３２０：プロセッサ
３３０：格納部
【図１】
2017050866.tif 000010
【図２】
2017050866.tif 000011
【図３】
2017050866.tif 000012
【図４】
2017050866.tif 000013
【図５】
2017050866.tif 000014
【図６】
2017050866.tif 000015
【図７】
2017050866.tif 000016
【図８】
2017050866.tif 000017
【図９】
2017050866.tif 000018
【図１０】
2017050866.tif 000019
【図１１】
2017050866.tif 000020
【図１２】
2017050866.tif 000021
【図１３】
2017050866.tif 000022
【図１４】
2017050866.tif 000023
【図１５】
2017050866.tif 000024
【図１６】
2017050866.tif 000025
【図１７】
2017050866.tif 000026
【図１８】
2017050866.tif 000027
【図１９】
2017050866.tif 000028
【図２０】
2017050866.tif 000029
【図２１】
2017050866.tif 000030
【図２２】
2017050866.tif 000031
【図２３】
2017050866.tif 000032
【図２４】
2017050866.tif 000033