(57)【特許請求の範囲】
【請求項１】
入力深さ映像の各ピクセルから第１閾値以上の空間的な偏差を有するピクセルを第１ピクセル群として抽出する第１ピクセル群抽出部と、
前記第１ピクセル群情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める深さ折り畳み領域決定部と、
を含み、
前記空間的な偏差は、各ピクセルの深さ値と隣接するピクセルの深さ値との間の差に関連し、
前記入力深さ映像の勾配に基づいて前記入力深さ映像の深さ折り畳み線を決める深さ折り畳み線決定部をさらに含み、
前記深さ折り畳み領域を決定部は、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める映像処理装置。
【請求項２】
前記深さ折り畳み領域決定部は、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報のうち少なくとも１つに基づいて領域分割を行って前記入力深さ映像の深さ折り畳み領域を決める請求項１に記載の映像処理装置。
【請求項３】
入力深さ映像の各ピクセルから第１閾値以上の空間的な偏差を有するピクセルを第１ピクセル群として抽出する第１ピクセル群抽出部と、
前記第１ピクセル群情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める深さ折り畳み領域決定部と、
を含み、
前記空間的な偏差は、各ピクセルの深さ値と隣接するピクセルの深さ値との間の差に関連し、
前記入力深さ映像の勾配および前記入力深さ映像と関連する入力光の映像のグラジエントに基づいて前記入力深さ映像の深さ折り畳み線を決める深さ折り畳み線決定部をさらに含み、
前記深さ折り畳み領域決定部は、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める映像処理装置。
【請求項４】
前記深さ折り畳み領域決定部は、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報のうち少なくとも１つに基づいて領域分割を行って前記入力深さ映像の深さ折り畳み領域を決める請求項３に記載の映像処理装置。
【請求項５】
入力深さ映像の各ピクセルから第１閾値以上の空間的な偏差を有するピクセルを第１ピクセル群として抽出する第１ピクセル群抽出部と、
前記第１ピクセル群情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める深さ折り畳み領域決定部と、
を含み、
前記空間的な偏差は、各ピクセルの深さ値と隣接するピクセルの深さ値との間の差に関連し、
前記入力深さ映像の勾配および前記入力深さ映像と関連する入力カラー映像の勾配に基づいて前記入力深さ映像の深さ折り畳み線を決める深さ折り畳み線決定部をさらに含み、
前記深さ折り畳み領域決定部は、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める映像処理装置。
【請求項６】
前記深さ折り畳み領域決定部は、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報のうち少なくとも１つに基づいて領域分割を行って前記入力深さ映像の深さ折り畳み領域を決める請求項５に記載の映像処理装置。
【請求項７】
前記入力深さ映像の深さ折り畳み領域の各ピクセルの深さ値に所定の第１深さ値を加えて前記入力深さ映像の深さ情報を更新する深さ情報更新部をさらに含む請求項１、３または５に記載の映像処理装置。
【請求項８】
前記更新された入力深さ映像に後処理フィルタリングを行うフィルタ部をさらに含む請求項７に記載の映像処理装置。
【請求項９】
入力深さ映像の各ピクセルの空間的な偏差を算出するステップと、
前記入力深さ映像の各ピクセルから第１閾値以上の空間的な偏差を有するピクセルを第１ピクセル群に検出するステップと、
を含み、
前記空間的な偏差は、各ピクセルの深さ値と隣接するピクセルの深さ値との間の差に関連し、
前記第１ピクセル群情報に基づいて前記入力深さ映像の深さ折り畳み領域を決めるステップと、
前記入力深さ映像の勾配に基づいて前記入力深さ映像の深さ折り畳み線を決めるステップをさらに含み、
前記深さ折り畳み領域を決めるステップにおいて、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める映像処理方法。
【請求項１０】
入力深さ映像の各ピクセルの空間的な偏差を算出するステップと、
前記入力深さ映像の各ピクセルから第１閾値以上の空間的な偏差を有するピクセルを第１ピクセル群に検出するステップと、
を含み、
前記空間的な偏差は、各ピクセルの深さ値と隣接するピクセルの深さ値との間の差に関連し、
前記第１ピクセル群情報に基づいて前記入力深さ映像の深さ折り畳み領域を決めるステップと、
前記入力深さ映像の勾配および前記入力深さ映像と関連する入力光の映像の勾配に基づいて前記入力深さ映像の深さ折り畳み線を決めるステップをさらに含み、
前記深さ折り畳み領域を決めるステップにおいて、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める映像処理方法。
【請求項１１】
入力深さ映像の各ピクセルから空間的な偏差が第１閾値以上である第１ピクセル群を抽出するステップと、
前記入力深さ映像と関連する入力光の映像の各ピクセルから光量が第２閾値以下である第２ピクセル群を抽出するステップと、
前記第１ピクセル群および前記第２ピクセル群の情報に基づいて前記入力深さ映像の深さ折り畳み領域を決めるステップと、
を含み、
前記空間的な偏差は、各ピクセルの深さ値と隣接するピクセルの深さ値との間の差に関連する映像処理方法。
【請求項１２】
前記入力深さ映像の勾配および前記入力深さ映像と関連する入力光の映像の勾配に基づいて前記入力深さ映像の深さ折り畳み線を決めるステップをさらに含み、
前記深さ折り畳み領域を決めるステップにおいて、前記第１ピクセル群情報、前記第２ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める請求項１１に記載の映像処理方法。
【請求項１３】
前記入力深さ映像の勾配および前記入力深さ映像と関連する入力カラー映像の勾配に基づいて前記入力深さ映像の深さ折り畳み線を決めるステップをさらに含み、
前記深さ折り畳み領域を決めるステップにおいて、前記第１ピクセル群情報、前記第２ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める請求項１１に記載の映像処理方法。
【請求項１４】
前記入力深さ映像の深さ折り畳み領域の各ピクセルの深さ値に所定の第１深さ値を加えて前記入力深さ映像の深さ値を更新するステップをさらに含む請求項１１に記載の映像処理方法。
【請求項１５】
前記更新された入力深さ映像に後処理フィルタリングを行うステップをさらに含む請求項１４に記載の映像処理方法。
【請求項１６】
同一のオブジェクトに関連する複数の入力深さ映像の各ピクセルの時間的な偏差を算出するステップと、
前記複数の入力深さ映像の各ピクセルから第３閾値以上の時間的な偏差を有するピクセルを第１ピクセル群として抽出するステップと、
前記第１ピクセル群情報に基づいて前記複数の入力深さ映像の深さ折り畳み領域を決めるステップと、
を含み、
前記時間的な偏差は、第１深さ映像で各ピクセルの深さ値と第２深さ映像で対応するピクセルの深さ値との間の差に関連する映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明に係る実施形態は映像処理方法に関し、より具体的には入力深さ映像における深さ折り畳み領域（ｄｅｐｔｈ  ｆｏｌｄｉｎｇ  ｒｅｇｉｏｎ）を決めて補正する映像処理方法に関する。
【背景技術】
【０００２】
最近、３Ｄ情報（３−ｄｉｍｅｎｓｉｏｎａｌ  ｉｎｆｏｒｍａｔｉｏｎ）の応用分野が拡大している。一般的に３Ｄ情報は、形状情報およびカラー情報に構成される。
【０００３】
形状情報は、深さ（ｄｅｐｔｈ）映像を用いて獲得できる。また、前記深さ映像を取得する方法として、深さカメラ（ｄｅｐｔｈ  ｃａｍｅｒａ）のようなハードウェア装備によって直接的に取得する方法と、コンピュータビジョン（ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ）技術と呼ばれるソフトウェア的な映像処理によって間接的に取得する方法がある。
【０００４】
一方、知られている深さカメラの原理によれば、例えば、赤外線（Ｉｎｆｒａ  Ｒｅｄと、ＩＲ）のような光をオブジェクトに照射し、反射光をセンサで検出して飛行時間差（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ；ＴＯＦ）を測定することにより、深さカメラからオブジェクトの各部分までの距離が算出される。
【０００５】
前記ＴＯＦを測定して深さを算出する方法として、特定の光（例えば、ＩＲ）の往復走行時間を算出するために入射波と反射波との間の位相差が測定される。ところが、前記位相差は、位相差が３６０度を越える場合に前記往復走行時間の算出に誤りが発生する。
【０００６】
このような現象が範囲折り畳み（ｒａｎｇｅ  ｆｏｌｄｉｎｇ）であるが、深さカメラによって獲得される深さ映像に対しては深さ折り畳み（ｄｅｐｔｈ  ｆｏｌｄｉｎｇ）といってもよい。この深さ折り畳みは深さカメラ内に周波数が異なる複数の光源を導入することによって解決される。しかし、これはハードウェア的な複雑度を高めることになる。
【特許文献１】大韓民国公開特許第１９９９−０１００２８
【特許文献２】大韓民国公開特許第２００７−０５４５９３
【特許文献３】日本国公開特許第平９−０７３５５４
【特許文献４】日本国公開特許第２００７−２８５９５３
【非特許文献１】３Ｄ深さカメラを用いた大きい深さ集積映像方式、Ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ｋｏｒｅａ  Ｓｕｍｍｅｒ  Ｍｅｅｔｉｎｇ、２００６．シン・ドンハク、イ・スンヨン、キム・ウンス
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明に係る一部の実施形態は、入力される深さ映像から深さ折り畳み領域を決める方法を提供し、それにより深さ映像の深さ折り畳みを補正（ｄｅｐｔｈ  ｕｎｆｏｌｄｉｎｇ）して３Ｄ形状情報の正確性を高めることにある。
【０００８】
本発明のまた他の実施形態は、前記入力深さ映像の深さ折り畳み領域を補正（ｄｅｐｔｈ  ｕｎｆｏｌｄｉｎｇ）する方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る一部における実施形態によれば、入力深さ映像の各ピクセルから第１閾値以上の空間的な偏差を有するピクセルを第１ピクセル群として抽出する第１ピクセル群抽出部と、前記第１ピクセル群情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める深さ折り畳み領域決定部とを含む映像処理装置が提供される。
【００１０】
本発明の他の実施形態によれば、前記映像処理装置、前記入力深さ映像のグラジエントに基づいて前記入力深さ映像の深さ折り畳み線を決める深さ折り畳み線決定部をさらに含み、前記深さ折り畳み領域を決定部は、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報に基づいて前記入力深さ映像の深さ折り畳み領域を決める。
【００１１】
本発明の一部の実施形態は、画像処理方法を提供する。当該方法は、入力深さ映像の各ピクセルの空間的な偏差を算出するステップと、前記入力深さ映像の各ピクセルから第１閾値以上の空間的な偏差を有するピクセルを第１ピクセル群として抽出するステップとを含む。
【００１２】
本発明の更なる実施例によれば、前記映像処理方法は、前記第１ピクセル群情報に基づいて前記入力深さ映像の深さ折り畳み領域を決めるステップをさらに含む。
【００１３】
本発明の更なる実施例によれば、前記入力深さ映像の勾配に基づいて前記入力深さ映像の深さ折り畳み線を決め、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報に基づいて前記入力深さ映像の深さ折り畳み領域を決めてもよい。
【００１４】
本発明の更なる実施例によれば、前記入力深さ映像の勾配および前記入力深さ映像と該映像に関連する入力光量の勾配に基づいて前記入力深さ映像の深さ折り畳み線を決める。
【００１５】
本発明の更なる実施例によれば、前記入力深さ映像のグラジエントおよび前記入力深さ映像と関連する入力カラー映像のグラジエントに基づいて前記入力深さ映像の深さ折り畳み線を決める。
【００１６】
本発明の更なる実施例によれば、前記第１ピクセル群情報および前記入力深さ映像の深さ折り畳み線情報のうち少なくとも１つに基づいて領域分割を行い、前記分割された領域のうち前記入力深さ映像の深さ折り畳み領域を決めてもよい。
【００１７】
本発明の更なる実施例によれば、前記入力深さ映像の深さ折り畳み領域の各ピクセルの深さ値に所定の第１深さ値を加えて前記入力深さ映像の深さ情報を更新する映像処理方法が提供される。
【００１８】
本発明の更なる実施例によれば、入力深さ映像の各ピクセルから空間的な偏差が第１閾値以上である第１ピクセル群を抽出するステップと、前記入力深さ映像と関連する入力光量の映像の各ピクセルから光量が第２閾値以下である第２ピクセル群を抽出するステップと、前記第１ピクセル群および前記第２ピクセル群の情報に基づいて前記入力深さ映像の深さ折り畳み領域を決めるステップとを含む映像処理方法が提供される。
【００１９】
本発明の更なる実施例によれば、同一のオブジェクトに関連する複数の入力深さ映像の各ピクセルの時間的な偏差を算出するステップと、前記複数の入力深さ映像の各ピクセルから第３閾値以上の時間的な偏差を有するピクセルを第１ピクセル群として抽出するステップと、前記第１ピクセル群情報に基づいて前記複数の入力深さ映像の深さ折り畳み領域を決めるステップとを含む映像処理方法が提供される。
【発明の効果】
【００２０】
本発明に係る一部実施形態によれば、入力される深さ映像から深さ折り畳み領域を効率よく決めることができる。また、深さ折り畳みピクセル、深さ折り畳み線などを決めて、前記深さ折り畳み領域の決定において正確性を高めることができる。
【００２１】
本発明の更なる実施形態によれば、入力深さ映像を正確かる効率よく深さ折り畳み補正することが可能である。また、多様な後処理を介してより向上した映像処理が可能である。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る映像処理方法を示すフローチャートである。
【図２】本発明の一実施形態によって入力深さ映像から第１ピクセル群が検出される方法を示すフローチャートである。
【図３】本発明の一実施形態によって入力深さ映像の深さ折り畳み線が決められる方法を示すフローチャートである。
【図４】本発明の一実施形態に係る入力深さ映像と関連するオブジェクトの映像を示す図である。
【図５】本発明の一実施形態に係る入力深さ映像を示す図である。
【図６】本発明の一実施形態によって図５に示す入力深さ映像の空間的な偏差を算出した結果映像を示す図である。
【図７】本発明の一実施形態によって図５に示す入力深さ映像の時間的な偏差を算出した結果映像を示す図である。
【図８】本発明の一実施形態によって図５に示す入力深さ映像のグラジエントを算出した結果映像を示す図である。
【図９】本発明の一実施形態に係る入力光の映像を示す図である。
【図１０】本発明の一実施形態によって図９に示す入力光の映像のグラジエントを算出した結果映像を示す図である。
【図１１】本発明の一実施形態に係る入力カラー映像のグラジエントを算出した結果映像を示す図である。
【図１２】本発明の一実施形態に係る映像処理方法を図５に示す入力深さ映像に適用した結果映像を示す。
【図１３】本発明の一実施形態に係る映像処理装置の構成を示す。
【発明を実施するための形態】
【００２３】
以下、添付の図面および図面に記載した内容を参照して本発明の実施形態を詳細に説明するが、本発明が実施形態によって制限されたり限定されることはない。各図面で提示された同一の参照符号は同一の部材を示す。
【００２４】
図１は、本発明の一実施形態に係る映像処理方法を示すフローチャートである。
【００２５】
ステップＳ１１０において深さ映像が入力される。
【００２６】
前記入力深さ映像で、最大の測定距離よりも遠いオブジェクトは深さ折り畳みが発生する。
【００２７】
ステップＳ１２０において、入力深さ映像から深さ折り畳みが発生した深さ折りたたみピクセル群が抽出される。以降前記深さ折りたたみピクセルを第１ピクセル群と呼ぶ。
【００２８】
本発明の一実施形態によれば、前記第１ピクセル群は、前記深さ映像の各ピクセルの空間的な偏差を用いて抽出してもよい。深さカメラの（深さ折り畳みが発生しない）最大の測定距離における空間的な偏差値である第１閾値が与えられる。また、前記入力深さ映像内で第１閾値よりも大きい空間的な偏差（ｓｐａｔｉａｌ  ｖａｒｉａｎｃｅ）値を有するピクセルが第１ピクセル群として抽出されてもよい。
【００２９】
本発明の更なる実施形態によれば、前記第１ピクセル群は、前記深さ映像の各ピクセルの時間的な偏差（ｔｅｍｐｏｒａｌ  ｖａｒｉａｎｃｅ）を用いて抽出されてもよい。深さカメラの最大の測定距離における時間的な偏差値である第３閾値が与えられる。また、前記入力深さ映像内で第３閾値よりも大きい時間的な偏差値を有するピクセルが第１ピクセル群として抽出されてもよい。または前記空間的な偏差が第１閾値以上であり、時間的な偏差が第３閾値以上であるピクセルが第１ピクセル群として抽出されてもよい。
【００３０】
もし、強度映像が入力されれば、深さカメラの前記最大の測定距離における平均的な強度値の第２閾値と入力光の映像の各ピクセルの光量値とを比較してもよい。この場合、前記第２閾値よりも光量値の小さいピクセルが第１ピクセル群として決められる。
【００３１】
もちろん、前記空間的な偏差値が第１閾値以上であり、時間的な偏差値が第３閾値以上であり、強度値が第２閾値未満のピクセルが第１ピクセル群として決められる方法もあり得る。
【００３２】
ステップＳ１３０において、前記入力深さ映像の深さ折り畳み線が決められる。
【００３３】
本発明の一実施形態によれば、前記入力深さ映像の勾配値が大きいピクセルのラインが入力深さ映像から抽出され、そのラインは前記深さ映像の深さ折り畳み線として決められる。
【００３４】
もし、強度映像が入力されれば、前記入力深さ映像の勾配と前記入力強度映像の勾配とを比較してもよい。もし、入力深さ映像内のいずれかピクセルで深さ映像の勾配値は大きいものの、これに対応する入力強度映像の勾配値が小さければ、そのピクセルは深さ折り畳みが発生した領域と、そうではない領域との境界線に存在するピクセルである確率が高い。したがって、このようなピクセルから構成されるラインが前記入力深さ映像の深さ折り畳み線として決められてもよい。
【００３５】
また、もし、前記入力深さ映像と整合したカラー映像が入力されれば、前記入力深さ映像の勾配と前記入力カラー映像の勾配とを比較してもよい。もし、入力深さ映像内のいずれかピクセルで深さ映像の勾配値は大きいものの、これに対応する入力カラー映像の勾配値が小さければ、そのピクセルは深さ折り畳みが発生した領域と、そうではない領域との境界線に存在するピクセルである確率が高い。したがって、このようなピクセルから構成されるラインが前記入力深さ映像の深さ折り畳み線に決められてもよい。
【００３６】
もちろん、前記入力深さ映像の勾配、前記入力強度映像の勾配、および前記入力カラー映像の勾配が共に比較されてもよい。この場合、誤差を減らすことができる。
【００３７】
ステップＳ１４０において、前記入力深さ映像の領域分割が行われる。実際に前述で求められた第１ピクセル群または前記深さ折り畳み線は連続しない場合もあり、誤差によって前記入力深さ映像で深さ折り畳みが発生した領域と、そうではない領域を正確に分割できないこともある。
【００３８】
前記領域分割は、前記第１ピクセル群の情報に基づいて行われてもよい。または、前記第１ピクセル群の情報および前記入力深さ映像の深さ折り畳み線の情報に基づいて行われてもよい。
【００３９】
例えば、連続しない第１ピクセル群または前記深さ折り畳み線に、ホールの充填（Ｈａｌｌ  Ｆｉｌｌｉｎｇ）のような処理を介して更に正確な領域分割を可能にする。また、マルコフランダムフィールド（ｍａｒｋｏｖ  ｒａｎｄｏｍ  ｆｉｅｌｄ）を用いて、いずれかピクセルの隣ピクセルの情報を参照することで領域分割の正確性を高くすることができる。
【００４０】
ステップＳ１５０において、前記入力深さ映像の深さ折り畳み領域が決められる。前記領域分割された結果から、前記第１ピクセル群の情報および／または前記深さ折り畳み線の情報を用いて深さ折り畳み領域が決められる。
【００４１】
ステップＳ１６０において、前記深さ映像の深さ情報が更新される。
【００４２】
本発明の一実施形態によれば、前記ステップＳ１５０で決められた深さ折り畳み領域内の各ピクセルに、前記最大の測定距離に該当する深さ値を付加して深さ値を更新することによって、深さ折り畳みが補正される。
【００４３】
ステップＳ１７０において、ステップＳ１６０で深さ折り畳みが補正された深さ映像に対して、後処理フィルタリングが行われる。
【００４４】
決められた深さ折り畳み領域と、その他の部分の境界（すなわち、前記深さ折り畳み線の近所）で深さ折り畳み領域に属するものの、補正されないピクセルがある場合もあり、反対の場合もあり得る。したがって、後処理フィルタリングを介して深さ映像でアウトライアを除去することで、より正確な結果を生成することができる。例えば、前記フィルタリングは、メディアン（ｍｅｄｉａｎ  ｆｉｌｔｅｒ）であってもよい。
【００４５】
ステップＳ１８０において、このように後処理フィルタリングされた結果、深さ映像が出力される。
【００４６】
図２は、本発明の一実施形態によって入力深さ映像から第１ピクセル群が抽出される方法を示すフローチャートである。
【００４７】
ステップＳ２１０において、深さ映像の各ピクセルの偏差が算出される。
【００４８】
ＴＯＦ方式の深さカメラを用いる場合、オブジェクトとの距離が遠いほど反射波の減衰によって測定された深さ値の偏差が大きい。
【００４９】
通常、一枚の深さ映像が入力されれば、各ピクセルの深さ値と、それに隣接するピクセルの深さ値といずれの差が生じたかの空間的な偏差が算出されてもよい。
【００５０】
もし、同一のオブジェクトに関連した複数の深さ映像が入力されれば、各ピクセルの深さ値の時間的な偏差が算出されることができる。
【００５１】
ステップＳ２２０において、強度映像が入力される。強度映像は、深さ映像を得る過程において、深さカメラのセンサ部で検出される反射光の強さに応じて獲得されたものであってもよい。
【００５２】
深さカメラと近いオブジェクトに対応する部分は反射光の強さが相対的に強いため明るく現れる。一方、深さカメラと遠いオブジェクトに対応する部分は反射光の強さが相対的に弱いため暗く現れる。
【００５３】
したがって、前記強度映像を用いれば、オブジェクトが深さカメラから遠くあるか、あるいは近くあるかの可否を判断することができる。
【００５４】
ステップＳ２３０において、前記入力深さ映像から深さ折り畳みが発生した第１ピクセル群が抽出される。
【００５５】
本発明の一実施形態によれば、前記第１ピクセル群は、前記深さ映像の各ピクセルの空間的な偏差を用いて抽出されてもよい。深さカメラの（深さ折り畳みが発生しない）最大の測定距離における空間的な偏差値の第１閾値が与えられる。また、前記入力深さ映像内で第１閾値よりも大きい空間的な偏差値を有するピクセルが第１ピクセル群として抽出されてもよい。
【００５６】
本発明の更なる実施形態によれば、前記第１ピクセル群は、前記深さ映像の各ピクセルの時間的な偏差を用いて抽出されてもよい。深さカメラの最大の測定距離における時間的な偏差値の第３閾値が与えられる。また、前記入力深さ映像内で第３閾値よりも大きい時間的な偏差値を有するピクセルが第１ピクセル群として抽出されてもよい。
【００５７】
または、前記空間的な偏差が第１閾値以上であり、時間的な偏差が第３閾値以上であるピクセルが第１ピクセル群として抽出されてもよい。
【００５８】
一方、深さカメラの前記最大の測定距離における平均的な強度値の第２閾値と入力光の映像の各ピクセルの光量値とを比較してもよい。この場合、前記第２閾値よりも強度値の小さいピクセルが第１ピクセル群として決められてもよい。
【００５９】
もちろん、前記空間的な偏差値が第１閾値以上であり、時間的な偏差値が第３閾値以上であり、強度値が第２閾値未満のピクセルが第１ピクセル群に決められる方法も可能である。
【００６０】
図３は、本発明の一実施形態によって入力深さ映像の深さ折り畳み線を決める方法を示すフローチャートである。
【００６１】
ステップＳ３１０において、前記入力深さ映像の勾配が算出される。
【００６２】
前記入力深さ映像の勾配は、深さ値が急激に変わる箇所で大きい値を有する。したがって、勾配値が大きい部分は深さ値が急激に変わった部分であって、深さ折り畳み線に該当する確率が高い。
【００６３】
ステップＳ３２０において強度映像が入力される。前記入力光の映像は、前記深さカメラからオブジェクトが遠くあるか、あるいは近くあるかの情報を含んでいる。
【００６４】
ステップＳ３３０において前記入力光映像の勾配が算出される。
【００６５】
前記入力強度映像の勾配は、深さ値が急激に変わる部分または照明などの他の要因によって強度が大きく変わる部分で大きい値を有する。したがって、入力強度映像の勾配値が小さい部分は深さ値が急激に変わる部分ではない確率が高い。
【００６６】
ステップＳ３４０においてカラー映像が入力される。前記カラー映像は、前記入力深さ映像と時点と解像度が同一である。しかし、時点または解像度が異なる場合、それを合わせるために整合過程が先に行なわれなければならない。
【００６７】
ステップＳ３５０において前記入力カラー映像の勾配が算出される。
【００６８】
前記入力光の映像の勾配は、深さ値が急激に変わる部分またはオブジェクトの色、明るさなどの他の要因によってカラー値が大きく変わる部分で大きい値を有する。したがって、入力カラー映像の勾配値が小さい部分は深さ値が急激に変わる部分ではない確率が高い。
【００６９】
ステップＳ３６０において、前記入力深さ映像の深さ折り畳み線が決められる。
【００７０】
本発明の一実施形態によれば、前記入力深さ映像の勾配値が大きいピクセルで構成されるラインを検出し、これを前記深さ映像の深さ折り畳み線に決める。
【００７１】
しかし、上記のように実際の深さ折り畳み線でない部分でも勾配値が大きい場合がある。この場合、ステップＳ３１０で算出された前記入力深さ映像の勾配と、ステップＳ３３０で算出された前記入力光の映像の勾配とを比較してもよい。
【００７２】
もし、入力深さ映像内のいずれのピクセルで深さ映像の勾配値は大きいものの、これに対応する入力光の映像の勾配値が小さければ、そのピクセルは深さ折り畳みが発生した領域と、そうではない領域との境界線に存在するピクセルである確率が高い。したがって、このようなピクセルから構成されるラインが前記入力深さ映像の深さ折り畳み線として決められてもよい。
【００７３】
同様に、ステップ３１０で算出された前記入力深さ映像の勾配と、ステップ３５０で算出された前記入力カラー映像の勾配とを比較してもよい。
【００７４】
もし、入力深さ映像内のいずれのピクセルでは深さ映像の勾配値が大きいものの、これに対応する入力カラー映像の勾配値が小さければ、そのピクセルは深さ折り畳みが発生した領域と、そうではない領域との境界線に存在するピクセルである確率が高い。したがって、このようなピクセルから構成されるラインが前記入力深さ映像の深さ折り畳み線に決められてもよい。
【００７５】
もちろん、前記入力深さ映像の勾配、前記入力光の映像の勾配、および前記入力カラー映像の勾配が共に比較されることもある。この場合、誤差を減らすことができる。
【００７６】
図４は、本発明の一実施形態に係る入力深さ映像に関連するオブジェクトの映像を示す図である。
【００７７】
例えば、赤外線（ＩＲ）のような単一光を用いる深さカメラの場合、前記
範囲折り畳みまたは深さ折り畳みによって、誤りなしで測定することのできる最大距離の情報が仕様（ｓｐｅｃｉｆｉｃａｔｉｏｎ；Ｓｐｅｃ．）として提供される。本実施形態において、深さカメラの最大の測定距離が７．５Ｍと仮定すれば、図４に示すオブジェクト内には前記深さカメラから７．５Ｍ未満の距離にある領域４１０が存在する。一方、７．５Ｍ以上の距離にある領域４３０も存在する。前記領域４１０および領域４３０の境界が線４２０である。
【００７８】
図５は、本発明の一実施形態によって入力される、図４に示すオブジェクトに関連した深さ映像を示す図である。本図面で、明度が高い部分は深さカメラから比較的に近い部分に対応し、明度が低い部分は相対的に遠い部分に対応する。
【００７９】
領域５１０は図４の領域４１０に対応し、したがって、最大の測定距離よりも近いオブジェクトの深さを表す。一方、領域５２０は前記領域４２０に対応するため、最大の測定距離よりも遠いオブジェクトの部分であることから周辺よりも暗くなければならないが、深さ折り畳みによって周辺よりも明るい。
【００８０】
したがって、前記深さ折り畳み領域５２０が決められれば、深さ折り畳みは補正され得る。また、深さ折り畳みが始まる深さ折り畳み線５３０が決められれば、前記補正をさらに正確に行うことができる。
【００８１】
図６は、本発明の一実施形態によって図５に示す入力深さ映像の空間的な偏差を算出した結果映像を示す図である。
【００８２】
本図面において、前記入力深さ映像の各ピクセルの深さ値が隣接ピクセルの深さ値と差が大きいほど暗く示した。深さ折り畳みが発生していない領域６１０内の各ピクセルはその隣接ピクセル深さ値が大きく変わらない。したがって、領域６１０は比較的に明るい。しかし、領域６２０は相対的に暗い。これは、ＴＯＦ方式の深さカメラを用いる場合、オブジェクトの距離が遠いほど反射波の減衰によって測定値の偏差が大きいためである。
【００８３】
本発明の一実施形態によれば、前記最大の測定距離における空間的な偏差値の第１閾値が与えられる。これは深さカメラのハードウェア的な仕様に与えられてもよく、テストを介して決められてもよい。このように第１閾値が与えられれば、深さ映像内で前記第１閾値よりも大きい空間的な偏差を有する部分が、最大の測定距離の外にある深さ折り畳み領域として決められる。
【００８４】
または、前記深さ映像内で前記第１閾値よりも大きい空間的な偏差値を有するピクセルを、深さ折り畳みが発生した第１ピクセル群として決め、これに基づいて入力深さ映像の領域分割を行った後に前記深さ折り畳み領域を決めてもよい。
【００８５】
一方、深さ折り畳み領域６２０内でも前記第１閾値よりも空間的な偏差の小さい部分６４０があり、深さ折り畳みが発生していない領域６１０内でも前記第１閾値よりも空間的な偏差の大きい部分６５０がある。このような部分は、深さ折り畳み領域を決めることにおいて誤りの要因となる。
【００８６】
図７は、本発明の一実施形態によって図４に示すオブジェクトに関連した複数の入力深さ映像が入力される場合、深さ値の時間的な偏差を算出した結果としての映像を示す図である。
【００８７】
同一の深さカメラによって同一の時点で時間を別にして獲得された複数の深さ映像において、深さ値がどれだけ変わるかを示す。本実施形態において、明るさが暗い部分は前記時間的な偏差が大きい部分に対応する。
【００８８】
深さ折り畳みが発生していない領域７１０内の各ピクセルは時間的な偏差が大きくない。したがって、領域７１０は比較的に明るい。しかし、領域７２０は相対的に暗い。これはオブジェクトとカメラの距離が遠いほど、反射波の減衰によって測定値の偏差が大きいためである。
【００８９】
本発明の一実施形態によれば、前記最大の測定距離における時間的な偏差値の第３閾値が与えられる。この第３閾値も深さカメラのハードウェア的な仕様に与えられてもよく、テストを介して決められてもよい。また、深さ映像内で、前記第３閾値よりも大きい時間的な偏差を有する部分が最大の測定距離の外にある深さ折り畳み領域に決められる。
【００９０】
または、前記深さ映像内で前記第３閾値よりも大きい偏差値を有するピクセルを深さ折り畳みピクセルに決め、前記深さ折り畳みピクセルに基づいて入力深さ映像の領域分割を行った後に前記深さ折り畳み領域を決めてもよい。
【００９１】
一方、深さ折り畳み領域７２０内でも前記第３閾値よりも偏差の小さい部分７４０があり、深さ折り畳みが発生していない領域７１０内でも前記第３閾値よりも偏差の大きい部分７５０がある。このような部分は、深さ折り畳み領域を決めることにおいて誤りの要因となる。
【００９２】
図８は、本発明の一実施形態によって図５に示す入力深さ映像の勾配を算出した結果としての映像を示す図である。
【００９３】
本発明の一実施形態に係る図８に示す勾配映像において、深さ折り畳みが発生しない領域８１０と深さ折り畳み領域８２０内は相対的に明度が高い。しかし、前記領域８１０と領域８２０との間の深さ折り畳み線を含む部分８３０は相対的に明度が低い。一方、領域８４０は、前記深さ折り畳みが発生していない領域８１０内にあるものの、オブジェクトの物理的な特性に応じて周辺よりも明度が低い。
【００９４】
前記勾配映像は、入力深さ映像の深さ折り畳み線を決めるために用いられてもよい。本発明の一実施形態によれば、勾配値が大きい部分に属するピクセルから構成される深さ折り畳み線が決められる。しかし、実際深さ折り畳み線を含まない部分８４０のように誤り要因が存在する場合、より正確に深さ折り畳み線を決めるためには追加的な過程が必要なこともある。
【００９５】
図９は、本発明の一実施形態によって深さ映像と共に入力される入力光の映像を示す図である。
【００９６】
強度映像は、深さ映像を得る過程において深さカメラのセンサ部から検出される反射光の強さに応じて獲得されてもよい。
【００９７】
領域９１０は図５の領域５１０に対応する。前記領域９１０は、カメラと距離が近いために反射光の強さが相対的に強いため、明るく現れているのが確認される。一方、領域９２０は、図５に示す深さ折り畳み領域５２０に対応する。前記領域９２０は、カメラから遠いため反射光の強さが相対的に弱いことから暗い。
【００９８】
もちろん、このような強度映像は、照明やオブジェクトのテクスチャ（ｔｅｘｔｕｒｅ）、カラー、および反射特性などの影響を受ける。したがって、カメラから比較的に遠く離れている部分９３０、９４０が明るいこともあり、比較的に近くにある部分９５０が暗いこともある。
【００９９】
しかし、一般に強度映像を利用すれば、オブジェクトがカメラから遠くあるか、近くにあるかの可否を判断することができる。したがって、本発明の一実施形態によれば、深さカメラの前記最大の測定距離における強度値の第２閾値が与えられる。前記第２閾値と入力光の映像の各ピクセルの強度値とを比較し、前記第２閾値よりも低い光量値を有するピクセルが深さ折り畳みの発生する第１ピクセル群として決められてもよい。
【０１００】
また、前記第１ピクセル群情報に基づいて、前記入力深さ映像の映像分割を行った後に前記深さ折り畳み領域を決めてもよい。しかし、本発明の他の実施形態によれば、前記第２閾値よりも低い強度値を有する部分を直ちに深さ折り畳み領域に決めることもできる。
【０１０１】
図１０は、本発明の一実施形態によって図９に示す入力光の映像の勾配を算出した結果映像を示す図である。
【０１０２】
前記入力深さ映像の勾配映像（図８）と比較すると、深さ折り畳み線を含む部分８３０に対応する部分１０１０は勾配値が小さい。これは前記の部分１０１０で深さ映像は大きく変わるものの、強度映像は大きく変わらないことを意味する。したがって、この部分１０１０が深さ折り畳み線を含んでいる確率が高い。
【０１０３】
一方、深さ折り畳み線を含まない部分８４０に対応する部分１０２０は勾配値が比較的に大きい。この部分１０２０では深さ映像も大きく変わり、強度映像も大きく変わることから、実際のオブジェクトの形状情報が歪曲されていないものと見ることができる。したがって、この部分１０２０は深さ折り畳み線を含んでいない確率が高い。
【０１０４】
本発明の一実施形態によれば、このような方法により入力深さ映像の勾配と入力光の映像の勾配とを比較し、前記入力深さ映像の深さ折り畳み線を決めてもよい。
【０１０５】
図１１は、本発明の一実施形態によって入力されるカラー映像の勾配を算出した結果としての映像を示す図である。
【０１０６】
前記入力深さ映像の勾配映像（図８）と比較すると、深さ折り畳み線を含む部分８３０に対応する部分１１１０は勾配値が小さい。これは前記の部分１１１０で深さ映像は大きく変わるものの、カラー映像は大きく変わらないことを意味する。したがって、この部分１１１０が深さ折り畳み線部分を含んでいる確率が高い。
【０１０７】
一方、深さ折り畳み線を含まない部分８４０に対応する部分１１２０は勾配値が比較的に大きい。この部分１１２０では深さ映像も大きく変わり、強度映像も大きく変わることから、実際オブジェクトの形状情報が歪曲されていないものと見ることができる。したがって、この部分１１２０は深さ折り畳み線を含んでいない確率が高い。
【０１０８】
本発明の一実施形態によれば、このような方法によって入力深さ映像の勾配と入力カラー映像の勾配とを比較し、前記入力深さ映像の深さ折り畳み線を決めてもよい。
【０１０９】
また、前記入力深さ映像の勾配、前記入力強度映像の勾配、および前記入力カラー映像の勾配が共に比較され、前記入力深さ映像の深さ折り畳み線を決めてもよい。
【０１１０】
図１２は、本発明の一実施形態に係る映像処理方法を図５に示す入力深さ映像に適用した結果映像を示す。
【０１１１】
前記入力深さ映像内で、決められた深さ折り畳み領域の各ピクセルに最大の測定可能距離に該当する深さ値を付加し、深さ折り畳み領域を補正してもよい。
【０１１２】
既存に深さ折り畳みが発生した部分１２１０が補正され、前記入力深さ映像が更に正確なオブジェクトの形状情報を含んでいる。
【０１１３】
本発明の一実施形態によれば、前記深さ折り畳み領域の各ピクセルに最大の測定可能な距離に該当する深さ値を加えて前記深さ折り畳み領域の各ピクセルの深さ値を更新し、多様な後処理を行うことで正確な結果を得ることができる。例えば、前記深さ値更新の後にメディアンフィルタを適用する方法も可能である。
【０１１４】
図１３は、本発明の一実施形態に係る映像処理装置の構成を示す。
【０１１５】
第１ピクセル群抽出部１３１０は、入力深さ映像から深さ折り畳みが発生した第１ピクセル群を検出する。
【０１１６】
本発明の一実施形態によれば、第１ピクセル群抽出部１３１０は、前記深さ映像の各ピクセルの空間的な偏差を用いて前記第１ピクセル群を抽出する。深さカメラの（深さ折り畳みが発生しない）最大の測定距離における空間的な偏差値である第１閾値が与えられる場合、前記入力深さ映像内で第１閾値よりも大きい空間的な偏差値を有するピクセルを第１ピクセル群として抽出する。
【０１１７】
本発明の更なる実施形態によれば、第１ピクセル群抽出部１３１０は、前記深さ映像の各ピクセルの時間的な偏差を用いて前記第１ピクセル群を抽出してもよい。深さカメラの最大の測定距離における時間的な偏差値である第３閾値が与えられる場合、前記入力深さ映像内で第３閾値よりも大きい時間的な偏差値を有するピクセルが第１ピクセル群として抽出される。または、前記空間的な偏差が第１閾値以上であり、時間的な偏差が第３閾値以上であるピクセルを第１ピクセル群として抽出してもよい。
【０１１８】
一方、強度映像が入力される場合、深さカメラの前記最大の測定距離における平均的な強度値の第２閾値と入力強度映像の各ピクセルの強度値とを比較してもよい。この場合、第１ピクセル群検出部１３１０は、前記第２閾値よりも光量値の小さいピクセルを第１ピクセル群に決める。
【０１１９】
もちろん、前記空間的な偏差値が第１閾値以上であり、時間的な偏差値が第３閾値以上であり、光量値が第２閾値未満であるピクセルが第１ピクセル群に決められてもよい。第１ピクセル群抽出部１３１０が前記第１ピクセル群を抽出する詳細な方法は図２に基づいて前述したとおりである。
【０１２０】
深さ折り畳み線決定部１３２０は、前記入力深さ映像の深さ折り畳み線を決める。
【０１２１】
本発明の一実施形態によれば、深さ折り畳み線決定部１３２０は、前記入力深さ映像の勾配値が大きいピクセルに構成されるラインを検出し、これを前記深さ映像の深さ折り畳み線に決める。
【０１２２】
一方、強度映像が入力される場合、前記入力深さ映像の勾配と前記入力強度映像の勾配とを比較してもよい。もし、入力深さ映像内のいずれかピクセルで深さ映像の勾配値は大きいものの、これに対応する入力強度映像の勾配値が小さければ、そのピクセルは深さ折り畳みが発生した領域と、そうではない領域との境界線に存在するピクセルである確率が高い。したがって、深さ折り畳み線決定部１３２０は、このようなピクセルから構成されるラインを前記入力深さ映像の深さ折り畳み線に決めてもよい。
【０１２３】
さらに、もし、前記入力深さ映像と整合しているカラー映像が入力されれば、前記入力深さ映像の勾配と前記入力カラー映像の勾配とを比較してもよい。もし、入力深さ映像内のいずれのピクセルにおいて深さ映像の勾配値は大きいものの、これに対応する入力カラー映像の勾配値が小さければ、そのピクセルは深さ折り畳みが発生した領域と、そうではない領域との境界線に存在するピクセルである確率が高い。したがって、深さ折り畳み線決定部１３２０は、このようなピクセルから構成されるラインを前記入力深さ映像の深さ折り畳み線に決めてもよい。
【０１２４】
もちろん、前記入力深さ映像の勾配、前記入力強度映像の勾配、および前記入力カラー映像の勾配を共に比較してもよい。この場合、誤差を減らすことができる。
【０１２５】
深さ折り畳み線決定部１３２０が入力深さ映像の深さ折り畳み線を決める方法は、図３に基づいて前述のとおりである。
【０１２６】
深さ折り畳み領域決定部１３３０は、前記入力深さ映像の深さ折り畳み領域を決める。
【０１２７】
本発明の一実施形態によれば、深さ折り畳み領域決定部１３３０は、前記入力深さ映像の領域分割を行う。実際に前で求められた第１ピクセル群または前記深さ折り畳み線は連続しないこともあり、誤差のために前記入力深さ映像で深さ折り畳みが発生した領域と、そうではない領域とを正確に分割できないこともあるからである。
【０１２８】
前記領域分割は、前記第１ピクセル群の情報に基づいて行われてもよい。または、前記第１ピクセル群の情報および前記入力深さ映像の深さ折り畳み線の情報に基づいて行われてもよい。
【０１２９】
例えば、連続しない第１ピクセル群または前記深さ折り畳み線に、ホールの充填のような処理を介して更に正確な領域分割が可能である。また、マルコフランダムフィールドを用いて、いずれのピクセルの隣ピクセル情報を参照することで領域分割の正確性を高くすることができる。
【０１３０】
本発明の一実施形態によれば、深さ折り畳み領域決定部１３３０は、前記領域分割された結果から前記第１ピクセル群の情報および／または前記深さ折り畳み線の情報を用いて深さ折り畳み領域を決める。
【０１３１】
深さ情報更新部１３４０は前記深さ映像の深さ情報を更新する。
【０１３２】
本発明の一実施形態によれば、深さ情報更新部１３４０は、前記深さ折り畳み領域決定部１３３０が決めた深さ折り畳み領域内の各ピクセルに前記最大の測定距離に該当する深さ値を付加して深さ値を更新することによって、深さ折り畳みの補正を行なう。
【０１３３】
フィルタ部１３５０は、前記深さ折り畳みが補正された深さ映像に対して後処理フィルタリングを行う。
【０１３４】
決められた深さ折り畳み領域とその他の部分の境界（すなわち、前記深さ折り畳み線の近所）で深さ折り畳み領域には属するものの補正されないピクセルが存在することもあり、その反対の場合もある。したがって、後処理フィルタリングを介して深さ映像でアウトライアを除去し、更に正確な結果を生成することができる。例えば、前記フィルタ部１３５０はメディアンフィルタであってもよい。
【０１３５】
本発明に係る映像処理方法は、多様なコンピュータ手段を介して実行することができるプログラム命令形態に具現され、コンピュータ読取可能な記録媒体に記録されることができる。前記コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともできる。前記媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェア階層で作動するように構成され、その逆も同様である。
【０１３６】
上述したように、本発明は、たとえ限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような基材から多様な修正および変形が可能である。したがって、本発明の範囲は説明された実施形態に限定されて決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。
【符号の説明】
【０１３７】
１３１０  第１ピクセル群抽出部
１３２０  深さ折り畳み線決定部
１３３０  深さ折り畳み領域決定部
１３４０  深さ情報更新部
１３５０  フィルタ部
【図１】
0005539343.tif 000002
【図２】
0005539343.tif 000003
【図３】
0005539343.tif 000004
【図８】
0005539343.tif 000005
【図１０】
0005539343.tif 000006
【図１１】
0005539343.tif 000007
【図１３】
0005539343.tif 000008
【図４】
0005539343.tif 000009
【図５】
0005539343.tif 000010
【図６】
0005539343.tif 000011
【図７】
0005539343.tif 000012
【図９】
0005539343.tif 000013
【図１２】
0005539343.tif 000014