(57)【要約】  ＴｏＦ方式カメラで生成された映像にブラーが発生したか否かを判断し、ブラーが発生した場合にブラーが発生していない周辺の正常ピクセル値を用いてブラーを除去するブラー処理方法及び装置に関する。
2014528059.tif 000002
【特許請求の範囲】
【請求項１】
制御信号を生成する制御部と、
照射光信号がオブジェクトにより反射されて戻ってくる反射光信号によって生成される電子を前記制御信号に基づき集積するセンサ部と、
前記制御信号の各々について集積された電子量間の関係に基づきブラーが発生したか否かを判断するブラー判断部と、
を備えることを特徴とするブラー処理装置。
【請求項２】
前記ブラー判断部は、ブラーがない場合を示す基準電荷量の関係情報と前記集積された電子量間の関係を比較してブラーが発生したか否かを判断することを特徴とする請求項１に記載のブラー処理装置。
【請求項３】
前記照射光信号が、ＴｏＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式カメラによって放出される場合に、前記ブラー判断部は、前記反射光信号の位相差を用いて前記ＴｏＦ方式カメラによって取得された映像内のブラーが発生したか否かを判断する、ことを特徴とする請求項１に記載のブラー処理装置。
【請求項４】
前記ブラー判断部は、互いに異なる位相を有する複数の制御信号と前記反射光信号との間の位相差を算出することにより、深さ情報を算出することを特徴とする請求項１又は３に記載のブラー処理装置。
【請求項５】
前記センサ部は、前記反射光信号と互いに異なる位相を有する複数の制御信号それぞれによって受光された電荷量を取得し、
前記ブラー判断部は、前記取得された電荷量と、前記複数の制御信号の互いに異なる位相によって定められる各電荷量との間の関係が正常範囲から離れるか否かに応じて、前記映像内でブラーが発生したか否かを判断することを特徴とする請求項１、３又は４に記載のブラー処理装置。
【請求項６】
前記センサ部は、ｎ（ｎは自然数）個の反射光信号を取得し、
前記ブラー判断部は、互いに異なる位相を有する複数の制御信号と前記ｎ個の反射光信号との間の位相差を算出することによりｎ個の深さ情報を算出し、算出されたｎ個の深さ情報の平均値を算出することを特徴とする請求項１、３又は４に記載のブラー処理装置。
【請求項７】
前記ブラー判断部は、前記算出されたｎ個の深さ情報のうち少なくとも１つがフラットではない場合、前記映像内にブラーが発生したと判断することを特徴とする請求項６に記載のブラー処理装置。
【請求項８】
前記ブラー判断部が、ブラーが発生したと判断した場合、ＴｏＦ方式カメラによって取得された映像内で、前記ブラーが発生したピクセル値をブラーが発生していない周辺の正常ピクセル値で代替して前記ブラーを除去する映像処理部をさらに備えることを特徴とする請求項１乃至７のいずれか一項に記載のブラー処理装置。
【請求項９】
前記映像処理部は、前記ブラーが発生したブラー領域の深さ情報を、前記映像内で前記ブラーが発生したフレームと異なる時間の隣接フレームに基づいて前記ブラーが発生していない周辺の正常ピクセル値で代替することを特徴とする請求項８に記載のブラー処理装置。
【請求項１０】
ＴｏＦ方式カメラの構造に対応するブラーモデルを識別するモデル識別部と、
前記ＴｏＦ方式カメラによって取得された映像で前記ブラーモデルに関連するパターンを検索する検索部と、
前記検索により見付かったパターン内のブラー領域をフィルタリングして前記映像内のブラーを除去する映像処理部と、
を備えることを特徴とするブラー処理装置。
【請求項１１】
前記映像処理部は、Ｒ−θ空間で前記ブラー領域をフィルタリングすることを特徴とする請求項１０に記載のブラー処理装置。
【請求項１２】
位相が互いに異なる複数の制御信号を生成するステップと、
照射光信号がオブジェクトにより反射されて戻ってくる反射光信号によって生成される電子を前記制御信号に基づき集積するステップと、
前記制御信号の各々について集積された電子量間の関係に基づきブラーが発生したか否かを判断するステップと、
を含むことを特徴とするブラー処理方法。
【請求項１３】
前記ブラーが発生したか否かを判断するステップは、ブラーがない場合を示す基準電荷量の関係情報と前記集積された電子量間の関係を比較してブラーが発生したか否かを判断することを特徴とする請求項１２に記載のブラー処理方法。
【請求項１４】
前記照射光信号が、ＴｏＦ方式カメラによって放出される場合、
前記ブラーが発生したか否かを判断するステップは、前記反射光信号の位相差を用いて前記ＴｏＦ方式カメラによって取得された映像内でブラーが発生したか否かを判断するステップを含むことを特徴とする請求項１２に記載のブラー処理方法。
【請求項１５】
前記ブラーが発生したか否かを判断するステップは、互いに異なる位相を有する複数の制御信号と前記反射光信号との間の位相差を算出して深さ情報を算出するステップを含むことを特徴とする請求項１２又は１４に記載のブラー処理方法。
【請求項１６】
前記ブラーが発生したか否かを判断するステップは、
取得したｎ（ｎは自然数）個の反射光信号と、互いに異なる位相を有する複数の制御信号との間の位相差を算出するステップと、
前記算出された結果を用いてｎ個の深さ情報を算出するステップと、
前記算出されたｎ個の深さ情報の平均値を算出するステップと、
を含むことを特徴とする請求項１２、１４又は１５に記載のブラー処理方法。
【請求項１７】
前記ブラーが発生したと判断された場合、ＴｏＦ方式カメラによって取得した映像内で、前記ブラーが発生したピクセル値をブラーが発生していない周辺の正常ピクセル値で代替して前記発生したブラーを除去するステップ、
をさらに含むことを特徴とする請求項１２乃至１６のいずれか一項に記載のブラー処理方法。
【請求項１８】
前記発生したブラーを除去するステップは、前記ブラーが発生したブラー領域の深さ情報を、前記映像内で前記ブラーが発生したフレームと異なる時間の隣接フレームに基づいて、ブラーが発生していない周辺の正常ピクセル値で代替して前記発生したブラーを除去するステップを含むことを特徴とする請求項１７に記載のブラー処理方法。
【請求項１９】
ＴｏＦ方式カメラの構造に対応するブラーモデルを識別するステップと、
前記ＴｏＦ方式カメラによって取得された映像内で前記ブラーモデルに関連するパターンを検索するステップと、
前記検索により見付かったパターン内でブラーが発生したブラー領域をフィルタリングするステップと、
前記ブラー領域をフィルタリングして映像内の前記ブラーを除去するステップと、
を含むことを特徴とするブラー処理方法。
【請求項２０】
前記見付かったパターン内でブラーが発生したブラー領域をフィルタリングするステップは、Ｒ−θ空間で前記ブラー領域をフィルタリングするステップを含むことを特徴とする請求項１９に記載のブラー処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
映像内で発生したブラーを除去する技術に関する。
【背景技術】
【０００２】
ＴｏＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式のカメラを用いて生成される映像は、フレームごとに露出時間（Ｉｎｔｅｇｒａｔｉｏｎ  Ｔｉｍｅ）中に照射光信号（例えば、赤外線信号）と被写体から反射して戻ってくる反射光信号の位相差を算出することによって取得される。露出時間よりも短い時間中にカメラまたは被写体に動きが発生する場合には反射光信号の位相に変化が生じることがある。
【０００３】
このような場合、反射光信号によって取得した深さ情報は正確ではない値を有することになり、これは映像内にブラー（ｂｌｕｒ）として現れる。このような現象は、カラーカメラで発生するブラー現象と類似の理由によって発生し得る。しかし、ＴｏＦ方式のカメラとカラーカメラは映像を取得する方式に差があり、ＴｏＦ方式のカメラで発生するブラー現象は、カラー映像のブラー現象と異なるブラー形態を見せることになる。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明の一実施形態によるブラー処理装置は、制御信号を生成する制御部と、照射光信号がオブジェクトにより反射されて戻ってくる反射光信号によって生成される電子を前記制御信号に基づき集積するセンサ部と、前記制御信号の各々について集積された電子量間の関係に基づきブラーが発生したか否かを判断するブラー判断部と、を備える。
【０００５】
本発明の一実施形態によるブラー処理方法は、位相が互いに異なる複数の制御信号を生成するステップと、照射光信号がオブジェクトにより反射されて戻ってくる反射光信号によって生成される電子を前記制御信号に基づき集積するステップと、前記制御信号の各々について集積された電子量間の関係に基づきブラーが発生したか否かを判断するステップと、を含む。
【０００６】
本発明の一実施形態によるブラー処理方法は、ＴｏＦ方式カメラの構造に対応するブラーモデルを識別するステップと、前記ＴｏＦ方式カメラによって取得された映像内で前記ブラーモデルに関連するパターンを検索するステップと、前記検索により見付かったパターン内でブラーが発生したブラー領域をフィルタリングするステップと、前記ブラー領域をフィルタリングして映像内の前記ブラーを除去するステップと、を含む。
【発明の効果】
【０００７】
本発明によると、オブジェクトから反射された複数の反射光信号間の関係を用いてＴｏＦ方式カメラによって取得した映像内でブラーが発生したか否かを効率的に判断することができる。
【０００８】
本発明によると、映像内で発生したブラーをブラーが発生していない周辺の正常ピクセル値で代替することによって、発生したブラーを容易に除去することができる。
【図面の簡単な説明】
【０００９】
【図１】ブラー処理装置の一実施形態を示すブロック図である。
【図２】センサ部を構成するピクセルの一実施形態を示す図である。
【図３】反射光信号と制御信号との間のタイミングの一実施形態である。
【図４】映像内でブラー発生の有無を判断するための反射光信号を取得する一例を示す図である。
【図５】映像内でブラー発生の有無を判断するための反射光信号を取得する一例を示す図である。
【図６】映像内でブラー発生の有無を判断するための反射光信号を取得する一例を示す図である。
【図７】一実施形態に係る被写体の移動がない場合の反射光信号と制御信号との間の関係を示す図である。
【図８】一実施形態に係る被写体の移動がある場合の反射光信号と制御信号との間の関係を示す図である。
【図９】一実施形態に係る映像内でブラーが発生したブラー領域の深さ情報をグラフで示す図である。
【図１０】一実施形態に係るブラーが発生した映像と深さ情報との間の関連性を示す図である。
【図１１】一実施形態に係る深さ情報とブラーモデル間の関連性を示す図である。
【図１２】一実施形態に係る映像内でブラーを除去する一例を示す図である。
【図１３】一実施形態に係るブラー処理方法の順序を示すフローチャートである。
【図１４】他の実施形態に係るブラー処理装置の構成を示すブロック図である。
【図１５】ブラーモデルを用いてブラー領域をフィルタリングする一例を示す図である。
【図１６】他の実施形態に係るブラー処理方法の順序を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付の図面及び添付の図面に記載された内容を参照して様々な実施形態を詳細に説明する。
【００１１】
図１は、ブラー処理装置の一実施形態を示すブロック図である。ブラー処理装置１００は、制御部１１０、センサ部１２０、ブラー判断部１３０、及び映像処理部１４０を含んで構成される。
【００１２】
図１に例示されたブラー処理装置１００は、ＴｏＦ方式カメラで実現されてもよい。一実施形態では、光照射部１０２がＴｏＦ方式カメラに含まれても良い。ＴｏＦ方式カメラは、オブジェクト１０４で照射する照射光信号（例えば、赤外線信号）と照射光信号がオブジェクト１０４によって反射されて戻ってくる反射光信号との間の位相差を用いてカメラからオブジェクトまでの距離を示す深さ映像を生成する。
【００１３】
光照射部１０２は、照射光信号をオブジェクト１０４に照射する。センサ部１２０は、光照射部１０２から照射された照射光信号が前記オブジェクト１０４によって反射されて戻ってくる反射光信号を検出する。例えば、センサ部１１０は、ＰＰＤ（Ｐｉｎｎｅｄ  Ｐｈｏｔｏ  Ｄｉｏｄｅ）、Ｐｈｏｔｏｇａｔｅ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などのような光検出素子を含んでもよい。ここで、オブジェクト１０４は被写体を意味し、写真を撮る対象である。
【００１４】
制御部１１０は、位相が互いに異なる複数の制御信号を生成する。制御信号は、センサ部１２０が反射光信号を検出して生成される電子を集積するタイミングを制御することのできる信号である。
【００１５】
センサ部１２０と制御信号との間の関係の一例を図２及び図３を参照して説明する。
【００１６】
図２は、センサ部を構成するピクセルの一実施形態を示す図である。ピクセル２００は、検出部２１０（例えば、ｐｈｏｔｏｇａｔｅ）、ゲート（ゲート−Ａ２２１、ゲート−Ｂ２２２）、及び集積部２３１、２３２を含んで構成する。検出部２１０は、反射光信号を受信して電子を生成する役割をする。ゲート−Ａ２２１とゲート−Ｂ２２２は、検出部２１０で生成された電子を集積部２３１、２３２にそれぞれ伝達してもよい。図２では、複数のゲート、例えば、ゲート−Ａ２２１とゲート−Ｂ２２２が備えられ、制御信号により選択的に電子を複数の異なる集積部２３１、２３２に伝達することについて例示されている。
【００１７】
集積部２３１、２３２は伝達された電子を集積する。電子の集積時間や周期は予め定められ得る。例えば、集積部２３１、２３２は一定時間中に間電子を集積し、集積された電子の量を集計するとき電子を放出した後、次の電子集積タイミングに再び電子を集積するように定められ得る。
【００１８】
ゲートのオン（ｏｎ）／オフ（ｏｆｆ）は先に説明した制御信号によって制御されてもよい。
【００１９】
図３は、反射光信号と制御信号との間タイミングの一実施形態である。
【００２０】
本実施形態において、第１制御信号と第２制御信号はそれぞれ図２に示すゲート−Ａ２２１及びゲート−Ｂ２２２を制御し、互いに１８０度の位相差を示している。第１、２制御信号の１／２周期は、例えば、２５ｎｓであってもよい。
【００２１】
図３に示すように、反射光信号がハイ（ｈｉｇｈ）値であるｔＯＮの間に検出部２１０で電子が発生することがある。
【００２２】
ここで、発生した電子の一部は、ゲート−Ａ２２１に関連する第１制御信号がハイ値であるｔＯＮ−ｔΤＯＦの間、ゲート−Ａ２２１を経由して集積部２３１に集積することになる。
【００２３】
一方、発生した電子の残りの一部は、第１制御信号がロー（ｌｏｗ）値に転換され、ゲート−Ｂ２２２に関連する第２制御信号がハイ値であるｔΤＯＦの間にゲート−Ｂ２２２を経由して集積部２３２に集積される。
【００２４】
例えば、反射光信号がハイ（ｈｉｇｈ）値であるｔＯＮ間に発生した電子は、ｔＯＮ−ｔΤＯＦ間にはゲート−Ａ２２１がオンになってゲート−Ａ２２１に関連する集積部２３１に伝達され、ｔΤＯＦ間にはゲート−Ｂ２２２がオン状態になってゲート−Ｂ２２２に関連する集積部２３２に伝達されてもよい。
【００２５】
図２及び図３を参照してセンサのゲートと集積部がそれぞれ２つである場合について説明したが、ゲートと集積部の数は実施形態によって変更されてもよい。
【００２６】
再び図１を説明すると、ブラー判断部１３０は、制御信号ごとに集積された電子の量（以下、電荷量という）間の関係を用いてブラーの有無を判断する。
【００２７】
また、ブラー判断部１３０は、互いに異なる位相を有する制御信号を用いて反射光信号と照射光信号の位相差を取得する。例えば、センサ部１２０がＴｏＦ方式カメラの露出時間中に反射して戻ってくる反射光信号を繰り返し取得することによって、ブラー判断部１３０は反射光信号に基づいた深さ情報を取得することができる。
【００２８】
図４〜図６は映像内のブラー発生の有無を判断するための反射光信号を取得する一例を示す図である。図４〜図６で、Ｃ１ないしＣ４は制御信号を示し、Ｑ１ないしＱ４は電荷量を意味し、ｔｄは深さ情報である。
【００２９】
ＴｏＦ方式カメラは、互いに異なるＬ（Ｌは自然数）個の位相を有する制御信号を生成してもよい。ＴｏＦ方式カメラは、Ｍ（Ｍは自然数）個の電荷量の格納空間を有するＬ−Ｐｈａｓｅ／Ｍ−ｔａｐ方式で構成されてもよい。例えば、図４に示す４−ｐｈａｓｅ／１−ｔａｐの例示において、ＴｏＦ方式カメラは、互いに９０度の位相差を有する４個の制御信号「Ｃ１」、「Ｃ２」、「Ｃ３」、「Ｃ４」を生成してもよい。
【００３０】
センサ部１２０は、反射光信号と制御信号「Ｃ１」によって電荷量「Ｑ１」を取得し、反射光信号と制御信号「Ｃ２」によって電荷量「Ｑ２」を取得し、反射光信号と制御信号「Ｃ３」によって電荷量「Ｑ３」を取得し、反射光信号と制御信号「Ｃ４」によって電荷量「Ｑ４」を順次取得してもよい。
【００３１】
図４に示す４−ｐｈａｓｅ／１−ｔａｐ方式と、図５に示す４−ｐｈａｓｅ／２−ｔａｐ方式と、図６に示す４−ｐｈａｓｅ／４−ｔａｐ方式は、ＴｏＦ方式カメラの構造が互いに異なることを示す。例えば、センサ部１２０は、ＴｏＦ方式カメラの構造に依存して、露出時間中に反射光信号と制御信号との間の位相差を取得する異なる方法を用いてもよい。
【００３２】
図４〜図６では４個の制御信号を生成し、４個の電荷量を取得する一例を示しているが、実施形態に係る制御信号の個数が４よりも少ないか多くてもよい。
【００３３】
ブラー判断部１３０は、取得した電荷量「Ｑ１」、「Ｑ２」、「Ｑ３」、「Ｑ４」間の関係を用いてＴｏＦ方式カメラによって取得された映像にブラーが発生したか否かを判断する。例えば、ブラー判断部１３０は、制御信号Ｃ１とＣ２がハイ（ｈｉｇｈ）値である間に取得された電荷量間の差である第１差値Ｑ１−Ｑ２を算出してもよい。また、ブラー判断部１３０は、制御信号Ｃ３とＣ４がハイ値である間に取得された電荷量間の差である第２差値Ｑ３−Ｑ４を算出してもよい。その後、ブラー判断部１３０は、第２差値Ｑ３−Ｑ４を第１差値Ｑ１−Ｑ２に割った割算値（Ｑ３−Ｑ４）／（Ｑ１−Ｑ２）に逆正接（ａｒｃｔａｎｇｅｎｔ）関数を適用して深さ情報ｔｄを算出してもよい。
【００３４】
一例として、図５に示された４−ｐｈａｓｅ／２−ｔａｐ方式の実施形態において、制御信号Ｃ１ないしＣ４のタイミングが電荷Ｑ１ないしＱ４を取得するための周期１回を示すとすると、このような周期をｎ（ｎは自然数）回繰り返す場合にＱ１ないしＱ４は、それぞれｎ回取得されてもよい。ｎ回の周期中に得られた電荷量を用いて一枚の深さ映像を生成すれば、先に説明した第１差値はｎＱ１−ｎＱ２であってもよく、第２差値はｎＱ３−ｎＱ４であってもよい。また、１ピクセルにおける深さ情報ｔｄは下記のような式（１）のように示してもよい。
【００３５】
【数１】
2014528059.tif 000003
もし、カメラ、被写体または背景に動きが発生すれば、センサ部１２０に含まれたピクセルのうち少なくとも１つが検出する反射光信号の位相には変化が生じ得る。
【００３６】
図７及び図８は、一実施形態に係る被写体の移動がない場合と、被写体の移動がある場合のそれぞれに対して、反射光信号と制御信号との間の関係を示す図である。図７及び図８は理解のための概念図であるため、図７及び図８によって他の実施形態が限定的に解釈されることはない。
【００３７】
図７及び図８において、反射光信号は対応する地点（黒丸、Ｒにより示す）で反射されたものであり、制御信号は対応する地点の反射光信号を検出するセンサ部１２０のピクセルを制御する。
【００３８】
図７に示すように被写体の移動がない場合、制御信号の最初のハイ値と２番目のハイ値で生成される電荷量はそれぞれ等しくＱａに対応する。
【００３９】
一方、図８に示すように、被写体の移動によって照射光信号が反射されるオブジェクトが椅子から背景に変わる場合（ｔ０とｔ１時点の丸地点（Ｒ）参照）、反射光信号がセンサ部１２０のピクセルに到達する時間は、ｔ１からｔ１’に遅延される。例えば、ピクセルが検出する反射光信号に位相変化を発生し得る。この場合、制御信号が最初のハイ値である間に生成される電荷量と２番目のハイ値である間に生成される電荷量は、それぞれＱａとＱａ’として互いに異なる。もし、制御信号が２回のハイ値である間も、生成された電荷を用いて深さ値が決定されれば、図８に示す実施形態ではＱａとＱａ’を用いて深さ映像内の丸地点（Ｒ）に対応する単一のピクセルの値を示すことになるため、対応するピクセルにブラーが発生することになる。
【００４０】
以下、先に説明した図５に示す４−ｐｈａｓｅ／２−ｔａｐの実施形態である場合、動きが発生した地点に対応するピクセルから取得される深さ値について説明する。
【００４１】
ブラー判断部１３０は、ｎ周期の制御信号Ｃ１、Ｃ２のうち、反射光信号の位相変化が発生する前、ｍ周期のＣ１とＣ２間の電荷量差値である第１差値Ｑ１−Ｑ２を算出し、位相差の変化が発生して新しい位相を有する残りのｎ−ｍ周期のＣ１とＣ２間の電荷量差値である第１差値
【００４２】
【数２】
2014528059.tif 000004
を算出する。また、ブラー判断部１３０は、ｎ周期の制御信号Ｃ３、Ｃ４のうち、位相差の変化が発生する前ｍ周期のＣ３とＣ４間の電荷量差値である第２差値Ｑ３−Ｑ４を算出し、位相差の変化が発生して新しい位相を有する残りのｎ−ｍ周期のＣ３とＣ４間の電荷量差値である第２差値
【００４３】
【数３】
2014528059.tif 000005
を算出してもよい。
【００４４】
この場合、前記深さ情報ｔｄは下記のような式（２）のように示してもよい。
【００４５】
【数４】
2014528059.tif 000006
ｍを変数とする関数ｔｄは１次微分され、下記のような式（３）のｔｄ’のように示す。
【００４６】
【数５】
2014528059.tif 000007
式（３）を求めれば、式（４）のような値を取得できる。
【００４７】
【数６】
2014528059.tif 000008
例えば、位相差の変化によって発生する深さ情報ｔｄの変化は、取得されたｍで１つのローカル最大値またはローカル最小値を有することが確認される。ここで、ｍ周期の位置は動き前後の深さ情報に応じて変化することが確認される。
【００４８】
以上の内容でＴｏＦ方式カメラで生成された映像内のブラー現象は、両端値の中間値を取ったり、単調増加／減少する形態に発生しないことが確認される。ＴｏＦ方式カメラの特性上、カラーカメラと異なる方式で映像を取得するため、ＴｏＦ方式カメラで生成された映像からブラーを除去する方式はカラーカメラのブラーを除去する方式とは全く異なる。
【００４９】
一実施形態において、ブラー判断部１３０は、制御信号Ｃ１とＣ２によって取得した電荷量「Ｑ１」、「Ｑ２」間の第１差値と、制御信号Ｃ３とＣ４によって取得した電荷量「Ｑ３」、「Ｑ４」間の第２差値をｎ回算出し、算出された結果を用いて深さ情報をｎ回算出する。例えば、ブラー判断部１３０は、制御信号の１回周期ごとに取得された電荷量を用いて深さ情報を算出し、このような形で算出されたｎ個の深さ情報の平均値を用いて、深さ映像一フレームが生成されてもよい。
【００５０】
この場合、ブラー判断部１３０は、算出されたｎ個の深さ情報のうち少なくとも１つがフラットではない場合、深さ映像にブラーが発生したと判断する。例えば、反射光信号の位相が一定の値を有する場合、算出されたｎ個の深さ情報は一定の値を有するようになる。一方、反射光信号の位相が一定の値を有しない場合、算出されたｎ個の深さ情報も一定の値を有することなく、一定ではない値で算出されることによって、ブラー判断部１３０は映像内でこの値を有する領域にブラーが発生したことを判断することができる。
【００５１】
図９は、一実施形態に係る映像内でブラーが発生したブラー領域の深さ情報をグラフで示す図である。ブラー判断部１３０は、動くオブジェクトに対する深さ情報を参照してブラーの発生有無を判断する。一例によれば、ブラー判断部１３０は、各ピクセル座標（ピクセル値）に関連する深さ情報が均一な値を有しない領域にブラーが発生したと判断する。
【００５２】
図９において、ブラー判断部１３０は、深さ情報がいずれかの特定領域で他の深さ情報と異なって大きい値を有する場合、他の深さ情報と異なる値を有する領域をブラーが発生したブラー領域９１０として判断する。例えば、ピクセル座標間の深さ情報を羅列した結果、深さ情報グラフが図９に示すように尖点形態を示す場合、ブラー判断部１３０は尖点をなすピクセル領域９１０でブラーが発生したと判断する。
【００５３】
図１０は、一実施形態に係るブラーが発生した映像と深さ情報との間の関連性を示す図である。ブラー判断部１３０は、映像（図１０（ａ）、（ｄ）、（ｇ））内で一定領域の深さ情報を算出し、算出された深さ情報を用いて映像（図１０（ａ）、（ｄ）、（ｇ））内でブラーが発生したか否かを判断する。
【００５４】
例えば、図１０（ｂ）と（ｃ）は第１映像（図１０（ａ））でｉ領域とｉｉ領域の深さ情報を算出して表示するグラフである。第１映像（図１０（ａ））のｉ領域とｉｉ領域の全てで算出された深さ情報は、完全に一定値を有することはないものの、全体のピクセル座標で均等な深さ情報を有する。この場合、ブラー判断部１３０は第１映像（図１０（ａ））内でブラーが発生していないと判断する。
【００５５】
図１０（ｅ）と（ｆ）は動きのある第２映像（図１０（ｄ））でｉ領域とｉｉ領域の深さ情報を算出して表示するグラフである。動きのある第２映像（図１０（ｄ））のｉ領域とｉｉ領域の全てで算出された深さ情報は、動きがない第１映像（図１０（ａ））の図１０（ｂ）と（ｃ）で見られていない特異な深さ情報値（尖点形態や、傾きの急激な変化など）を有する。この場合、ブラー判断部１３０は第２映像（図１０（ｄ））内でブラーが発生したと判断する。
【００５６】
図１０（ｈ）と（ｉ）は第３映像（図１０（ｇ））でｉ領域とｉｉ領域の深さ情報を算出して表示するグラフである。第３映像（図１０（ｇ））のｉ領域とｉｉ領域の全てで算出された深さ情報は、第１映像（図１０（ａ））の深さ情報と類似するように、完全な一定値を有することはないものの、全体のピクセル座標で均等な深さ情報を有する。この場合、ブラー判断部１３０は第３映像（図１０（ｇ））内でブラーが発生していないと判断する。
【００５７】
図１１は、一実施形態に係る深さ情報とブラーモデルとの間の関連性を示す図である。
【００５８】
４−ｐｈａｓｅ／２−ｔａｐの構造を有するＴｏＦ方式カメラの場合、反射光信号と制御信号Ｃ１、Ｃ２、Ｃ３、Ｃ４によって取得した電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４のうち、Ｑ１−Ｑ２とＱ３−Ｑ４の関係は図１１（ｂ）のように菱形状を示す。例えば、被写体、カメラ、背景などに動きのない場合、電荷量Ｑ１−Ｑ２とＱ３−Ｑ４の関係は、図１１（ｂ）に示すような菱形７１０上に存在してもよい。もちろん、各制御信号のｎ周期間に取得した電荷量の差であるｎ（Ｑ１−Ｑ２）とｎ（Ｑ３−Ｑ４）間の差もこれと類似の形態を示してもよい。また、菱形の大きさや形態は実施形態に応じて変わってもよい。図１１（ａ）には動きによるブラーがない状態を示し、各ピクセルごとの深さ情報を算出するために用いられた電荷量間の関係は図１１（ｂ）の２つの座標７２０、７３０に対応してもよい。
【００５９】
一方、図１１（ｃ）はブラーによって均一ではない値７４０を含み、この場合にＱ１、Ｑ２、Ｑ３、Ｑ４間の関係は図１１（ｄ）に示すように菱形から離れた領域７５０に表示されてもよい。例えば、ブラーが発生した映像で取得された図１１（ｄ）は、ブラーが発生していない映像で取得された図１１（ｂ）と比較して、菱形の位置以外の領域に図式される値が発生することが分かる。
【００６０】
ブラー処理装置１００は、被写体、カメラ、背景などの動きがない状況（例えば、動きによるブラーが発生しない状況）で反射光信号と制御信号によって集積される電荷量間の関係を示す基準電荷量の関係情報を予め格納しておく。
【００６１】
基準電荷量の関係情報の一例は、図１１（ｂ）に示された菱形グラフであってもよく、実施形態に応じて他の形のグラフに表現されてもよい。もちろん、基準電荷量の関係情報はグラフのみならず、テーブル、数式などの様々な形態に表現されてもよい。ブラー判断部１３０は、被写体を撮影するとき反射光信号と制御信号によって集積される電荷量間の関係を予め格納しておいた基準電荷量の関係情報と比較してもよい。これによって、ブラー判断部１３０は、ブラーの発生有無を判断する。例えば、もし、撮影中に所定ピクセルで制御信号に基づいて取得された電荷量間の関係が基準電荷量関係情報から離れれば、ブラー判断部１３０は対応するピクセルにブラーが発生したと判断する。
【００６２】
例えば、ブラー判断部１３０は、４−ｐｈａｓｅ／２−ｔａｐの構造を有するＴｏＦ方式カメラの場合、ピクセルごとに上記のように制御信号電荷量の関係Ｑ１−Ｑ２、Ｑ３−Ｑ４が正常範囲（菱形状の点）を離れるか否かを判断することによって、ブラー発生の有無を判断する。
【００６３】
Ｌ−ｐｈａｓｅ／Ｍ−ｔａｐの構造を有するＴｏＦ方式カメラそれぞれの場合も、ブラー判断部１３０は、各制御信号間に予め決定された位相差によって規定される各電荷量Ｑ１〜ＱＮ間の正常範囲から離れるか否かを判断することによって、ＴｏＦ方式カメラの各ピクセルの深さ情報を算出する過程で直ちにブラーの発生有無を判断することができる。
【００６４】
このように、判断の結果、ブラーが発生した場合に映像処理部１４０は映像内でブラーが発生したブラー領域周辺の正常ピクセル値を参照して発生したブラーを除去することができる。
【００６５】
例えば、映像処理部１４０は、映像内でブラーが発生したピクセル値をブラーが発生していない周辺の正常ピクセル値で代替して発生したブラーを除去することができる。実施形態において、映像処理部１４０は、ブラーが発生したブラー領域の深さ情報をブラーが発生していない周辺の正常ピクセルのうち最も近距離に位置するピクセルの深さ値で代替してもよい。または、映像処理部１４０は、ブラーが発生したブラー領域の深さ情報を映像内でブラーが発生したフレームと異なる時間の隣接フレームに基づいてブラーが発生していない周辺の正常ピクセル値で代替してもよい。例えば、映像処理部１４０は、所定フレームでブラーが発生したピクセル値を以前フレームまたは以後フレーム内の同一の座標のピクセル値で代替してもよい。
【００６６】
ブラー判断部１３０は、ＴｏＦ方式カメラの各タップ構造ごとにブラーモデルを生成してもよい。前述したように、ＴｏＦ方式カメラは、４−ｐｈａｓｅ／１−ｔａｐ、４−ｐｈａｓｅ／２−ｔａｐ、４−ｐｈａｓｅ／４−ｔａｐなどの構造で構成されてもよい。
【００６７】
【数７】
2014528059.tif 000009
式（５）では、４−ｐｈａｓｅ／１−ｔａｐ構造で構成されたＴｏＦ方式カメラのブラーモデルを例示する。
【００６８】
【数８】
2014528059.tif 000010
式（６）では、４−ｐｈａｓｅ／２−ｔａｐ構造で構成されたＴｏＦ方式カメラのブラーモデルを例示する。式（６）において、ブラー判断部１３０は反射光信号の関係が、ｍ周期のＣ１とＣ２間の電荷量合算値Ｑ１＋Ｑ２と、ｍ周期のＣ３とＣ４間の電荷量合算値Ｑ３＋Ｑ４が同一であるか、例えば、Ｑ１＋Ｑ２＝Ｑ３＋Ｑ４を満足するか否かを判断することによって、映像内にブラーが発生したか否かを判断する。
【００６９】
例えば、ブラー判断部１３０は、取得された反射光信号の関係がＱ１＋Ｑ２＝Ｑ３＋Ｑ４の条件が満たされる場合、映像内にブラーが発生していないと判断し、取得された反射光信号の関係がＱ１＋Ｑ２＝Ｑ３＋Ｑ４の条件を満足しない場合に映像内にブラーが発生したと判断する。
【００７０】
【数９】
2014528059.tif 000011
式（７）では、４−ｐｈａｓｅ／４−ｔａｐ構造で構成されたＴｏＦ方式カメラのブラーモデルを例示する。
【００７１】
図１２は、一実施形態に係る映像内でブラーを除去する一例を示す図である。映像にブラーが発生した場合、映像処理部１４０は、映像内でブラーが発生したピクセル値を、ブラーが発生していない周辺の正常ピクセル値で代替することにより、発生したブラーを除去することができる。
【００７２】
図１２において、ブラーが発生したピクセル値は菱形状のグラフ内側に表示された値であり、周辺の正常ピクセル値は菱形状のグラフ上に表示された値である。例えば、映像処理部１４０は、菱形状のグラフ内側に表示された値を菱形状のグラフ上に表示された値で代替することによって、発生したブラーを除去することができる。
【００７３】
実施形態において、映像処理部１４０は、周辺の正常ピクセルのうち最も近距離に位置するピクセルの深さ情報がブラーが発生したピクセル値を代替することによって、発生したブラーを除去することができる。または、映像処理部１４０は、ブラーが発生したピクセルの深さ情報をブラーが発生したフレームと異なる時間の隣接フレームに基づいてブラーが発生していない正常ピクセル値で代替してもよい。
【００７４】
図１３は、一実施形態に係るブラー処理方法の順序を示すフローチャートである。ここで、ブラー処理方法は、図１に示したブラー処理装置１００によって行ってもよい。図１３を参考にすると、ステップ１３１０において、ブラー処理装置１００は光照射部１０２を介して照射光信号をオブジェクト１０４に放出し、放出された照射光信号がオブジェクト１０４から反射する反射光信号を取得する。
【００７５】
ステップ１３２０において、ブラー処理装置１００は、取得された反射光信号の位相差を用いて深さ情報を算出する。ステップ１３３０において、ブラー処理装置１００は、深さ情報を用いてＴｏＦ方式カメラによって取得された映像にブラーが発生したか否かを判断する。
【００７６】
ブラー処理装置１００は、互いに異なる位相差を有する制御信号と反射光信号との間の位相差を算出して深さ情報を算出する。例えば、ブラー処理装置１００は、反射光信号と互いに異なる位相差を有する制御信号それぞれによって受光された電荷量を取得してもよい。ブラー処理装置１００は、取得された電荷量と制御信号の互いに異なる位相差によって定められる各電荷量間の関係が正常範囲から離れるか否かに応じて映像にブラーが発生したか否かを判断する。
【００７７】
ステップ１３４０において、ブラー処理装置１００は、ステップ１３３０の結果としてブラーが発生した場合、映像内でブラーが発生したブラー領域周辺の正常ピクセル値を用いて発生したブラーを除去する。
【００７８】
ブラー処理装置１００は、映像内でブラーが発生したピクセル値をブラーが発生していない周辺の正常ピクセル値で代替し、発生したブラーを除去してもよい。
【００７９】
または、ブラー処理装置１００は、ブラーが発生したブラー領域の深さ情報を、映像内のブラーが発生したフレームと異なる時間の隣接フレームに基づいて、ブラーが発生していない周辺の正常ピクセル値で代替することにより、発生したブラーを除去してもよい。
【００８０】
図１４は、他の実施形態に係るブラー処理装置の構成を示すブロック図である。図１４を参考すると、ブラー処理装置１４００は、モデル識別部１４１０、検索部１４２０、及び映像処理部１４３０を備える。例えば、ブラー処理装置１４００は、反射光信号と制御信号の電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４が提供されない場合に映像内でブラーを除去する方式として用いられてもよい。
【００８１】
モデル識別部１４１０は、ＴｏＦ方式カメラの構造に該当するブラーモデルを識別する。ＴｏＦ方式カメラは、様々な方式で生成した互い異なるＬ（Ｌは自然数）個の位相を有する制御信号を有し、Ｍ（Ｍは自然数）個の電荷量の格納空間を有するＬ−ｐｈａｓｅ／Ｍ−ｔａｐ方式で構成されてもよい。したがって、ブラーモデルは、４−ｐｈａｓｅ／１−ｔａｐ、４−ｐｈａｓｅ／２−ｔａｐ、４−ｐｈａｓｅ／４−ｔａｐなど、ＴｏＦ方式カメラの構造により互いに異なるモデルを有する。
【００８２】
検索部１４２０は、ＴｏＦ方式カメラによって取得された映像でブラーモデルに関連するパターンを検索する。検索部１４２０は、様々なパターン検索方式を用いてブラーモデルに関連するパターンを検索してもよい。検索部１４２０は、検索速度を向上させるために方向及び空間でピラミッド型の段階的な検索方式を用いてもよい。
【００８３】
実施形態において、検索部１４２０は、ハフ（Ｈｏｕｇｈ）変換を用いてパターン検索及びＲ−θ空間でパターンを検索してもよい。
【００８４】
映像処理部１４３０は、検索されたパターン内にブラー領域をフィルタリングして映像内のブラーを除去する。映像処理部１４３０は、ブラー領域にノイズ除去のためにＲ−θ空間上でフィルタリングを行ってもよい。ここで、Ｒ−θ空間でユークリッド距離を有効にするため、Ｒとθ間に互いに異なる加重値パラメータを適用してもよい。
【００８５】
図１５の（ａ）から（ｃ）は、一実施形態による、ブラーモデルを用いてブラー領域をフィルタリングする一例を示す図である。図１５を参考すると、映像処理部１４３０は、ブラーが発生したブラー領域（図１５（ａ））をブラーモデル（図１５（ｂ））を用いてフィルタリングし、ブラーが除去された映像（図１５（ｃ））を取得することができる。
【００８６】
図１６は、他の実施形態に係るブラー処理方法の順序を示すフローチャートである。ここで、ブラー処理方法は、図１４に示すブラー処理装置１４００によって行われてもよい。図１６を参考すると、ステップ１６１０において、ブラー処理装置１４００は、ＴｏＦ方式カメラの構造に対応するブラーモデルを識別する。ＴｏＦ方式カメラは、互いに異なるＬ（Ｌは自然数）個の位相を有する制御信号を有し、Ｍ（Ｍは自然数）個の電荷量の格納空間を有するＬ−ｐｈａｓｅ／Ｍ−ｔａｐ方式で構成されてもよい。ブラーモデルは、４−ｐｈａｓｅ／１−ｔａｐ、４−ｐｈａｓｅ／２−ｔａｐ、４−ｐｈａｓｅ／４−ｔａｐなど、ＴｏＦ方式カメラの構造に依存して互いに異なるモデルを有してもよい。
【００８７】
ステップ１６２０において、ブラー処理装置１４００は、ＴｏＦ方式カメラによって取得された映像でブラーモデルに関連するパターンを検索する。ブラー処理装置１４００は、様々なパターン検索方式を用いてブラーモデルに関連するパターンを検索する。ブラー処理装置１４００は、方向及び空間でピラミッド型の段階的な検索方式を用いることによって、検索速度を向上させることができる。
【００８８】
ステップ１６３０において、ブラー処理装置１４００は、見付かったパターン内のブラー発生したブラー領域をフィルタリングして、映像内のブラーを除去する。ブラー処理装置１４００は、ブラー領域内のノイズ除去のためにＲ−θ空間でフィルタリングを行ってもよい。
【００８９】
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。
【００９０】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【００９１】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【００９２】
１００  ブラー処理装置
１０２  光照射部
１０４  オブジェクト
１１０  制御部
１２０  センサ部
１３０  ブラー判断部
１４０  映像処理部
２２１、２２２  ゲート
２３１、２３２  集積部
２００  ピクセル
２１０  検出部
１４００  ブラー処理装置
１４１０  モデル識別部
１４２０  検索部
１４３０  映像処理部
【図１】
2014528059.tif 000012
【図２】
2014528059.tif 000013
【図３】
2014528059.tif 000014
【図４】
2014528059.tif 000015
【図５】
2014528059.tif 000016
【図６】
2014528059.tif 000017
【図７】
2014528059.tif 000018
【図８】
2014528059.tif 000019
【図９】
2014528059.tif 000020
【図１０】
2014528059.tif 000021
【図１１】
2014528059.tif 000022
【図１２】
2014528059.tif 000023
【図１３】
2014528059.tif 000024
【図１４】
2014528059.tif 000025
【図１５】
2014528059.tif 000026
【図１６】
2014528059.tif 000027
【国際調査報告】
2014528059.tif 000028
2014528059.tif 000029
2014528059.tif 000030
2014528059.tif 000031