(57)【要約】      （修正有）【課題】距離画像に含まれる異常画素の判定精度をより高められるステレオカメラを用いた撮像装置および撮像方法を提供する。【解決手段】撮像装置は撮像部２、３次元計測部３、顔領域抽出部４、領域分割部５、有効範囲設定部６、異常画素判定部７、補間部８、平滑化部９とを有し、前記異常画素判定部７は、前記領域分割部５で分割した距離画像を構成する分割領域ごとに、当該分割領域に含まれる複数の画素のうち、当該分割領域に設定された有効範囲から外れる距離値を有する画素を、異常画素であると判定する。【選択図】図１
2016156702.tif 000002
【特許請求の範囲】
【請求項１】
被写体を複数の異なる視点から撮影することによって、各上記視点に対応する複数の画像を生成する撮像部と、
上記複数の画像を３次元計測処理することによって、距離画像を生成する３次元計測部と、
上記距離画像において判定領域を抽出する抽出部と、
上記判定領域を、複数の異なる分割領域に分割する分割部と、
上記分割領域ごとに、当該分割領域に応じた有効範囲を設定する設定部と、
上記分割領域ごとに、当該分割領域に含まれる複数の画素のうち、当該分割領域に設定された上記有効範囲から外れる距離値を有する画素を、異常画素であると判定する判定部とを備えていることを特徴とする撮像装置。
【請求項２】
上記分割部は、予め記録された領域分割パターンと上記判定領域とに基づいて、上記判定領域を複数の異なる上記分割領域に分割することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記分割部は、予め記録された領域分割パターンの外郭と上記判定領域の輪郭とを照合することにより、上記判定領域を複数の異なる上記分割領域に分割することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記抽出部は、上記複数の画像の少なくともいずれかに含まれる各画素の色情報に基づき、上記判定領域を抽出することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
上記抽出部は、予め記録された被写体の特徴パターンと、上記複数の画像の少なくともいずれかとを照合することにより、上記判定領域を抽出することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項６】
上記分割領域ごとに、当該分割領域に含まれる複数の画素の距離値を用いて所定の基準値を算出する基準値算出部をさらに備えており、
上記設定部は、上記分割領域ごとに、上記基準値に基づいて上記有効範囲を設定することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
上記基準値算出部は、上記分割領域ごとに、当該分割領域に含まれる複数の画素の距離値の平均距離値を、上記基準値として算出し、
上記設定部は、上記分割領域ごとに、上記平均距離値に基づいて上記有効範囲を設定することを特徴とする請求項６のいずれか１項に記載の撮像装置。
【請求項８】
上記分割領域ごとに、当該分割領域に含まれる複数の画素の距離値を空間フィルタを用いて平滑化する平滑化部をさらに備えており、
上記設定部は、上記分割領域ごとに、平滑化された当該分割領域に含まれる複数の画素の複数の上記距離値のうちの最大値および最小値に基づいて、有効範囲を設定することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項９】
上記撮像装置におけるフォーカス距離範囲を算出するフォーカス距離範囲算出部を備えており、
上記設定部は、上記分割領域ごとに、上記フォーカス距離範囲に基づいて、上記有効範囲を設定することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項１０】
被写体を複数の異なる視点から撮影することによって、各上記視点に対応する複数の画像を生成する撮像工程と、
上記複数の画像を３次元計測処理することによって、距離画像を生成する３次元計測工程と、
上記距離画像において判定領域を抽出する抽出工程と、
上記判定領域を、複数の異なる分割領域に分割する分割工程と、
上記分割領域ごとに、当該分割領域に応じた有効範囲を設定する設定工程と、
上記分割領域ごとに、当該分割領域に含まれる複数の画素のうち、当該分割領域に設定された上記有効範囲から外れる距離値を有する画素を、異常画素であると判定する判定工程とを有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラを用いた撮像装置および撮像方法に関するものである。
【背景技術】
【０００２】
近年、複数のカメラ（ステレオカメラ）または３次元センサを用いて対象物までの距離および対象物の形状等を計測するステレオ３次元計測装置が実用化されている。ステレオ３次元計測の手法としては、カメラを２台（例えば左右）離間して配置して対象物を同時に撮影し、得られた左右画像のペアから左右の画像の対応する画素の対、つまり対応点を探索し、左右画像の対応点同士が左右方向にどれだけ離れているか、すなわち視差を求め、この視差から三角測量の原理を用いて対象物までの距離を算出する計測方法である。このような３次元計測装置の普及が、様々な分野において進みつつある。
【０００３】
従来の一般的なカメラは、各画素の輝度情報および色情報を、２次元画像データ形式で保存できるに過ぎない。これに対し、３次元計測装置は、撮影対象物である人または物までの距離を測定することによって、各画素の距離値を距離画像データまたは点群データなどの３次元形状データの形式によって保存することができる。
【０００４】
３次元計測の主要な用途の一つとして、人の顔の形状を測定することが挙げられる。人の顔の形状が各個人に固有の特徴および情報を有していることから、３次元測定された人の顔の特徴または情報を活用する各種のセキュリティシステムおよび医療関連システムの開発が、期待されている。
【０００５】
３次元計測装置によって生成される距離画像の一部には、実際の距離値とは異なる誤計測値を有する画素が含まれることがある。この原因には様々なものがあり、たとえば、撮像された画像の品質が低かったり、あるいは、３次元計測に用いる処理方法またはパラメータに不適当な点があったりすることなどが挙げられる。
【０００６】
このような３次元計測時の不備を解決することを目的とした従来の３次元計測装置の一例が、特許文献１に開示されている。この従来装置は、人物の３次元距離画像に適合するようにスケール変換された立体モデルの３次元座標系における位置を決定し、さらに、位置が特定された立体モデルから、３次元形状データを補間するための処理基準となる背景面を決定する。これにより、３次元計測で欠落した３次元形状データを補間する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−１２９２２号（２００１年１月１９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の上記の課題を解決するためになされたものである。そしてその目的は、距離画像に含まれる異常画素の判定精度をより高められる撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、上記の課題を解決するために、被写体を複数の異なる視点から撮影することによって、各上記視点に対応する複数の画像を生成する撮像部と、上記複数の画像を３次元計測処理することによって、距離画像を生成する３次元計測部と、上記距離画像において判定領域を抽出する抽出部と、上記判定領域を、複数の異なる分割領域に分割する分割部と、上記分割領域ごとに、当該分割領域に応じた有効範囲を設定する設定部と、上記分割領域ごとに、当該分割領域に含まれる複数の画素のうち、当該分割領域に設定された上記有効範囲から外れる距離値を有する画素を、異常画素であると判定する判定部とを備えていることを特徴としている。
【００１０】
本発明に係る撮像方法は、上記の課題を解決するために、被写体を複数の異なる視点から撮影することによって、各上記視点に対応する複数の画像を生成する撮像工程と、上記複数の画像を３次元計測処理することによって、距離画像を生成する３次元計測工程と、上記距離画像において判定領域を抽出する抽出工程と、上記判定領域を、複数の異なる分割領域に分割する分割工程と、上記分割領域ごとに、当該分割領域に応じた有効範囲を設定する設定工程と、上記分割領域ごとに、当該分割領域に含まれる複数の画素のうち、当該分割領域に設定された上記有効範囲から外れる距離値を有する画素を、異常画素であると判定する判定工程とを有することを特徴としている。
【発明の効果】
【００１１】
本発明の一態様によれば、距離画像に含まれる異常画素の判定精度をより高められるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係る撮像装置の要部構成を示すブロック図である。
【図２】撮像部および次元計測部の詳細な構成を示すブロック図である。
【図３】本発明の実施形態１における２つの平行化画像に対して対応点探索処理を実行する方法を示す説明図である。
【図４】（ａ）は、本発明の実施形態１における左カメラの平行化画像上の各画素を示す説明図であり、（ｂ）は、本発明の実施形態１における１つの注目画素に対して得られる値と視差との関係曲線を示すグラフである。
【図５】本発明の実施形態１に係る撮像装置が実行する誤計測値の低減処理を説明する図である。
【図６】本発明の実施形態３に係る撮像装置が実行する有効範囲の設定処理を説明する図である。
【図７】本発明の実施形態５に係る撮像装置が実行する顔領域の検出処理を説明する図である。
【発明を実施するための形態】
【００１３】
〔実施の形態１〕
本発明の一実施形態について、図１〜図５に基づいて以下に説明する。
【００１４】
図１は、本発明の実施形態１に係る撮像装置１の要部構成を示すブロック図である。この図に示すように、撮像装置１は、撮像部２、３次元計測部３、顔領域抽出部４（抽出部）、領域分割部５（分割部）、有効範囲設定部（設定部、平均距離値算出部、基準値算出部、フォーカス距離範囲算出部）６、異常画素判定部（判定部）７、補間部８、および平滑化部９を備えている。
【００１５】
図２は、撮像部２および３次元計測部３の詳細な構成を示すブロック図である。この図に示すように、撮像部２は、右カメラ２ａおよび左カメラ２ｂを備えている。また、３次元計測部１０は、平行化部１１、プレフィルタ部１２、対応点探索部１３と、距離画像生成部１４を備えている。
【００１６】
撮像部２は、人の顔などの被写体を複数の異なる視点から撮影することによって、各上記視点に対応する複数の画像を生成する。撮像部２内の右カメラ２ａおよび左カメラ２ｂは、被写体を撮像するためのカメラである。これらは、レンズ付きのＣＣＤ（Charge Coupled Device：電荷結合素子）カメラまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補形金属酸化膜半導体）カメラでよく、カラーカメラまたはモノクロカメラのいずれでもよい。本実施の形態では、データ量が少なくて済むモノクロカメラを使用している。
【００１７】
３次元計測部３は、撮像部２によって得られた複数の画像を３次元計測することによって、被写体の距離画像を生成する。
【００１８】
顔領域抽出部４は、距離画像から被写体の顔領域（判定領域）を抽出する。顔領域検出の詳細については後述する。
【００１９】
領域分割部５は、距離画像から抽出された顔領域を、人の顔形状の特徴に基づく複数の異なる分割領域に分割する。
【００２０】
有効範囲設定部６は、分割領域ごとに、当該分割領域に応じた有効範囲を設定する。有効範囲とは、被写体における分割領域に対応する箇所が正常に３次元計測された場合に、当該分割領域内の各画素が取り得ると想定される距離値の範囲を意味する。
【００２１】
異常画素判定部７は、分割領域ごとに、当該分割領域に含まれる複数の画素のうち、当該分割領域に設定された有効範囲から外れる距離値を有する画素を、すべて異常画素であると判定する。
【００２２】
補間部８は、分割領域ごとに、異常画素であると判定された画素の周囲の画素群の各距離値を用いた補間処理によって、当該異常画素の距離値を当該分割領域に設定された有効範囲内の値に変更する。
【００２３】
平滑化部９は、分割領域ごとに、当該分割領域に含まれるすべての画素の距離値に対して平滑化処理を実行する。
【００２４】
撮像装置１は、図示しないプロセッサおよびメモリを備えている。このメモリには、プロセッサが上述した３次元計測処理などの各処理を実行するときに必要なプログラム、一時的なデータ、右カメラ２ａおよび左カメラ２ｂのキャリブレーションデータ、およびフォーカス距離等のデータなどが、格納されている。
【００２５】
本実施形態に係る撮像装置１が実行する３次元計測の手順について、以下に説明する。
【００２６】
本実施の形態の撮像装置１では、右カメラ２ａおよび左カメラ２ｂにて撮影されたキャプチャ画像は、３次元計測部１０にて３次元計測処理が実行される。
【００２７】
３次元計測部１０では、まず、右カメラ２ａおよび左カメラ２ｂにて撮影されたキャプチャ画像に対して、平行化部１１にてステレオ平行化処理が実行される。ステレオ平行化処理とは、複数のカメラで撮影した各画像において、たとえば、広角レンズ等を用いると画像の外側に行くほど歪みが大きくなる。その歪みを補正することを平行化処理という。ステレオ平行化処理は、予め実施されたカメラキャリブレーションにより得られる。このため、メモリに格納されているキャリブレーションデータ１５に基づいて、右カメラ２ａのキャプチャ画像、および左カメラ２ｂのキャプチャ画像にステレオ平行化処理を施す。キャリブレーションデータ１５は、計測を実行する前に予め２つの右カメラ２ａおよび左カメラ２ｂのそれぞれのレンズの歪や角度ずれを補正するためのデータである。
【００２８】
次に、ステレオ平行化後の画像（以下、「平行化画像」という。）に対して、プレフィルタ部１２にてプレフィルタ処理が実行され、その後、対応点探索部１３にて対応点探索が実行される。
【００２９】
まず、プレフィルタ部１２では、左右画像の輝度差および画像内の局所的な輝度レベルの変動等を吸収するために、プレフィルタとして微分処理されてエッジ強調処理が施される。プレフィルタとしては、たとえばソベルフィルタまたはラプラシアンフィルタ等が用いられる。
【００３０】
続いて、対応点探索部１３の対応点探索処理について、図３および図４の（ａ）（ｂ）に基づいて説明する。図３は、本発明の実施形態１における２つの平行化画像に対して対応点探索処理を実行する方法を示す説明図である。図４の（ａ）は、本発明の実施形態１における左カメラ２ｂの平行化画像上の各画素を示す説明図であり、図４の（ｂ）は、本発明の実施形態１における１つの注目画素に対して得られるＳＡＤ値と視差との関係曲線を示すグラフである。なお、撮像装置１では、左カメラ２ｂを基準として、左カメラ２ｂの平行化画像上の各画素に対して右カメラ２ａの平行化画像から対応する画素を探索する処理を行うものとする。
【００３１】
対応点探索処理は、図３に示すように、まず、左カメラ２ｂの平行化画像の注目画素を中心として、縦横それぞれｐ×ｐ（ｐは整数）画素の正方形状の「相関窓」と呼ばれる領域を設定する。続いて、右カメラ２ａの平行化画像における縦方向の同一画素行に、同じ大きさの相関窓を設定し、これを画素行の左右方向にスライドさせながら、両画像の相関窓に含まれる画素間の相関度合いを示す判定精度としての評価値を計算する。この相関度合いを示す評価値としては、たとえばＳＡＤ（Sum of Absolute Differrence：差分絶対値和）等の画素演算にて計算できる量が用いられる。下記式で表されるＳＡＤでは、値が小さいほど相関度合いが高い。
【００３２】
【数１】
2016156702.tif 000003
【００３３】
ここで、たとえば、図４の（ａ）（ｂ）に示すように、所定の対応点探索範囲の左端から右端まで（図４の（ａ）（ｂ）では左カメラ２ｂの平行化画像の左端から右端まで）探索したとき、相関度合いが最も高くなる状態（最もＳＡＤ値が小さい）での右カメラ２ａの平行化画像の相関窓の中心画素位置が、左カメラ２ｂの平行化画像の注目画素に対する対応点と特定する。本実施の形態では、図４の（ｂ）に示すように、位置ｘｋ（ｋは整数）が対応位置となっている。
【００３４】
続いて、得られた対応点の情報から視差の値が算出される。視差とは、左カメラ２ｂの平行化画像の注目画素と右カメラ２ａの平行化画像の対応画素との距離を、水平方向の画素単位で表したものと定義される。つまり、図４の（ｂ）に示すように、視差「ｘｉ−ｘｋ（ｉ,ｋは整数）」にて表される。
【００３５】
次いで、距離画像生成部１４による距離画像生成処理を行う。具体的には、得られた視差の値から、三角測量の原理により対象物の３次元座標（Ｘ，Ｙ，Ｚ）を算出する。なお、３次元座標（Ｘ，Ｙ，Ｚ）とは、基準である左カメラ２ｂの撮像面中心から、水平方向の距離Ｘ，垂直方向の距離Ｙ、奥行き方向の距離をＺとする。
【００３６】
たとえば、測定対象物までの奥行き方向の距離Ｚを計測する場合、
【００３７】
【数２】
2016156702.tif 000004
【００３８】
にて計算することができる。
【００３９】
３次元計測部３は、基準である左カメラ２ｂの平行化画像の各画素に対して距離値Ｚを求め、その画素の画素値とすることによって、被写体の距離画像を生成する。この距離画像には、上述したように、実際の距離値（Ｚ値）とは異なる誤計測値（誤距離値）を有する画素が含まれることがある。このような誤計測値を低減する方法について、図５を参照して以下に説明する。図５は、本発明の実施形態１に係る撮像装置１が実行する誤計測値の低減処理を説明する図である。
【００４０】
図５の（ａ）に、３次元計測処理によって生成された被写体（人の顔）の距離画像の一例を示す。この距離画像に含まれる各画素は、それぞれ３次元座標の値（Ｘ値、Ｙ値、およびＺ値）を有し、図５の（ａ）では、各画素のＺ値の大きさをグレースケールで表すものとする。画素のＺ値が小さいほど、その画素に対応する被写体の箇所が撮像部２に近い。Ｚ値がより小さい画素を図面上でより白く表すとすると、図５の（ａ）に示す距離画像では本来であれば頬の部分よりも鼻の部分の方がより白く（明るく）表現されるべきであるが、本図では簡略化している。また、図５の（ａ）では、距離画像内の誤計測値を有する画素を、計測ノイズＮｉ（ｉは自然数）として示している。
【００４１】
図５の（ａ）に示す例では、計測ノイズＮｉは、距離画像における顔領域およびそれ以外の領域の両方に存在する。撮像装置１は、まず、距離画像から顔領域を抽出することによって、顔領域以外の領域に含まれるすべての計測ノイズを削減する。この手順について、以下に説明する。
【００４２】
本実施形態では、顔領域抽出部４が、距離画像から顔領域を抽出する。その際、顔領域抽出部４は、まず、撮像部２によって得られた複数の撮像画像の少なくともいずれかから、２次元の顔領域を検出し、それから、その検出結果を利用することによって、距離画像から３次元の顔領域を抽出する。以下ではまず、顔領域抽出部４による顔領域抽出の詳細について説明する。
【００４３】
顔領域抽出部４は、撮像部２によって得られた複数の撮像画像のいずれかから、被写体の顔領域を検出する。以下では、左カメラ２ｂによって得られた撮像画像を用いるものとする。この撮像画像は３次元計測処理が適用される前の２次元画像であるため、撮像画像内の各画素は被写体の色を表す色情報を有している。顔領域抽出部４は、撮像画像内の各画素の色情報に基づき、撮像画像から被写体の顔領域を検出する。具体的には、撮像画像から顔領域を検出するために、肌色検出処理を実行する。より詳細には、顔領域抽出部４は、人の肌色に特徴的な色情報パターン（たとえばＲ値、Ｇ値、およびＢ値の比率）に基づき、距離画像に含まれる肌色の色情報を有する各画素を選択することによって、撮像画像から顔領域を検出する。図５の（ｂ）に、顔領域抽出部４によって撮像画像から検出された顔領域３１の一例を示す。顔領域抽出部４は、図５の（ｃ）に示すように、距離画像における、撮像画像から検出された顔領域３１に対応する領域を、距離画像内の顔領域３２として抽出する。
【００４４】
なお、顔領域抽出部４は、撮像部２によって得られた撮像画像ではなく、平行化部１１によって得られた平行化画像から顔領域を検出してもよい。たとえば、左カメラ２ｂによって得られる平行化画像には撮像画像と同じく色情報が残されているので、顔領域抽出部４はこの色情報に基づき平行化画像から顔領域を検出する。また、顔領域抽出部４は、２次元の顔領域３１を利用することなく、距離画像から３次元の顔領域３２を直接抽出してもよい。
【００４５】
図５の（ｃ）に示すように、顔領域３２が距離画像から抽出されることによって、距離画像における顔領域３２以外の領域に含まれるすべての計測ノイズが削減される。一方、距離画像から抽出された顔領域３２には、依然として、複数の計測ノイズＮｉが残っている。これらの計測ノイズを削減する方法について、以下に説明する。
【００４６】
一般に、人の顔の形状には個人差があるが、顔における目、鼻、および頬などの、顔に含まれる特徴的な部分の配置には個人差がなく、どのような顔であっても、顔における一定の領域に内に配置されている。領域分割部５は、このような人の顔の特徴パターンを利用することによって、顔領域３２を、少なくとも人の目、鼻、およびその他にそれぞれ対応する複数の分割領域３３に、分割する
本実施形態に係る撮像装置１のメモリには、図５の（ｄ）に示すような、顔領域３２を複数の異なる分割領域３３に分割するための領域分割パターンが予め記録されている。図５の（ｄ）の例では、領域分割パターンは、複数の異なる分割領域を規定している。それぞれの分割領域３３は、人の顔に含まれる特徴的な部分（領域）に対応する。領域分割部５は、距離画像から抽出された顔領域３２の輪郭に合致するように、領域分割パターンの大きさを調整した上で、雛形を顔領域３２に適用する。大きさの調整には、たとえば、顔領域３２の輪郭と、領域分割パターンの外郭とを合致させることが挙げられる。領域分割部５は、図５の（ｅ）に示すように、顔領域３２に領域分割パターンを適用することによって、顔領域３２を複数の分割領域３３ａ〜３３ｙに分割する。
【００４７】
表記の簡略化のため、図５の（ｅ）には、分割領域３３ａ〜３３ｙのうち、分割領域３３ａ、３３ｃ、および３３ｙのみに、対応する部材番号を表記している。各分割領域３３ａ〜３３ｙのうちの一部に、計測ノイズＮｉが含まれている。以下に、各分割領域３３に含まれる計測ノイズを削減する方法について、説明する。
【００４８】
領域分割部５は、複数の分割領域３３ａ〜３３ｙに分割された顔領域３２を、有効範囲設定部６に出力する。有効範囲設定部６は、顔領域３２を構成する分割領域３３ごとに、当該分割領域３３に応じた有効範囲を設定する。本実施形態では、各分割領域３３に対応する有効範囲が、撮像装置１のメモリに予め記録されている。そこで有効範囲設定部６は、メモリに記録されている分割領域３３に対応する有効範囲を、当該分割領域３３に対して設定すればよい。
【００４９】
上述したように、領域分割パターンに含まれる各分割領域３３は、人の顔形状に含まれる各特徴部分に基づき規定されている。そこで、撮像部２と被写体との距離を一定に維持した状態で被写体を撮像することにすると、各分割領域３３内における各画素の確からしい（有効な）距離値の範囲を予め算出することができる。そこで、領域分割パターンに含まれる分割領域３３ごとに、当該分割領域３３に対応する人の顔形状の特徴部分に応じた有効な距離値の範囲を、当該分割領域３３に対応付けて、撮像装置１のメモリに予め記録させておけばよい。
【００５０】
各分割領域３３に設定される有効範囲の一例について、図５の（ｆ）を参照して説明する。図５の（ｅ）に示す一点鎖線（Ａ−Ａ’線）を基準にした顔領域３２の断面イメージを、図５の（ｆ）に示す。Ａ−Ａ’線は、分割領域３３ａ〜３３ｙのうち、分割領域３３ｂ、３３ｄ、３３ｆ、３３ｊ、３３ｍ、３３ｎ、３３ｑ、３３ｖ、および３３ｙに重畳している。そのため、図５の（ｆ）に、これらの分割領域３３ｂ、３３ｄ、・・・および３３ｙの断面イメージを示す。図５の（ｆ）には、さらに、人の顔形状の統計データに基づく顔形状の実際の輪郭３５を示す。
【００５１】
各分割領域３３に対応してメモリに予め記録される有効範囲３４は、輪郭３５に基づき決定される。たとえば、分割領域３３ｑは鼻周辺に対応する領域であるため、分割領域３３ｑに対応する有効範囲３４として、比較的広い範囲がメモリに記録される。一方、分割領域３３ｖは口周辺に対応する領域であるため、分割領域３３ｖに対応する有効範囲３４として、比較的狭い範囲がメモリに記録される。有効範囲設定部６は、輪郭３５に基づき決定された有効範囲３４を各分割領域３３に設定することによって、図５の（ｆ）に示すように、鼻周辺に対応する分割領域３３ｖには比較的広い有効範囲３４を設定し、一方、口周辺に対応する分割領域３３ｙには比較的狭い有効範囲３４を設定する。
【００５２】
有効範囲設定部６は、各分割領域３３に有効範囲３４が設定された顔領域３２を異常画素判定部７に通知する。異常画素判定部７は、分割領域３３ごとに、当該分割領域３３に含まれる複数の画素のうち、当該分割領域３３に設定された有効範囲３４から外れる距離値を有する画素を、異常画素であると判定する。たとえば図５の（ｆ）の例では、分割領域３３ｄに含まれる計測ノイズＮｉの距離値が、分割領域３３ｄに設定された有効範囲３４から外れているので、この計測ノイズＮｉは異常画素であると判定される。一方、分割領域３３ｊに含まれる計測ノイズＮ１の距離値が、分割領域３３ｊに設定された有効範囲３４内にあるので、この計測ノイズＮ１は異常画素であると判定されない。図５の（ｆ）の例では、分割領域３３ｂ、３３ｆ、３３ｍ、３３ｑ、３３ｖにそれぞれ含まれる計測ノイズＮｉは、いずれも異常画素であると判定され、一方、分割領域３３ｊに含まれる計測ノイズＮ１および分割領域３３ｙに含まれる計測ノイズＮ２は、いずれも異常画素であると判定されない。
【００５３】
異常画素判定部７は、顔領域３２を構成するすべての分割領域３３ａ〜３３ｙを対象に、上述した異常画素の判定処理を実行する。これにより、図５の（ｅ）に示す、分割領域３３ｊ、３３ｌ、３３ｒ、および３３ｙに含まれる各計測ノイズＮｉは、いずれも異常画素であるとは判定されない。一方、これらの分割領域３３以外の各分割領域３３に含まれる計測ノイズＮｉは、いずれも異常画素であると判定される。
【００５４】
異常画素判定部７は、複数の分割領域３３に分割された顔領域３２と、各分割領域３３における異常画素の判定結果とを、補間部８に出力する。補間部８は、分割領域３３ごとに、計測ノイズＮｉ（異常画素）であると判定された画素の周囲の画素群の各距離値を用いた補間処理によって、当該計測ノイズＮｉの距離値を当該分割領域３３に設定された有効範囲内の値に変更する。補間処理としては、膨張処理または収縮処理が挙げられる。この補間処理によって、異常画素であると判定されたすべての計測ノイズＮｉが、顔領域３２から削減される。図５の（ｇ）に、補間処理が行われた後の顔領域３２を示す。この図に示す例では、分割領域３３ｊ、３３ｌ、３３ｒ、および３３ｙに含まれる各計測ノイズＮｉ以外のすべての計測ノイズＮｉが削減されている。
【００５５】
補間部８は、異常画素であると判定された各計測ノイズＮｉに対して補間処理を実行した後の顔領域３２を、平滑化部９に出力する。分割領域３３ｊに含まれる計測ノイズＮ１および分割領域３３ｙに含まれる計測ノイズＮ２などの、有効範囲３４に含まれる距離値を有する画素は、異常画素であると判定されないので、顔領域３２内に残されている。平滑化部９は、顔領域３２に残されたこれらの計測ノイズＮ１等を、分割領域３３ごとの平滑化処理によって、削減する。平滑化処理としては、たとえば、ガウシアン空間フィルタ処理およびメディアン空間フィルタ処理が挙げられる。
【００５６】
以上に説明した各処理によって、距離画像に含まれる計測ノイズＮｉがすべて削減された３次元の顔領域３２（顔領域画像）を取得することができる。
【００５７】
上述したように、本実施形態では、被写体は人であり、かつ、距離画像から抽出される領域は顔領域である。しかし、本発明の実施形態はこの例に限られない。たとえば、被写体は、人以外の物体等の任意に被写体であり得る。また、距離画像から抽出され、かつ、複数の分割領域に分割される領域は、異常画素の有無を判定するための任意の認定領域であり得る。
【００５８】
〔実施形態２〕
本発明に係る実施形態２について、以下に説明する。上述した実施形態と共通する各部材には同じ符号を付し、詳細な説明を省略する。
【００５９】
実施形態１に係る有効範囲設定部６は、予めメモリに記録されている各分割領域３３に対応する有効範囲３４を、各分割領域３３に設定する。一方、本実施形態に係る有効範囲設定部６は、このようなメモリに予め記録されている有効範囲３４ではなく、各分割領域３３に対象にした所定の演算によって有効範囲を設定するための基準値を算出し、この基準値に基づく有効範囲を、対応する分割領域３３に設定する。
【００６０】
この設定方法について、以下に説明する。有効範囲設定部６は、まず、分割領域３３ごとに、有効範囲を設定するための基準値として、当該分割領域３３に含まれる各画素の距離値の平均距離値を算出し、この平均距離値に基づく有効範囲を、当該分割領域３３に設定する。本実施形態では、有効範囲設定部６は、平均距離値を中心値とした所定の範囲（たとえば前後の一定範囲）を、対応する分割領域３３に設定する。これにより、被写体がどのようなものであったとしても、各分割領域３３における被写体の実際の形状に応じた適切な有効範囲を、各分割領域３３に設定することができる。さらには、被写体に応じた各分割領域３３用の有効範囲３４を、予めメモリに記録しておく必要が生じない。
【００６１】
〔実施形態３〕
本発明に係る実施形態３について、図６に基づいて以下に説明する。上述した各実施形態と共通する各部材には同じ符号を付し、詳細な説明を省略する。
【００６２】
実施形態１に係る有効範囲設定部６は、カメラと被写体との距離が一定である（距離が既知である）ことを前提にして、各分割領域３３に有効範囲３４を設定する。一方、本実施形態に係る有効範囲設定部６は、その距離が未知である場合に対応した方法によって、各分割領域３３に有効範囲３４を設定する。以下に、その方法について説明する。
【００６３】
距離画像における計測ノイズの多くは、３次元空間内におけるランダムな位置に発生する。そこで有効範囲設定部６は、ガウシアン空間フィルタ等の空間フィルタによって平滑化された分割領域３３ごとに、当該分割領域３３に含まれる各画素の距離値のうち最大値および最小値を得ることによって、当該分割領域３３内の各画素のカメラからの大まかな距離を算出することができる。有効範囲設定部６は、これらの最大値および最小値に基づき、分割領域３３に有効範囲を設定する。
【００６４】
図６を参照してより詳細に説明する。図６は、本発明の実施形態３に係る撮像装置１が実行する有効範囲設定処理を説明する図である。
【００６５】
図６の（ａ）は、図５の（ｆ）と同様に、複数の分割領域３３にされた後の顔領域３２の断面イメージを示す。この断面イメージは、各分割領域３３が平滑化処理を受ける前のものである。  本実施形態では、有効範囲設定部６は、各分割領域３３に有効範囲を設定する前に、まず、平滑化部９に各分割領域３３の平滑化処理を指示する。
【００６６】
この指示を受けて、平滑化部９は、有効範囲が設定される前の各分割領域３３を平滑化処理する。各分割領域３３が平滑化処理を受けた後の顔領域３２の断面イメージを、図６の（ｃ）に示す。距離画像に含まれる計測ノイズの影響を受けることによって、平滑化後の各分割領域３３における断面形状３６は、人の顔形状の統計データに基づく顔形状の実際の輪郭３５の前後に歪んでいる。有効範囲設定部６は、平滑化された分割領域３３ごとに、当該分割領域３３における断面形状３６に対応する各画素の各距離値のうち最大値および最小値を取得する。そして、図６の（ｃ）に示すように、これらの最大値および最小値に基づく有効範囲３７を、対応する分割領域３３に設定する。これにより、実際の顔形状に近い有効範囲３７が、各分割領域３３に設定される。
【００６７】
有効範囲３７の設定後における異常画素の判定等の処理は、上述した実施形態１と共通するため、その詳細な説明な説明は省略する。
【００６８】
〔実施形態４〕
本発明に係る実施形態４について、以下に説明する。上述した実施形態と共通する各部材には同じ符号を付し、詳細な説明を省略する。
【００６９】
本実施形態では、有効範囲設定部６は、撮像装置１に備えられるカメラ（右カメラ２ａまたは左カメラ２ｂ）のフォーカス距離範囲を算出し、算出されたフォーカス距離範囲に基づき各分割領域３３に有効範囲を設定する。
【００７０】
フォーカス距離範囲の算出方法について、以下に説明する。たとえば、被写体距離（ピントを合わせる距離）をｓとし、レンズ焦点距離をｆとし、Ｆ値をＦとし、許容錯乱円直径をδとする。この場合、被写体距離ｓに対して、許容錯乱円の範囲でピントの合う有効範囲は、近点と遠点との間である。ただし、近点とは距離ｓから近点距離：Ｄｎだけカメラ寄りの位置、遠点とは距離ｓから遠点距離：Ｄｆだけカメラから遠い位置とする。
【００７１】
このとき、近点距離：Ｄｎ、遠点距離：Ｄｆは以下で示される。
【００７２】
【数３】
2016156702.tif 000005
【００７３】
有効範囲設定部６は、ｓ＋Ｄｆとｓ−Ｄｎとの間の範囲を、カメラのフォーカス距離範囲として算出する。さらに、有効範囲設定部６は、算出されたフォーカス距離範囲を、有効範囲３４として各分割領域３３に設定する。この結果、本実施形態では、すべての分割領域３３に対して、信頼性が高くかつ同じ範囲の有効範囲３４が一律に設定される。異常画素判定部７が、設定された有効範囲３４から外れる距離値を有する画素を、異常画素であると判定することは、実施形態１と同様である。
【００７４】
なお、本実施形態ではすべての分割領域３３に対して同じ距離値の有効範囲３４が設定されるので、撮像装置１は、顔領域３２を分割領域３３に分割しなくてもよい。この場合、有効範囲設定部６は、顔領域３２を一つの領域であると見做し、この１つの領域に対して、フォーカス距離範囲に基づく有効範囲３４を設定する。したがって、顔領域３２の分割処理を省略することができる。
【００７５】
〔実施形態５〕
本発明に係る実施形態４について、図７に基づいて以下に説明する。上述した各実施形態と共通する各部材には同じ符号を付し、詳細な説明を省略する。
【００７６】
実施形態１に係る顔領域抽出部４は、撮像画像から２次元の顔領域３１を検出するために、撮像画像内の各画素の色情報（特に肌色の情報）を利用する。一方、本実施形態に係る顔領域抽出部４は、予め記録された被写体の特徴パターンと、撮像画像とを照合することによって、撮像画像から顔領域３１を検出する。
【００７７】
この検出方法について、図７を参照して以下に説明する。図７は、本発明の実施形態５に係る撮像装置１が実行する顔領域３１の検出処理を説明する図である。
【００７８】
図７の（ａ）に、撮像部２によって得られた２次元の撮像画像を示す。顔領域抽出部４は、この撮像画像に低解像度処理を施すことによって、図７の（ｂ）に示す低解像度画像を生成する。撮像装置１のメモリには、図７の（ｃ）に示す、顔特徴パターンが予め記録されている。この顔特徴パターンは、輪郭４１、特徴４２、特徴４３、および特徴４４を有している。特徴４２および４３は、それぞれ人の右目および左目に対応し、特徴４４は、人の口に対応している。
【００７９】
顔領域抽出部４は、図７の（ｂ）に示す低解像度画像と、図７の（ｃ）に示す顔特徴パターンとを照合する。ここでいう照合として、たとえばパターンマッチングが挙げられる。これにより、低解像画像における、特徴４２〜４４のマッチング位置が得られ、これに基づき、低解像度画像における輪郭４１の対応位置が決まる。顔領域抽出部４は、元の撮像画像における、輪郭４１の対応位置と同じ位置に、輪郭４１を合成することによって、図８の（ｄ）に示す撮像画像を生成する。顔領域抽出部４は、図８の（ｄ）に示す撮像画像における輪郭４１内の領域を、被写体の２次元顔領域３１として抽出する。
【００８０】
〔まとめ〕
本発明の態様１に係る撮像装置は、被写体を複数の異なる視点から撮影することによって、各上記視点に対応する複数の画像を生成する撮像部と、上記複数の画像を３次元計測処理することによって、距離画像を生成する３次元計測部と、上記距離画像において判定領域を抽出する抽出部（顔領域抽出部４）と、上記判定領域を、複数の異なる分割領域に分割する分割部（領域分割部５）と、上記分割領域ごとに、当該分割領域に応じた有効範囲を設定する設定部（有効範囲設定部６）と、上記分割領域ごとに、当該分割領域に含まれる複数の画素のうち、当該分割領域に設定された上記有効範囲から外れる距離値を有する画素を、異常画素であると判定する判定部（異常画素判定部７）とを備えていることを特徴としている。
【００８１】
上記の構成によれば、撮像装置は、距離画像において抽出された判定領域を構成する各分割領域に、各分割領域に応じた有効範囲を設定する。そして、当該分割領域に含まれる複数の画素のうち、当該分割領域に設定された上記有効範囲から外れる距離値を有する画素を、異常画素であると判定する。
【００８２】
このように、撮像装置は、各分割領域に設定される有効範囲に基づき異常画素の有無を判定するため、従来技術とは異なり、被写体の立体モデルの形状の影響を受けずに済む。また、分割領域に応じた有効範囲が分割領域に設定されるので、撮像部に対する被写体の距離および向きなどに関わらず、分割領域内の異常画素の有無を高い精度で判定することができる。
【００８３】
以上のように、撮像装置は、距離画像に含まれる異常画素の判定精度をより高めることができる。
【００８４】
本発明の態様２に係る撮像装置は、上記態様１において、上記分割部は、予め記録された領域分割パターンと上記判定領域とに基づいて、上記判定領域を複数の異なる分割領域に分割することを特徴としている。
【００８５】
上記の構成によれば、領域分割パターンを予め用意するだけで、判定領域を複数の分割領域に適切に分割することができる。
【００８６】
本発明の態様３に係る撮像装置は、上記態様２において、上記分割部は、予め記録された領域分割パターンの外郭と上記判定領域の輪郭とを照合することにより、上記判定領域を複数の異なる分割領域に分割することを特徴としている。
【００８７】
上記の構成によれば、判定領域の大きさに関わらず、判定領域を、領域分割パターンに応じた複数の分割領域に分割することができる。
【００８８】
本発明の態様４に係る撮像装置は、上記態様１〜３のいずれかにおいて、上記抽出部は、上記複数の画像の少なくともいずれかに含まれる各画素の色情報に基づき、上記判定領域を抽出することを特徴としている。
【００８９】
上記の構成によれば、距離画像から判定領域を正確に抽出することができる。
【００９０】
本発明の態様５に係る撮像装置は、上記態様１〜３のいずれかにおいて、上記抽出部は、予め記録された被写体の特徴パターンと、上記複数の画像の少なくともいずれかとを照合することにより、上記判定領域を抽出することを特徴としている。
【００９１】
上記の構成によれば、背景色などの影響によって色情報に基づく判定領域の抽出が難しい場合でも、距離画像から判定領域を正確に抽出することができる。
【００９２】
本発明の態様６に係る撮像装置は、上記態様１〜３のいずれかにおいて、上記分割領域ごとに、当該分割領域に含まれる複数の画素の距離値を用いて所定の基準値を算出する基準値算出部（有効範囲設定部６）をさらに備えており、上記設定部は、上記分割領域ごとに、上記基準値に基づいて、上記有効範囲を設定することを特徴としている。
【００９３】
上記の構成によれば、各分割領域における被写体の実際の形状に応じた適切な有効範囲を、各分割領域に設定することができる。
【００９４】
本発明の態様７に係る撮像装置は、上記態様６において、上記基準値算出部は、上記分割領域ごとに、当該分割領域に含まれる複数の画素の距離値の平均距離値を、上記基準値として算出し、上記設定部は、上記分割領域ごとに、上記平均距離値に基づいて上記有効範囲を設定することを特徴としている。
【００９５】
上記の構成によれば、各分割領域における被写体の実際の形状に応じた適切な有効範囲を、各分割領域に設定することができる。
【００９６】
本発明の態様８に係る撮像装置は、上記態様１〜５のいずれかにおいて、上記分割領域ごとに、当該分割領域に含まれる複数の画素の距離値を空間フィルタを用いて平滑化する平滑化部をさらに備えており、上記設定部は、上記分割領域ごとに、平滑化された当該分割領域に含まれる複数の画素の複数の上記距離値のうちの最大値および最小値に基づいて、有効範囲を設定することを特徴としている。
【００９７】
上記の構成によれば、各分割領域における被写体の実際の形状に応じた適切な有効範囲を、各分割領域に設定することができる。
【００９８】
本発明の態様９に係る撮像装置は、上記態様１〜５のいずれかにおいて、撮像装置におけるフォーカス距離範囲を算出するフォーカス距離範囲算出部を備えており、上記設定部は、上記分割領域ごとに、上記フォーカス距離範囲に基づいて、上記有効範囲を設定することを特徴としている。
【００９９】
上記の構成によれば、被写体と撮像部との距離が不明であっても、適切な有効範囲を各分割領域に設定することができる。
【０１００】
本発明の態様１０に係る撮像方法は、被写体を複数の異なる視点から撮影することによって、各上記視点に対応する複数の画像を生成する撮像工程と、上記複数の画像を３次元計測処理することによって、距離画像を生成する３次元計測工程と、上記距離画像において判定領域を抽出する抽出工程と、上記判定領域を、複数の異なる分割領域に分割する分割工程と、上記分割領域ごとに、当該分割領域に応じた有効範囲を設定する設定工程と、上記分割領域ごとに、当該分割領域に含まれる複数の画素のうち、当該分割領域に設定された上記有効範囲から外れる距離値を有する画素を、異常画素であると判定する判定工程とを有することを特徴としている。
【０１０１】
上記の構成によれば、距離画像に含まれる異常画素の判定精度をより高めることができる。
【０１０２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることによって、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【０１０３】
本発明は、ステレオカメラを用いた撮像装置および撮像方法に利用することができる。
【符号の説明】
【０１０４】
１  撮像装置
２  撮像部
２ａ  右カメラ
２ｂ  左カメラ
３  ３次元計測部
４  顔領域抽出部（抽出部）
５  領域分割部（分割部）
６  有効範囲設定部（設定部、平均距離値算出部、基準値算出部、フォーカス距離算出部）
７  異常画素判定部（判定部）
８  補間部
９  平滑化部
１１  平行化部
１２  プレフィルタ部
１３  対応点探索部
１４  距離画像生成部
１５  キャリブレーションデータ
【図１】
2016156702.tif 000006
【図２】
2016156702.tif 000007
【図３】
2016156702.tif 000008
【図４】
2016156702.tif 000009
【図５】
2016156702.tif 000010
【図６】
2016156702.tif 000011
【図７】
2016156702.tif 000012