(57)【要約】【課題】限られた処理時間で３次元形状データの品質の低下を抑えながらデータの欠落を修復し得る３次元計測装置及び３次元計測方法を提供する。【解決手段】ステレオカメラ（１１）にて取得された３次元計測情報に含まれる欠損を修復して第１の欠損修復情報を生成する小ノイズ修復部（２３ａ）と、第１の欠損修復情報のうち修復されなかった部位を抽出したマスクデータを生成するマスク生成部（２３ｂ）と、第１の欠損修復情報とマスクデータとを用いて第１の欠損修復情報のうち修復されなかった部位の欠損を修復し、第１の欠損修復情報よりも単位計測領域当たりのデータ量が少ない第２の欠損修復情報を生成する大ノイズ修復部（２３ｃ）と、第１の欠損修復情報及び第２の欠損修復情報を合成して合成欠損修復情報を生成するデータ合成部（２３ｄ）とを備えている。【選択図】図１
2015224909.tif 000002
【特許請求の範囲】
【請求項１】
３次元計測情報を取得する３次元計測手段と、
上記３次元計測情報に含まれる欠損を修復して第１の欠損修復情報を生成する第１の修復手段と、
上記第１の欠損修復情報のうち上記第１の修復手段では修復されなかった部位を抽出したマスクデータを生成するマスクデータ生成手段と、
上記第１の欠損修復情報と上記マスクデータとを用いて第１の欠損修復情報のうち上記第１の修復手段では修復されなかった部位の欠損を修復し、上記第１の欠損修復情報よりも単位計測領域当たりのデータ量が少ない第２の欠損修復情報を生成する第２の修復手段と、
上記第１の欠損修復情報及び第２の欠損修復情報を合成して合成欠損修復情報を生成する合成欠損修復情報生成手段とを備えていることを特徴とする３次元計測装置。
【請求項２】
前記第２の修復手段による欠損修復の演算が、前記第１の修復手段による欠損修復の演算よりも、単位データ量当たりの演算量が大きい場合に、
上記第２の修復手段は、前記第１の欠損修復情報よりも単位計測領域当たりのデータ量を削減したデータ量削減データを生成した後、上記データ量削減データに対して欠損修復の演算を行うことを特徴とする請求項１記載の３次元計測装置。
【請求項３】
前記合成欠損修復情報生成手段は、
前記第１の欠損修復情報における、前記第１の修復手段では修復されなかった部位に対して前記第２の欠損修復情報を合成することにより合成欠損修復情報を生成することを特徴とする請求項１又は２記載の３次元計測装置。
【請求項４】
前記マスクデータ生成手段は、
前記第１の欠損修復情報を平滑化した平滑化情報を生成し、さらに上記第１の欠損修復情報と上記平滑化情報との差分情報を生成し、上記差分情報を用いて前記マスクデータを生成することを特徴とする請求項１、２又は３記載の３次元計測装置。
【請求項５】
前記第１の修復手段は、前記３次元計測情報に含まれる欠損を膨張処理及び収縮処理を用いて修復して前記第１の欠損修復情報を生成すると共に、
前記第２の修復手段は、上記第１の欠損修復情報のうち上記第１の修復手段では修復されなかった部位の欠損を、インペインティング処理を用いて修復することを特徴とする請求項１〜４のいずれか１項に記載の３次元計測装置。
【請求項６】
３次元計測情報を取得する３次元計測工程と、
上記３次元計測情報に含まれる欠損を修復して第１の欠損修復情報を生成する第１の修復工程と、
上記第１の欠損修復情報のうち上記第１の修復工程では修復されなかった部位を抽出したマスクデータを生成するマスクデータ生成工程と、
上記第１の欠損修復情報と上記マスクデータとを用いて第１の欠損修復情報のうち上記第１の修復工程では修復されなかった部位の欠損を修復し、上記第１の欠損修復情報よりも単位計測領域当たりのデータ量が少ない第２の欠損修復情報を生成する第２の修復工程と、
上記第１の欠損修復情報及び第２の欠損修復情報を合成して合成欠損修復情報を生成する合成欠損修復情報生成工程とを含むことを特徴とする３次元計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物をステレオカメラ又は３Ｄセンサにて撮影し、対象物の３次元形状データを取得する３次元計測装置及び３次元計測方法に関するものである。
【背景技術】
【０００２】
近年、ステレオカメラ又は３Ｄセンサ等を搭載して、対象物の３次元形状データを容易に取得可能な３次元計測装置が開発され、様々な分野で普及が進みつつある。
【０００３】
従来の通常のカメラでは、画素毎の輝度情報及び色情報を２次元画像データ形式で保存できるだけであった。これに対し、３次元計測装置では、撮影対象となる人又は物までの距離を計測し、距離画像データ又は点群データ等の３次元形状データの形式で保存することができる。
【０００４】
３次元計測装置では、様々な理由により計測データの一部に欠落が発生することがある。この欠落を補完して３次元形状データの品質を向上させるために、幾つかの手法が提案されている。
【０００５】
例えば、特許文献１には、人の頭部を計測する３次元形状計測装置におけるデータ欠落の補完手法が開示されている。具体的には、特許文献１に開示された３次元形状計測装置では、図１３に示すように、背景にバックボード１０１を設置した状態で測定対象１０２である頭部の３次元形状を計測する。次いで、画素スキャンを行い、バックボード１０１の距離を有する画素と頭部の距離を有する画素との間に存在するデータ欠落領域を探索し、この画素値を補間する。これにより、頭髪部及び頭部と背景との境界付近で生じるデータの欠落を補完することができる。
【０００６】
また、非特許文献１には、画像中の欠落を修復するインペインティング（inpainting）処理と呼ばれる処理手法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−１０８６３３号公報（１９９９年４月２３日公開）
【非特許文献】
【０００８】
【非特許文献１】A.Telea, Journal of Graphic Tools 2004年発行,Vol.9, No.1: pp.25-36
【非特許文献２】R.Szeliski,”Computer Vision: Algorithms and Applications”,Springer, 2011年発行, Chapter 11
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、３次元計測装置を用いて対象物の３次元形状データを取得する場合に、ノイズ等による小さな欠落と同時に、照明のテカリやオクルージョン（Occlusion）等による大きな欠落が発生することがある。尚、照明のテカリとは、照明する角度と撮影する角度とを同じにしたときに観察できる鏡面反射による照明光の撮影画像への写り込みをいう。また、オクルージョン（Occlusion）とは、左右カメラの一方からは見えるが他方からは見えない領域をいう。
【００１０】
しかしながら、従来の３次元計測装置では、この大きな欠落を、小さな欠落と同じように単純な線形補間や膨張収縮等で処理すると不自然な形状データとなってしまう。一方、大きな欠落を修復できるインペインティング処理等の高度な処理を行うと、処理後の画像の品位は高まるが、処理に要する演算量が多いため、処理時間が膨大になってしまうという問題点を有している。
【００１１】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、限られた処理時間で３次元形状データの品質の低下を抑えながらデータの欠落を修復し得る３次元計測装置及び３次元計測方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一態様における３次元計測装置は、上記の課題を解決するために、３次元計測情報を取得する３次元計測手段と、上記３次元計測情報に含まれる欠損を修復して第１の欠損修復情報を生成する第１の修復手段と、上記第１の欠損修復情報のうち上記第１の修復手段では修復されなかった部位を抽出したマスクデータを生成するマスクデータ生成手段と、上記第１の欠損修復情報と上記マスクデータとを用いて第１の欠損修復情報のうち上記第１の修復手段では修復されなかった部位の欠損を修復し、上記第１の欠損修復情報よりも単位計測領域当たりのデータ量が少ない第２の欠損修復情報を生成する第２の修復手段と、上記第１の欠損修復情報及び第２の欠損修復情報を合成して合成欠損修復情報を生成する合成欠損修復情報生成手段とを備えていることを特徴としている。
【００１３】
本発明の一態様における３次元計測方法は、上記の課題を解決するために、３次元計測情報を取得する３次元計測工程と、上記３次元計測情報に含まれる欠損を修復して第１の欠損修復情報を生成する第１の修復工程と、上記第１の欠損修復情報のうち上記第１の修復工程では修復されなかった部位を抽出したマスクデータを生成するマスクデータ生成工程と、上記第１の欠損修復情報と上記マスクデータとを用いて第１の欠損修復情報のうち上記第１の修復工程では修復されなかった部位の欠損を修復し、上記第１の欠損修復情報よりも単位計測領域当たりのデータ量が少ない第２の欠損修復情報を生成する第２の修復工程と、上記第１の欠損修復情報及び第２の欠損修復情報を合成して合成欠損修復情報を生成する合成欠損修復情報生成工程とを含むことを特徴としている。
【発明の効果】
【００１４】
本発明の一態様によれば、限られた処理時間で３次元形状データの品質の低下を抑えながらデータの欠落を修復し得る３次元計測装置及び３次元計測方法を提供するという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態１における３次元計測装置としての顔形状計測装置の構成を示すブロック図である。
【図２】上記顔形状計測装置の距離画像生成部での距離画像の生成動作を示すフローチャートである。
【図３】（ａ）は上記顔形状計測装置のステレオカメラにて撮影された撮影対象者の顔の左カメラ画像の一例を示す図であり、（ｂ）は上記顔形状計測装置のステレオカメラにて撮影された撮影対象者の顔の右カメラ画像の一例を示す図であり、（ｃ）は上記顔形状計測装置の距離画像生成部にて生成された距離画像を示す図であり、（ｄ）は上記顔形状計測装置の照明装置により投射テクスチャとしてランダムな２次元ドットパターンを付与してステレオカメラにて撮影された撮影対象者の顔の左カメラ画像の一例を示す図であり、（ｅ）は上記顔形状計測装置の照明装置により投射テクスチャとしてランダムな２次元ドットパターンを付与してステレオカメラにて撮影された撮影対象者の顔の右カメラ画像の一例を示す図である。
【図４】上記顔形状計測装置の修復部における修復動作を示すフローチャートである。
【図５】（ａ）は上記顔形状計測装置の距離画像生成部にて生成された距離画像の一例を示す図であり、（ｂ）は上記顔形状計測装置の修復部における小ノイズ修復部にて修復された小ノイズ修復距離画像の一例を示す図である。
【図６】（ａ）は上記顔形状計測装置の修復部におけるマスク生成部にて生成されたマスク画像の一例を示す図であり、（ｂ）は上記顔形状計測装置の修復部における大ノイズ修復部にて修復された大ノイズ修復距離画像の一例を示す図である。
【図７】（ａ）は上記顔形状計測装置の距離画像から生成したマスク画像の一例を示す図であり、（ｂ）は上記顔形状計測装置の小ノイズ修復距離画像から生成したマスク画像の一例を示す図である。
【図８】（ａ）は上記顔形状計測装置のマスク生成部において、膨張処理を省略して生成したマスク画像の一例を示す鼻部拡大図であり、（ｂ）膨張処理を実施して生成したマスク画像の一例を示す鼻部拡大図である。
【図９】（ａ）は上記顔形状計測装置のマスク画像Ａの一例を示す図であり、（ｂ）は上記顔形状計測装置のマスク画像Ｂの一例を示す図であり、（ｃ）は（ａ）に示すマスク画像Ａを用いて合成処理を行った場合の３次元データを示す図であり、（ｄ）は（ｂ）に示すマスク画像Ｂを用いて合成処理を行った場合の３次元データを示す図である。
【図１０】（ａ）は上記顔形状計測装置の距離画像生成部にて生成された距離画像の一例を示す図であり、（ｂ）は上記顔形状計測装置の修復部における小ノイズ修復部にて修復された小ノイズ修復距離画像の一例を示す図であり、（ｃ）は上記顔形状計測装置の修復部におけるデータ合成部にて合成された修復距離画像の一例を示す図であり、（ｄ）は（ｄ）は（ａ）に示す距離画像を用いて合成処理を行った場合の３次元データを示す図であり、（ｅ）は（ｂ）に示す小ノイズ修復距離画像を用いて合成処理を行った場合の３次元データを示す図であり、（ｆ）は（ｃ）に示す修復距離画像を用いて合成処理を行った場合の３次元データを示す図である。
【図１１】本発明の実施形態２における３次元計測装置としての身体形状計測装置の構成を示すブロック図である。
【図１２】本発明の実施形態３における３次元計測装置としての監視カメラ装置の構成を示すブロック図である。
【図１３】従来の３次元計測装置を示す図である。
【発明を実施するための形態】
【００１６】
〔実施の形態１〕
本発明の一実施形態について図１〜図１０に基づいて説明すれば、以下のとおりである。
【００１７】
本実施の形態の３次元計測装置としての顔形状計測装置は、多数の人の顔を撮影し、その３次元形状データを取得するための装置である。
【００１８】
本実施の形態の３次元計測装置としての顔形状計測装置１の構成について、図１に基づいて説明する。図１は、本実施の形態における顔形状計測装置１の構成を示すブロック図である。
【００１９】
本実施の形態の顔形状計測装置１は、図１に示すように、３次元計測手段としてのステレオカメラ１１、照明装置１２、データ処理回路２０、データ表示部１３、及びデータ保存部１４から構成されている。
【００２０】
ステレオカメラ１１は、図示しない左カメラ及び右カメラの２つのカメラを所定の距離（基線長）だけ離して配置したものであり、撮影対象である撮影対象者の顔Ｆの顔画像データを取得するために、顔形状計測装置１の前方に配置されている。
【００２１】
照明装置１２は小型のプロジェクターつまり投光装置であり、撮影時に撮影対象者の顔Ｆに対して所定の投射パターンを含む照明光を照射することができる。
【００２２】
データ処理回路２０は、ステレオカメラ１１が取得した３次元画像データを処理して３次元画像情報を取得するための回路基板であり、制御部２１、距離画像生成部２２、修復部２３、及びデータ変換部２４の各ブロックから構成される。修復部２３は、第１の修復手段としての小ノイズ修復部２３ａ、マスクデータ生成手段としてのマスク生成部２３ｂ、第２の修復手段としての大ノイズ修復部２３ｃ、合成欠損修復情報生成手段としてのデータ合成部２３ｄの各サブブロックからなっている。これらのブロック及びサブブロックは、回路基板上にそれぞれ独立した専用の処理回路として配置することができる。或いは、共通の演算装置を用いて、それぞれをプログラム上のサブルーチンとして実装することも可能である。
【００２３】
本実施の形態の顔形状計測装置１は、取得した距離画像データに含まれる大小の欠損を、修復部２３を用いて修復することを特徴としている。この修復部２３の動作については後述する。
【００２４】
データ表示部１３は、液晶ディスプレイ等の表示装置であり、計測によって得られる撮影対象者の顔Ｆの３次元形状データを画面に表示することができる。また、データ保存部１４は、顔の３次元形状データを保存し、必要に応じてそれらを取り出したり、図示しない通信回線を経由して外部に送信したりすることができる。
【００２５】
データ処理回路２０の制御部２１は、ステレオカメラ１１、照明装置１２、距離画像生成部２２、修復部２３、データ表示部１３及びデータ保存部１４に接続されており、これら各部との間で制御信号を送受信すること等によって全体の制御を行う。
【００２６】
上記構成を備えた顔形状計測装置１の顔形状計測処理の詳細について、図２及び図３の（ａ）〜（ｅ）に基づいて説明する。図２は、顔形状計測装置１の距離画像生成部２２での距離画像の生成動作を示すフローチャートである。図３の（ａ）は、顔形状計測装置１のステレオカメラ１１にて撮影された撮影対象者の顔Ｆの左カメラ画像３１Ｌの一例を示す図である。図３の（ｂ）は、顔形状計測装置１のステレオカメラ１１にて撮影された撮影対象者の顔Ｆの右カメラ画像３１Ｒの一例を示す図である。図３の（ｃ）は、顔形状計測装置１の距離画像生成部２２にて生成された距離画像３４を示す図である。図３の（ｄ）は、照明装置１２により投射テクスチャとしてランダムな２次元ドットパターンを付与して撮影された撮影対象者の顔Ｆの左カメラ画像３１Ｌの一例を示す図である。図３の（ｅ）は、照明装置１２により投射テクスチャとしてランダムな２次元ドットパターンを付与して撮影された撮影対象者の顔Ｆの右カメラ画像３１Ｒの一例を示す図である。
【００２７】
まず、顔形状計測装置１に撮影対象者の顔Ｆが正対した状態で、ステレオカメラ１１による顔画像の撮影を行う。ステレオカメラ１１を構成する図示しない左カメラ及び右カメラは、それぞれ小型のＣＭＯＳイメージセンサと集光用のレンズと画像信号処理用のＤＳＰ（Digital Signal Processor）が組み合わされたカメラモジュールである。このカメラモジュールは、外部から設定を変更することによって、画素間引き又は画素補間を行い、撮影時よりも低い画素数にて出力することが可能になっている。本実施の形態では、カメラモジュールの総画素数は、例えば、横２５９２画素×縦１９４４画素＝約５００万画素であり、画素の間引きを行うことによって横１２８０画素×縦９６０画素の画像サイズで出力している。ただし、必ずしもこのサイズに限定されない。
【００２８】
また、本実施の形態のカメラモジュールには、「静止画モード」と「動画モード」との２つのモードが存在し、外部から切り替え可能となっている。「静止画モード」では、所定のタイミングで１枚だけ画像を撮影し、画像データを出力する。一方、「動画モード」では、所定の周期で連続的に画像を撮影して画像データを出力することが可能になっている。尚、本実施の形態のステレオカメラ１１に対しては、キャリブレーションと呼ばれる手順により、カメラの焦点距離等のパラメータ又はレンズの歪みデータ等を含む後述するカメラキャリブレーションデータＤ０が予め取得されている。このカメラキャリブレーションデータＤ０は、顔形状計測装置１内部のデータ保存部１４に記憶されている。
【００２９】
顔画像の撮影時には、制御部２１からステレオカメラ１１の図示しない左カメラ及び右カメラ、並びに照明装置１２に同期信号が送信される。この同期信号に伴って照明装置１２が顔に対し投射光を照射し、ステレオカメラ１１の２つのカメラが同一のタイミングで撮影を行う。これにより、図２に示すように、左カメラ画像３１Ｌ及び右カメラ画像３１Ｒが得られる。左カメラ画像３１Ｌ及び右カメラ画像３１Ｒの一例を、図３の（ａ）（ｂ）にそれぞれ示す。尚、本実施の形態の図の画像では、撮影対象者である人の顔Ｆとしてマネキン頭部を撮影対象とし、画像周辺の不要な領域の一部をトリミングしている。
【００３０】
ステレオカメラ１１が撮影したこれらの画像データは、距離画像生成部２２に送られる。
【００３１】
距離画像生成部２２では、まず、ステレオ平行化と呼ばれる処理を行う（Ｓ１）。ステレオ平行化は、後の対応点探索を行う場合に都合がよいように、レンズの収差等に起因する画像の歪みを除去し、さらに左カメラ画像３１Ｌ及び右カメラ画像３１Ｒの縦（上下）方向の位置を揃える処理である。この処理は、顔形状計測装置１内部に予め記憶されているカメラキャリブレーションデータＤ０から得られる係数を用いて演算することにより行われる。このステレオ平行化処理により、平行化後左カメラ画像３２Ｌ及び平行化後右カメラ画像３２Ｒが得られる。
【００３２】
次に、この２つの画像に対してエッジ強調フィルタ等のプレフィルタが施され、照明の違い等による左右画像間のレベル差が補正される（Ｓ２）。その後、左右画像間で対応点探索処理が実施される（Ｓ３）。対応点探索処理では、平行化後左カメラ画像３２Ｌを基準として、平行化後左カメラ画像３２Ｌの画素毎に平行化後右カメラ画像３２Ｒの画素から対応する画素を探索する。これにより、対応点同士の画素ずれ量、すなわち視差値を求めることができる。これを平行化後左カメラ画像３２Ｌの全画素について行うことによって、視差値を画素の濃淡（グレースケール）で表した画像が得られる。この画像に、対応点が得られなかった画素を、無効データを表す画素値にて埋める等のポストフィルタ処理が施され（Ｓ４）、その結果として、左カメラ基準の視差画像３３が得られる。
【００３３】
ステレオカメラ１１においては、計測対象となる点までの距離が遠い程、左右画像間の視差が大きくなる。このため、予め、カメラキャリブレーションデータＤ０が分かっていれば、視差値を距離に一意に変換することができる。このような視差−距離変換を行う（Ｓ５）ことによって（Ｓ５）、左カメラ基準の距離画像３４を生成することができる。
【００３４】
このような距離画像生成部２２による距離画像生成処理は、回路基板上のＦＰＧＡやＡＳＩＣ等のハードウェアで行うこともできる。或いは、画像処理プログラムとしてソフトウェア的に行うこともできる。上記で説明した距離画像生成手法の詳細については、例えば非特許文献２に解説されている。
【００３５】
このようにして、距離画像生成部２２にて距離画像３４が生成される。実際に生成した距離画像を、図３の（ｃ）に示す。本実施の形態の距離画像３４では、短距離程白く、距離が遠い程。黒い画素値で表現されている。また、本実施の形態では、左カメラを基準にして平行化後左カメラ画像３２Ｌに対する平行化後右カメラ画像３２Ｒの視差を求めているため、得られる距離画像３４の視野範囲は、平行化後左カメラ画像３２Ｌの視野範囲と同じになる。すなわち、距離画像３４内のある画素に対応する平行化後左カメラ画像３２Ｌの画素は、画像上の同じ位置に存在する。
【００３６】
尚、顔の表面に濃淡の変化が乏しい場合、上記の単純な対応点探索では左カメラ画像３１Ｌ及び右カメラ画像３１Ｒの対応点が得られない場合がある。その場合、照明装置１２から単純な照明光を投射する代わりに、適当なテクスチャを含む照明光を撮影対象者の顔Ｆに向けて投射し、対応点探索の手掛かりとなる濃淡の変化を強制的に付与することができる。投射テクスチャとしてランダムな２次元ドットパターンを付与して撮影した左右画像を図３の（ｄ）（ｅ）に示す。被写体の状況に応じて、テクスチャ投射あり／なしを切り替えたり、投射あり／なしで撮影した画像データを併用して距離画像を生成したりすることができる。また、投射光として赤外光を使用し、可視光と赤外光との波長分離により投射あり／なしの画像を同時に取得することも可能である。
【００３７】
本実施の形態における左カメラ画像３１Ｌ及び右カメラ画像３１Ｒは、１画素当たり８ｂｉｔつまり２５６段階（諧調）のビット深度を有する。対応点探索の結果得られる視差画像３３は、通常は１画素単位のずれ量で表わされる。しかし、本実施の形態の対応点探索処理では、対応点の探索後に補間処理を行うことによって、１画素よりも細かいサブピクセル単位で視差を計算している。その結果、視差画像３３及びそれを変換して得られる距離画像３４は、１画素当たり１６ｂｉｔのビット深度を有する。本実施の形態の距離画像３４の距離値は、左カメラのレンズ主点を原点とし、カメラ光軸に沿って奥行き方向を正方向として、０．１ｍｍ単位で０（＝０ｍｍ）から９９９８（＝９９９．８ｍｍ）までの値をとる。
【００３８】
上記の対応点探索の過程において、様々な理由により左右画像の対応点が見出されないことがある。例えば、画像内の散発的なノイズ、或いは偶然に対応点が画素と画素との間に存在する場合等に、１画素から数画素単位の小さな計測不能画素が発生する。これを以下では「小ノイズ（小欠損）」と呼ぶ。これとは別に、照明光の不足による不明瞭、照明光過剰による白飛び、照明光のテカリ、さらにはステレオカメラ１１のオクルージョン（Occlusion）等により数画素から数十画素単位のまとまった計測不能画素の集合が発生することがある。この画素の集合を、以下では「大ノイズ（大欠損）」と呼ぶ。尚、照明光のテカリとは、照明する角度と撮影する角度とを同じにしたときに観察できる鏡面反射による照明光の撮影画像への写り込みをいう。また、また、ステレオカメラ１１のオクルージョン（Occlusion）とは、左右カメラの一方からは見えるが他方からは見えない領域をいう。
【００３９】
本実施の形態では、これらの小ノイズ及び大ノイズの画素のうち、明確に計測不能、つまり対応点が見出されない場合は異常値を示す９９９９の値が割り当てられる。しかし、ノイズ領域であっても、対応点探索において偶然に無関係な画素に対応点が見出されてしまうことがあり、その場合は異常値ではなく有効な距離値（ただし、周囲のノイズでない画素の距離値からは外れた値）が割り当てられることになる。
【００４０】
このように、距離画像生成部２２にて得た距離画像３４には大小のノイズ成分が含まれている。このまま距離画像３４から３次元形状データを求めると、ノイズのために非常に精度の低いデータが得られてしまう恐れがある。これを防止するため、本実施の形態の顔形状計測装置１では、修復部２３によって距離画像３４に含まれるノイズの修復処理を施すことを特徴としている。
【００４１】
上記修復部２３での修復処理の詳細について、図１、図４及び図５の（ａ）（ｂ）に基づいて、説明する。図４は、本実施の形態の顔形状計測装置１における修復部２３の修復動作を示すフローチャートである。図５の（ａ）は、顔形状計測装置１の距離画像生成部２２にて生成された距離画像３４の一例を示す図である。図５の（ｂ）は、顔形状計測装置１の修復部２３における小ノイズ修復部２３ａにて修復された小ノイズ修復距離画像４１の一例を示す図である。
【００４２】
図１に示す修復部２３内の小ノイズ修復部２３ａでは、図４に示すように、距離画像３４に対し膨張処理（Ｓ１１）及び収縮処理（Ｓ１２）を連続して施す。これらは、本発明の第１の修復手段に相当する。膨張処理及び収縮処理は、画像のモルフォロジー処理の一種である。膨張処理では、注目画素の画素値がそれを囲む周囲画素の中で最大の画素値で置き換えられる。一方、収縮処理では、逆に、注目画素の画素値がそれを囲む周囲画素の中で最小の画素値で置き換えられる。この膨張処理と収縮処理とを連続して適用することによって、周囲よりも大きい画素値又は小さい画素値を有する孤立した画素が周囲の画素値で埋められることになる。その結果、距離画像３４内の計測不能値を含む比較的小さなノイズ（以下ではこれを「小ノイズ」と呼ぶ）画素値が除去され、小ノイズ修復距離画像４１が得られる。図５の（ａ）に示す距離画像３４に対し小ノイズ修復を行って得られる小ノイズ修復距離画像４１を、図５の（ｂ）に示す。
【００４３】
図５の（ｂ）の小ノイズ修復距離画像４１では、図５の（ａ）の距離画像３４に含まれる細かなノイズ成分が修復されていることが分かる。しかし、鼻の両脇等に存在する比較的大きなノイズ部分は、上記の処理では修復されず、残ったままとなっている。
【００４４】
尚、小ノイズ修復距離画像４１は１６ｂｉｔのビット深度を有するが、図５の（ｂ）では、１６ｂｉｔを８ｂｉｔに変換した上で諧調をグレースケールで表現したものを表示している。以下で説明する１６ｂｉｔのビット深度の画像についても同様である。
【００４５】
また、本実施の形態では、第１の修復手段が行う小ノイズの除去のための画像処理として、膨張処理及び収縮処理を用いた。しかし、膨張処理及び収縮処理と同様の比較的簡便に適用可能な画像処理として、線形補間フィルタやＭｅｄｉａｎフィルタ等が存在する。このため、必要に応じて膨張収縮処理の代わりにこれらの処理を用いても構わない。また、小ノイズの大きさによっては、膨張処理及び収縮処理を１回だけでなく、例えば膨張−膨張−収縮−収縮のように、２回連続して適用し、２倍の大きさのノイズを除去することも可能である。
【００４６】
次に、修復部２３内のマスク生成部２３ｂでは、小ノイズ修復距離画像４１をベースにしてマスク画像を生成する。この場合、まず、小ノイズ修復距離画像４１に平滑化フィルタを適用し（Ｓ２１）、これと適用前の画像との差分を取って差分画像を得る（Ｓ２２）。この差分画像では、原画像の画素値の局所的な変化の度合いが大きい部分程高い値になっており、小さい程０に近い値となっている。このため、これに平滑化フィルタを適用した後に（Ｓ２４）、適当な閾値によって２値化する（Ｓ２５）。これによって、原画像の画素値の変化の度合いが大きいところは白（画素値最高）となり、少ないところは黒（画素値最低）となるような２値化画像が得られる。これを「マスク画像Ａ４２ａ」と呼ぶ。また、この画像に対しさらに再度平滑化フィルタを適用して（Ｓ２６）、マスク画像Ｂ４２ｂを得る。
【００４７】
このうち、マスク画像Ａ４２ａは、大ノイズ修復部２３ｃにおいて、インペインティング（inpainting）処理による大ノイズ修復時のマスクとして用いられる。一方、マスク画像Ｂ４２ｂは、データ合成部２３ｄにおいて大ノイズ修復画像と小ノイズ修復画像との合成を行う際に、両者の合成比を決定するのに用いられる。
【００４８】
続いて、修復部２３内の大ノイズ修復部２３ｃは、小ノイズ修復部２３ａにて得られる小ノイズ修復距離画像４１及びマスク生成部２３ｂにて得られるマスク画像Ａ４２ａから、膨張処理及び収縮処理では取りきれない大ノイズの修復を行う。
【００４９】
まず、大ノイズ修復部２３ｃでは、小ノイズ修復距離画像４１のビット深度を１６ｂｉｔから８ｂｉｔに変換する（Ｓ３１）。そして、８ｂｉｔ精度に変換した画像に対し、インペインティング処理と呼ばれる手法によって大ノイズの修復が行われ（Ｓ３２）、大ノイズ修復距離画像４３が出力される。
【００５０】
ここで、マスク画像Ａ４２ａ一例を図６の（ａ）に示すと共に、大ノイズ修復距離画像４３の一例を図６の（ｂ）に示す。図６の（ｂ）の大ノイズ修復距離画像４３では、図５の（ｂ）に示す小ノイズ修復距離画像４１では除去しきれず残っていた鼻の両脇等の大きなノイズが、ほぼ修復されていることが分かる。
【００５１】
インペインティング処理は、画像の中に欠損が含まれており、その欠損領域の位置が分かっているときに、欠損領域の周囲の画素情報を用いて欠損領域内部の画素の値を復元する処理である。具体的な処理手順は、非特許文献１等に記載されているが、欠損領域の境界に近い画素から順に、画素値の変化の連続性の条件を用いて、隣接する画素値が滑らかに繋がるように画素値を順に修復することを特徴としている。したがって、例えば人の顔や体、自然物の形状等のように、表面が滑らかであることが分かっている物体の表面形状の修復に適している。
【００５２】
大ノイズの修復処理方法として、ここで述べたインペインティング処理の代わりに例えば線形補間処理を用いた場合、修復部分の境界で不連続な画素値の変化が残るため、修復後の画像は不自然な画像となってしまう。インペインティング処理を用いると、前述のように滑らかに修復することができるため、自然な修復距離画像を得ることができる。尚、上記と同様の効果が得られるのであれば、インペインティング処理以外の修復処理方法を適用することも可能である。
【００５３】
インペインティング処理は、先に述べたように。欠損領域の周囲から中央に向け手順に画素値を復元するため、膨張収縮等の小ノイズ除去手法と比較すると演算時間が長くなる。そのため、本実施の形態では、処理の前にビット深度を８ｂｉｔに低減することによって、処理に要する時間を削減している。
【００５４】
特に、欠損領域の面積が大きい場合には、インペインティング処理による修復に時間がかかる。そのため、大ノイズ修復に用いるマスク画像としては、確実に大ノイズ部分だけをマスクとして指定する画像である必要がある。そのため、前段のマスク生成部２３ｂでのマスク生成の元となる原画像には、距離画像３４ではなく小ノイズ修復距離画像４１を用いている。小ノイズ修復前の距離画像３４には、画像内に細かなノイズが多数含まれるため、平滑化フィルタとの差分を取って２値化すると、図７の（ａ）に示すように、大小の欠損部がすべてマスクとして抽出されてしまう。これに対し、小ノイズ修復距離画像４１からマスクを生成すると、図７の（ｂ）に示すように、大きな欠損部だけをマスクとして抽出することができる。これにより、後段の大ノイズ修復部２３ｃにて大ノイズだけを修復の対象とすることができるため、修復処理の効率を高めることができる。
【００５５】
また、マスク生成部２３ｂの処理では、差分処理（Ｓ２２）と２値化処理（Ｓ２５）との間に膨張処理（Ｓ２３）を行い、一旦、マスク領域の拡大を行っている。この膨張処理がない場合、大ノイズの中の細かなランダム成分によりマスクに隙間ができてしまう。膨張処理がある場合とない場合とのマスク画像の違いを、図８の（ａ）（ｂ）に示す。図８の（ａ）は、膨張処理を省略した場合のマスク画像の鼻部の拡大図である。また、図８の（ｂ）は、膨張処理を実施した場合のマスク画像Ａ４２ａの鼻部の拡大図である。
【００５６】
図８の（ａ）から、マスク画像の大ノイズ部に細かい穴が多数存在することが分かる。
【００５７】
マスクにこのような穴が存在すると、後段の大ノイズ修復部２３ｃにてインペインティング処理を適用する場合に、この穴をノイズでない（正常な）画素と判断し、誤った修復処理が行われてしまう。膨張処理を挟むことによって、マスクの隙間を埋め、大ノイズ部のマスクを正しい形状とすることができる。これにより、インペインティング処理での大ノイズの修復を正しく行うことができる。
【００５８】
上記のようにして得られた大ノイズ修復距離画像４３は、図４に示すように、データ合成部２３ｄに送られる。データ合成部２３ｄでは、大ノイズ修復距離画像４３と小ノイズ修復距離画像４１との合成を行う。まず、大ノイズ修復距離画像４３を１６ｂｉｔのビット深度に戻し（Ｓ４１）、小ノイズ修復距離画像４１との合成処理が行われる（Ｓ４２）。この合成時に、マスク生成部２３ｂにて生成されたマスク画像Ｂ４２ｂを、両画像の画素毎の合成比を決定するのに用いられる。すなわち、マスク画像Ｂ４２ｂの画素値が白に近い程、大ノイズ修復距離画像４３の比率を高め、黒に近い程、小ノイズ修復距離画像４１の比率を高めて両者を合成する。
【００５９】
インペインティング処理にて得られる大ノイズ修復距離画像４３は８ｂｉｔのビット深度であるため、１６ｂｉｔに変換しても実質的なビット深度は８ｂｉｔのままである。したがって、例えば、本実施の形態とは異なる手順として、小ノイズの修復と大ノイズの修復とを元画像に対し単純に順番に適用するような手順であれば、最終的に得られる修復画像の実質的なビット深度は画像全体に亘って８ｂｉｔとなってしまう。このことは、修復前の元の距離画像のビット深度１６ｂｉｔに対して距離精度が著しく（１／２５６に）低下してしまうことを意味する。
【００６０】
これに対し、本実施の形態では、小ノイズ修復距離画像４１と大ノイズ修復距離画像４３とをそれぞれ別々に作成してから合成することによって、大ノイズ部分のみを８ｂｉｔ深度で修復し、残りの部分について１６ｂｉｔ深度を保ったまま最終的な修復画像を得ることができる。すなわち、この処理手順によって修復後の距離画像３４の距離精度の低下を最小限に抑えることができる。
【００６１】
尚、本実施の形態では、インペインティング処理の処理時間を短縮するために、距離画像３４のビット深度を低下させてから処理を適用したが、ビット深度を低くする代わりに画像サイズを小さくしても同様の効果が得られる。その場合、マスク画像Ａ４２ａ及びマスク画像Ｂ４２ｂもそれに合わせて縮小してから処理を適用し、処理後の合成時に再度拡大して画像サイズを元に戻すという処理が必要になる。
【００６２】
合成に使用するマスク画像Ｂ４２ｂは、マスク生成部２３ｂにおいてマスク画像Ａ４２ａに平滑化を施して作成されたものであるため、大ノイズとそれ以外の部分の境界で緩やかに画素値が変化している。そのため、この画素値に基づいて大ノイズ修復距離画像４３と小ノイズ修復距離画像４１とを合成することによって、両者の境界部分の継ぎ目を目立たなくする効果がある。
【００６３】
図９の（ａ）に示すマスク画像Ａ４２ａを用いて合成を行った場合に得られる３次元形状データを３次元表示したものを、図９の（ｃ）に示す。同様に、図９の（ｂ）に示すマスク画像Ｂ４２ｂを用いて合成を行った場合に得られる３次元形状データを３次元表示したものを、図９の（ｄ）に示す。
【００６４】
図９の（ｃ）では、鼻の横の大ノイズ部の境界で継ぎ目が目立っているのに対し、図９の（ｄ）では、境界がぼかされることで目立たなくなっている。これにより、平滑化処理を追加したマスク画像Ｂ４２ｂを使用することによって、より自然で滑らかな３次元形状データが得られることが分かる。
【００６５】
データ合成部２３ｄでは、合成処理後の画像に対しさらに平滑化を施して（Ｓ４３）、僅かに残っているノイズ成分を消去し、最終的に、修復距離画像４４が出力される。
【００６６】
以上のようにして、修復されて得られた修復距離画像４４は、図４に示すように、データ変換部２４に送られる。データ変換部２４では、３Ｄ再投影（３次元再投影）と呼ばれる処理が施される（Ｓ５１）。距離画像３４は、各画素に対し、その画素に存在する物体のステレオカメラ１１から見て奥行き方向（光軸に沿って、被撮影者に向かう向き）の距離の値を数値として保持している。奥行き方向の距離の値とステレオカメラ１１のカメラキャリブレーションデータＤ０が分かれば、奥行き方向以外の上下左右方向の距離の値を求めることができる。その結果、各画素についてその位置に存在する物体のＸＹＺ座標値が得られる。
【００６７】
本実施の形態の場合、この座標値データは横１９６０画素×縦９６０画素×３次元×１６ｂｉｔのデータ量であり非常に膨大であるため、保存に適した形式にするためデータの圧縮が行われる（Ｓ５２）。具体的には、縦横画素数を削減し、不要な（顔が存在しない）領域の座標値を削除する等の処理が施される。これにより、最終的に顔形状の３次元座標情報である３次元点群データ４５が生成される。
【００６８】
図１０の（ａ）に示す元の距離画像３４、図１０の（ｂ）に示す小ノイズ修復距離画像４１、図１０の（ｃ）に示す修復距離画像４４のそれぞれから３次元点群データ４５を生成し、それらを３次元表示したものを、図１０の（ｄ）（ｅ）（ｆ）に示す。
【００６９】
図１０の（ｆ）では、図１０の（ｄ）（ｅ）のデータに存在する大きなノイズが修復され、滑らかで品位の高い３次元データが得られていることが分かる。
【００７０】
３次元点群データ４５は、先に述べたように、データ保存部１４に保存され、データ表示部１３の画面に表示して確認することができる。また、必要に応じてそれらを取り出したり、図示しない通信回線を経由して外部に送信したりして、様々な用途に活用することができる。
【００７１】
尚、本実施の形態では、距離画像３４の取得のためにステレオカメラ１１を用いたが、距離画像３４が取得可能なカメラとして、ＴＯＦ（Time 0f Flight）方式や構造光（Structured Light）照射方式の３次元カメラを使用することも可能である。
【００７２】
本実施の形態の顔形状計測装置１にて得た顔の３次元データは、スポーツ、アート、服飾、医療、介護、ゲーム、アミューズメント、広告、その他これらに限定されない様々な用途に利用することができる。
【００７３】
以上で述べたように、本実施の形態の顔形状計測装置１では、限られた処理時間で顔の３次元形状データの品質の低下を最低限に抑えながらデータの欠落を修復することができる。
【００７４】
このように、本実施の形態の３次元計測装置としての顔形状計測装置１は、３次元計測情報としての距離画像３４を取得する３次元計測手段としてのステレオカメラ１１と、距離画像３４に含まれる欠損を修復して第１の欠損修復情報としての小ノイズ修復距離画像４１を生成する第１の修復手段としての小ノイズ修復部２３ａと、小ノイズ修復距離画像４１のうち小ノイズ修復部２３ａでは修復されなかった部位を抽出したマスクデータとしてのマスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂを生成するマスクデータ生成手段としてのマスク生成部２３ｂと、小ノイズ修復距離画像４１とマスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂとを用いて小ノイズ修復距離画像４１のうち小ノイズ修復部２３ａでは修復されなかった部位の欠損を修復し、小ノイズ修復距離画像４１よりも単位計測領域当たりのデータ量が少ない第２の欠損修復情報としての大ノイズ修復距離画像４３を生成する第２の修復手段としての大ノイズ修復部２３ｃと、小ノイズ修復距離画像４１及び大ノイズ修復距離画像４３を合成して合成欠損修復情報としての修復距離画像４４を生成する合成欠損修復情報生成手段としてのデータ合成部２３ｄとを備えている。
【００７５】
また、本実施の形態の３次元計測方法としての顔形状計測方法では、距離画像３４を取得する３次元計測工程（Ｓ１〜Ｓ５）と、距離画像３４に含まれる欠損を修復して小ノイズ修復距離画像４１を生成する第１の修復工程（Ｓ１１・Ｓ１２）と、小ノイズ修復距離画像４１のうち第１の修復工程（Ｓ１１・Ｓ１２）では修復されなかった部位を抽出したマスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂを生成するマスクデータ生成工程（Ｓ２１〜Ｓ２６）と、小ノイズ修復距離画像４１とマスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂとを用いて小ノイズ修復距離画像４１のうち第１の修復工程（Ｓ１１・Ｓ１２）では修復されなかった部位の欠損を修復し、小ノイズ修復距離画像４１よりも単位計測領域当たりのデータ量が少ない大ノイズ修復距離画像４３を生成する第２の修復工程（Ｓ３１・Ｓ３２）と、小ノイズ修復距離画像４１及び大ノイズ修復距離画像４３を合成して修復距離画像４４を生成する合成欠損修復情報生成工程（Ｓ４１〜Ｓ４３）とを含んでいる。
【００７６】
上記の構成によれば、本実施の形態では、まず、膨張・収縮処理等の小ノイズ修復部２３ａにて修復可能な小さな欠損を修復し、膨張・収縮処理等では修復できなかったマスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂのマスクデータ部分にのみインペインティング処理等の大ノイズ修復部２３ｃの処理を適用し、最終的にそれらを合成して欠損を修復した３次元計測データとしての修復距離画像４４を得る。
【００７７】
この結果、インペインティング処理等の大ノイズ修復部２３ｃによる処理を行う箇所を必要最低限のマスクデータ部分に限定し、それ以外の部分では膨張・収縮処理等の小ノイズ修復部２３ａによる処理を行うので、修復時に全体的に解像度を落とすことによる３次元測定精度の低下を抑制し、かつ演算量の膨大化を防いで高速に３次元計測情報の欠損を修復することができる。
【００７８】
したがって、限られた処理時間で３次元形状データの品質の低下を抑えながらデータの欠落を修復し得る顔形状計測装置１及び顔形状計測方法を提供することができる。
【００７９】
また、本実施の形態における顔形状計測装置１では、大ノイズ修復部２３ｃによる欠損修復の演算が、小ノイズ修復部２３ａによる欠損修復の演算よりも、単位データ量当たりの演算量が大きい場合には、大ノイズ修復部２３ｃは、小ノイズ修復距離画像４１よりも単位計測領域当たりのデータ量を削減したデータ量削減データを生成した後、データ量削減データに対して欠損修復の演算を行う。
【００８０】
これにより、インペインティング処理等の大ノイズ修復部２３ｃによる処理を行うときには、演算量を減らすために、処理を行う前に解像度を落としたデータ量削減データを生成した後、インペインティング処理での欠損修復の演算を行う。
【００８１】
この結果、大ノイズ修復部２３ｃによる修復処理時間を短縮できるので、限られた処理時間で、３次元形状データの品質の低下を最低限に抑えながらデータの欠落を修復することができる。
【００８２】
また、本実施の形態における顔形状計測装置１では、合成欠損修復情報生成手段としてのデータ合成部２３ｄは、小ノイズ修復距離画像４１における、小ノイズ修復部２３ａでは修復されなかった部位に対して大ノイズ修復距離画像４３を合成することにより合成欠損修復情報としての修復距離画像４４を生成する。
【００８３】
これにより、解像度を低下させてしまうインペインティング処理等の大ノイズ修復部２３ｃによる処理を行う箇所を必要最低限の部分に限定し、それ以外の部分の解像度を高く維持することができる膨張・収縮処理等の小ノイズ修復部２３ａによる処理を行う。したがって、修復時に画面全体の解像度を落とすことによる３次元測定精度の低下を抑制することができる。
【００８４】
また、本実施の形態における顔形状計測装置１では、マスクデータ生成手段としてのマスク生成部２３ｂは、小ノイズ修復距離画像４１を平滑化した平滑化情報を生成し、さらに小ノイズ修復距離画像４１と平滑化情報との差分情報を生成し、差分情報を用いてマスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂを生成する。
【００８５】
すなわち、データが欠損した部分つまりデータに飛びが発生している部分は、周囲に対してデータが非連続的かつ極端に変化する部分つまり極端に急峻な山又は谷のような部分となる。したがって、このような特徴のある部分は平滑化処理を行うと、元のデータに対する変化量が大きくなる。このため、元画像と平滑化画像の差分を採ることにより、小ノイズ修復部２３ａではデータ修復ができなかった部分を強調することができる。この強調されたデータを用いることによりマスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂを作成することができる。したがって、大ノイズ修復部２３ｃによる処理範囲を明確化することができる。
【００８６】
また、本実施の形態における顔形状計測装置１では、小ノイズ修復部２３ａは、距離画像３４に含まれる欠損を膨張処理及び収縮処理を用いて修復して小ノイズ修復距離画像４１を生成すると共に、大ノイズ修復部２３ｃは、小ノイズ修復距離画像４１のうち小ノイズ修復部２３ａでは修復されなかった部位の欠損を、インペインティング処理を用いて修復する。
【００８７】
これにより、小ノイズ修復部２３ａによる膨張処理及び収縮処理を用いて小さな欠落を容易に修復することができる。また、インペインティング処理等の大ノイズ修復部２３ｃによる処理を行うときには、演算量を減らすために、範囲を限定して行い、大きな欠損を高度に処理することができる。
【００８８】
また、本実施の形態の顔形状計測装置１では、大ノイズ修復距離画像４３は、小ノイズ修復距離画像４１よりもビット深度及び画像サイズのいずれか一方が小さい。これにより、大ノイズ修復部２３ｃによるインペインティング処理において、時間の短縮を図ることができる。
【００８９】
また、本実施の形態の顔形状計測装置１では、データ合成部２３ｄは、小ノイズ修復距離画像４１と大ノイズ修復距離画像４３との合成後に境界部を平滑化する。これにより、合成処理後の画像に対して、ビット深度の異なる画像を合成する場合に、境界部分をぼかすことによって、違和感のない高品質な修復データを得ることができる。
【００９０】
また、本実施の形態の顔形状計測装置１では、マスク生成部２３ｂは、差分処理（Ｓ２２）と２値化処理（Ｓ２５）との間に膨張処理（Ｓ２３）を行い、マスク領域の拡大を行っている。すなわち、膨張処理がない場合、大ノイズの中の細かなランダム成分によりマスクに隙間ができてしまう。これに対して、膨張処理を行うことによって、マスクの隙間を埋め、大ノイズ部のマスクを正しい形状とすることができる。これにより、インペインティング処理での大ノイズの修復を正しく行うことができる。
【００９１】
また、本実施の形態の顔形状計測装置１では、測定対象物は人の顔であり、人の顔の表面の３次元形状データを計測する。これにより、計測品位の高い人の顔表面の３次元形状データを得ることができる。
【００９２】
〔実施の形態２〕
本発明の他の実施の形態について図１１に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、上記実施の形態１と同じである。また、説明の便宜上、上記の実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【００９３】
前記実施の形態１の３次元計測装置は、撮影対象が顔Ｆである顔形状計測装置１に関するものであった。しかし、本実施の形態の３次元計測装置は、撮影対象が身体である身体形状計測装置である点が異なっている。
【００９４】
本実施の形態の３次元計測装置としての身体形状計測装置２の構成及び動作について、図１１に基づいて説明する。図１１は、本実施の形態の３次元計測装置としての身体形状計測装置２の構成を示すブロック図である。
【００９５】
本実施の形態の３次元計測装置としての身体形状計測装置２は、図１１に示すように、ステレオカメラ１１を用いて身体Ｂの３次元形状データを取得し、衣服のサイズ計測等に利用される。
【００９６】
身体形状計測装置２は、撮像部としてステレオカメラ１１を備え、撮影対象となる人物の身体Ｂとしての全身像、半身像、又は特定の身体部位を撮影してその前記左カメラ画像３１Ｌ及び右カメラ画像３１Ｒを取得する。これらの画像から、実施の形態１で述べたものと同様の手法により前記距離画像３４を生成する。
【００９７】
その際、撮像ノイズ、太陽光や照明光によるテカリ若しくは影、又はオクルージョン等で距離画像３４に計測不能領域が発生することがある。この計測不能領域に対し、実施の形態１で述べたものと同様の手法により小ノイズ修復、マスク生成、大ノイズ修復及び合成を行う。これにより、距離画像３４の計測不能領域が修復され、撮影対象となる身体Ｂの３次元形状データを生成することができる。
【００９８】
生成した身体Ｂの３次元形状データは、身体形状計測装置２内にインストールされたプログラムによって、衣服や服飾品、医療器具、スポーツ用具等のサイズ調整やカスタマイズ等の用途に用いることができる。
【００９９】
以上のように、本実施の形態の身体形状計測装置２では、限られた処理時間で身体Ｂの３次元形状データの品質の低下を最低限に抑えながらデータの欠落を修復することができる。
【０１００】
その他の部分及び動作については実施の形態１と同様であり、説明は省略する。
【０１０１】
〔実施の形態３〕
本発明のさらに他の実施の形態について図１２に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、上記実施の形態１及び実施の形態２と同じである。また、説明の便宜上、上記の実施の形態１及び実施の形態２の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【０１０２】
前記実施の形態２の３次元計測装置は、撮影対象が身体Ｂである身体形状計測装置２に関するものであった。しかし、本実施の形態の３次元計測装置は、撮影対象が不特定多数人物Ｍである監視カメラ装置３である点が異なっている。
【０１０３】
本実施の形態の３次元計測装置としての監視カメラ装置３の構成及び動作について、図１２に基づいて説明する。図１２は、本実施の形態の３次元計測装置としての監視カメラ装置３の構成を示すブロック図である。
【０１０４】
本実施の形態の３次元計測装置としての監視カメラ装置３は、図１２に示すように、ステレオカメラ１１を用いて不特定多数人物Ｍの３次元形状データを取得し、不審者の監視を行うことに利用される。
【０１０５】
監視カメラ装置３は、撮像部としてステレオカメラ１１を備える撮像装置である。ステレオカメラ１１は、屋外又は屋内の所定の場所に取り付けられており、ステレオカメラ１１の視野範囲に入る不特定多数人物Ｍを撮影してその前記左カメラ画像３１Ｌ及び右カメラ画像３１Ｒを連続的に取得する。これらの画像から、実施の形態１で述べたものと同様の手法により前記距離画像３４を生成する。
【０１０６】
その際、撮像ノイズ、太陽光や照明光によるテカリ若しくは影、又はオクルージョン等で距離画像３４に計測不能領域が発生することがある。この計測不能領域に対し、実施の形態１で述べたものと同様の手法により小ノイズ修復、マスク生成、大ノイズ修復及び合成を行う。これにより、距離画像３４の計測不能領域が修復され、撮影対象となる不特定多数人物Ｍの３次元形状データを生成することができる。
【０１０７】
生成した３次元形状データは、監視カメラ装置３内のデータベースと照合される。データが予め登録されている異常パターンに適合するか、又は正常パターンに適合しない場合には、撮影対象となる不特定多数人物Ｍの一部の人物が不審者であると判断し、異常信号を外部に出力する。
【０１０８】
本実施の形態の監視カメラ装置３では、距離画像３４を連続的に取得するため、そのままではデータ量が膨大になってしまう。そのため、画像サイズを人物の照合に必要な最低限の大きさまで小さくしたり、或いは生成した３次元データについても圧縮を行ったりする等して、データ量を可能な限り削減する工夫を行っている。
【０１０９】
以上のように、本実施の形態の監視カメラ装置３では、限られた処理時間で不特定多数人物Ｍにおける一部の人物の３次元形状データの品質の低下を最低限に抑えながらデータの欠落を修復することができる。
【０１１０】
その他の部分及び動作については実施の形態１と同様であり、説明は省略する。
【０１１１】
〔実施の形態４〕
本発明の３次元計測装置としての実施の形態１における顔形状計測装置１、実施の形態２における身体形状計測装置２及び実施の形態３における監視カメラ装置３の制御ブロック、特に距離画像生成部２２及び修復部２３は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【０１１２】
後者の場合、３次元計測装置としての顔形状計測装置１、身体形状計測装置２及び監視カメラ装置３は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（又はＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。尚、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１１３】
〔まとめ〕
本発明の態様１における３次元計測装置（顔形状計測装置１、身体形状計測装置２、監視カメラ装置３）は、３次元計測情報（距離画像３４）を取得する３次元計測手段（ステレオカメラ１１）と、上記３次元計測情報（距離画像３４）に含まれる欠損を修復して第１の欠損修復情報（小ノイズ修復距離画像４１）を生成する第１の修復手段（小ノイズ修復部２３ａ）と、上記第１の欠損修復情報（小ノイズ修復距離画像４１）のうち上記第１の修復手段（小ノイズ修復部２３ａ）では修復されなかった部位を抽出したマスクデータ（マスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂ）を生成するマスクデータ生成手段（マスク生成部２３ｂ）と、上記第１の欠損修復情報（小ノイズ修復距離画像４１）と上記マスクデータ（マスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂ）とを用いて第１の欠損修復情報（小ノイズ修復距離画像４１）のうち上記第１の修復手段（小ノイズ修復部２３ａ）では修復されなかった部位の欠損を修復し、上記第１の欠損修復情報（小ノイズ修復距離画像４１）よりも単位計測領域当たりのデータ量が少ない第２の欠損修復情報（大ノイズ修復距離画像４３）を生成する第２の修復手段（大ノイズ修復部２３ｃ）と、上記第１の欠損修復情報（小ノイズ修復距離画像４１）及び第２の欠損修復情報（大ノイズ修復距離画像４３）を合成して合成欠損修復情報（修復距離画像４４）を生成する合成欠損修復情報生成手段（データ合成部２３ｄ）とを備えていることを特徴としている。
【０１１４】
上記の発明によれば、３次元計測手段にて例えば人物の顔等の３次元計測情報を取得する。このとき、３次元計測情報に、ノイズ等による小さな欠落と同時に大きな欠落が発生することがある。この場合、大きな欠落を、小さな欠落と同じように単純な膨張・収縮等で処理すると不自然な形状データとなってしまう。一方、大きな欠落を修復できるインペインティング処理等の高度な処理を行うと、処理後の画像の品位は高まるが、処理に要する演算量が多いため、処理時間が膨大になってしまうという問題点を有している。
【０１１５】
そこで、本発明では、例えば膨張・収縮等にて処理する第１の修復手段を用いて小さな欠落を修復する。次に、本発明では、例えばインペインティング処理等の第２の修復手段を用いて大きな欠落を修復する。このように、本発明では、小さな欠落を修復する第１の修復手段と大きな欠落を修復する第２の修復手段とを組み合わせて修復するので、小さな欠落と大きな欠落との両方を修復することができる。
【０１１６】
ここで、例えばインペインティング処理等の第２の修復手段を用いて大きな欠落を修復する場合には、上述したように、処理に要する演算量が多いため、処理時間が膨大になる。したがって、例えば、第１の欠損修復情報の画面全体の解像度を落として第２の修復手段による処理を行うことが考えられるが、それでは、最終的に得られる画像の品質が低下する。
【０１１７】
そこで、本発明では、第１の欠損修復情報のうち第１の修復手段では修復されなかった部位を抽出したマスクデータを生成し、第２の修復手段は、第１の欠損修復情報とマスクデータとを用いて第１の欠損修復情報のうち第１の修復手段では修復されなかった部位の欠損を修復して、第２の欠損修復情報を生成する。したがって、第２の修復手段の修復範囲がマスクデータの範囲に限定されるので、修復時間を短縮することができる。
【０１１８】
その後、本発明では、合成欠損修復情報生成手段が、第１の欠損修復情報及び第２の欠損修復情報を合成して合成欠損修復情報を生成するので、小さな欠落と大きな欠落との両方が修復された合成欠損修復情報を得ることができる。
【０１１９】
このように、本発明では、まず、例えば膨張・収縮処理等の第１の修復手段にて修復可能な小さな欠損を修復し、膨張・収縮処理等では修復できなかったマスクデータ部分にのみインペインティング処理等の第２の修復手段による処理を適用し、最終的にそれらを合成して欠損を修復した３次元計測データを得る。
【０１２０】
この結果、インペインティング処理等の第２の修復手段による処理を行う箇所を必要最低限のマスクデータ部分に限定し、それ以外の部分では膨張・収縮処理等の第１の修復手段による処理を行うので、修復時に全体的に解像度を落とすことによる３次元測定精度の低下を抑制し、かつ演算量の膨大化を防いで高速に３次元計測情報の欠損を修復することができる。
【０１２１】
したがって、限られた処理時間で３次元形状データの品質の低下を抑えながらデータの欠落を修復し得る３次元計測装置を提供することができる。
【０１２２】
本発明の態様２における３次元計測装置（顔形状計測装置１、身体形状計測装置２、監視カメラ装置３）は、態様１における３次元計測装置（顔形状計測装置１、身体形状計測装置２、監視カメラ装置３）において、前記第２の修復手段（大ノイズ修復部２３ｃ）による欠損修復の演算が、前記第１の修復手段（小ノイズ修復部２３ａ）による欠損修復の演算よりも、単位データ量当たりの演算量が大きい場合に、上記第２の修復手段（大ノイズ修復部２３ｃ）は、前記第１の欠損修復情報（小ノイズ修復距離画像４１）よりも単位計測領域当たりのデータ量を削減したデータ量削減データを生成した後、上記データ量削減データに対して欠損修復の演算を行うことが好ましい。
【０１２３】
すなわち、例えばインペインティング処理等の第２の修復手段による欠損修復の演算は、例えば膨張・収縮等にて処理する第１の修復手段による欠損修復の演算よりも、単位データ量当たりの演算量が大きい。このため、本発明では、第２の修復手段は、第１の欠損修復情報よりも単位計測領域当たりのデータ量を削減したデータ量削減データを生成した後、上記データ量削減データに対して欠損修復の演算を行う。
【０１２４】
これにより、インペインティング処理等の第２の修復手段により処理を行うときには、演算量を減らすために、処理を行う前に解像度を落としたデータ量削減データを生成した後、インペインティング処理での欠損修復の演算を行う。
【０１２５】
この結果、第２の欠損修復手段による修復処理時間を短縮できるので、限られた処理時間で、３次元形状データの品質の低下を最低限に抑えながらデータの欠落を修復することができる。
【０１２６】
本発明の態様３における３次元計測装置（顔形状計測装置１、身体形状計測装置２、監視カメラ装置３）は、態様１又は２における３次元計測装置（顔形状計測装置１、身体形状計測装置２、監視カメラ装置３）において、前記合成欠損修復情報生成手段（データ合成部２３ｄ）は、前記第１の欠損修復情報（小ノイズ修復距離画像４１）における、前記第１の修復手段（小ノイズ修復部２３ａ）では修復されなかった部位に対して前記第２の欠損修復情報（大ノイズ修復距離画像４３）を合成することにより合成欠損修復情報（修復距離画像４４）を生成することが好ましい。
【０１２７】
すなわち、本発明では、第１の修復手段にて欠損を修復できた部分については第１の欠損修復情報を用い、第１の修復手段では欠損を修復できなかった部分については第２の修復手段による第２の欠損修復情報を用いるように合成することによって、合成欠損修復情報を生成する。
【０１２８】
これにより、解像度を低下させてしまうインペインティング処理等の第２の修復手段による処理を行う箇所を必要最低限の部分に限定し、それ以外の部分の解像度を高く維持することができる膨張・収縮処理等の第１の修復手段による処理を行う。したがって、修復時に画面全体の解像度を落とすことによる３次元測定精度の低下を抑制することができる。
【０１２９】
本発明の態様４における３次元計測装置（顔形状計測装置１、身体形状計測装置２、監視カメラ装置３）は、態様１、２又は３における３次元計測装置（顔形状計測装置１、身体形状計測装置２、監視カメラ装置３）において、前記マスクデータ生成手段（マスク生成部２３ｂ）は、前記第１の欠損修復情報（小ノイズ修復距離画像４１）を平滑化した平滑化情報を生成し、さらに上記第１の欠損修復情報（小ノイズ修復距離画像４１）と平滑化情報との差分情報を生成し、上記差分情報を用いて前記マスクデータ（マスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂ）を生成することが好ましい。
【０１３０】
すなわち、データが欠損した部分つまりデータに飛びが発生している部分は、周囲に対してデータが非連続的かつ極端に変化する部分つまり極端に急峻な山又は谷のような部分となる。したがって、このような特徴のある部分は平滑化処理を行うと、元のデータに対する変化量が大きくなる。このため、元画像と平滑化画像の差分を採ることにより、第１の修復手段ではデータ修復ができなかった部分を強調することができる。この強調されたデータを用いることによりマスクデータを作成することができる。したがって、第２の修復手段による処理範囲を明確化することができる。
【０１３１】
本発明の態様５における３次元計測装置（顔形状計測装置１、身体形状計測装置２、監視カメラ装置３）は、態様１〜４のいずれか１における３次元計測装置（顔形状計測装置１、身体形状計測装置２、監視カメラ装置３）において、前記第１の修復手段（小ノイズ修復部２３ａ）は、前記３次元計測情報（距離画像３４）に含まれる欠損を膨張処理及び収縮処理を用いて修復して前記第１の欠損修復情報（小ノイズ修復距離画像４１）を生成すると共に、前記第２の修復手段（大ノイズ修復部２３ｃ）は、上記第１の欠損修復情報（小ノイズ修復距離画像４１）のうち上記第１の修復手段（小ノイズ修復部２３ａ）では修復されなかった部位の欠損を、インペインティング処理を用いて修復することが好ましい。
【０１３２】
これにより、第１の修復手段は、３次元計測情報に含まれる欠損を膨張処理及び収縮処理を用いて修復して第１の欠損修復情報を生成するので、小さな欠落を容易に修復することができる。また、第２の修復手段は、第１の欠損修復情報のうち第１の修復手段では修復されなかった部位の欠損を、インペインティング処理を用いて修復する。これにより、インペインティング処理等の第２の修復手段による処理を行うときには、演算量を減らすために、範囲を限定して行い、大きな欠損を高度に処理することができる。
【０１３３】
本発明の態様６における３次元計測方法は、３次元計測情報（距離画像３４）を取得する３次元計測工程（Ｓ１〜Ｓ５）と、上記３次元計測情報（距離画像３４）に含まれる欠損を修復して第１の欠損修復情報（小ノイズ修復距離画像４１）を生成する第１の修復工程（Ｓ１１・Ｓ１２）と、上記第１の欠損修復情報（小ノイズ修復距離画像４１）のうち上記第１の修復工程（Ｓ１１・Ｓ１２）では修復されなかった部位を抽出したマスクデータ（マスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂ）を生成するマスクデータ生成工程（Ｓ２１〜Ｓ２６）と、上記第１の欠損修復情報（小ノイズ修復距離画像４１）と上記マスクデータ（マスク画像Ａ４２ａ又はマスク画像Ｂ４２ｂ）とを用いて第１の欠損修復情報（小ノイズ修復距離画像４１）のうち上記第１の修復工程（Ｓ１１・Ｓ１２）では修復されなかった部位の欠損を修復し、上記第１の欠損修復情報（小ノイズ修復距離画像４１）よりも単位計測領域当たりのデータ量が少ない第２の欠損修復情報（大ノイズ修復距離画像４３）を生成する第２の修復工程（Ｓ３１・Ｓ３２）と、上記第１の欠損修復情報（小ノイズ修復距離画像４１）及び第２の欠損修復情報（大ノイズ修復距離画像４３）を合成して合成欠損修復情報（修復距離画像４４）を生成する合成欠損修復情報生成工程（Ｓ４１〜Ｓ４３）とを含むことを特徴としている。
【０１３４】
上記の発明によれば、限られた処理時間で３次元形状データの品質の低下を抑えながらデータの欠落を修復し得る３次元計測方法を提供することができる。
【０１３５】
尚、本発明は、上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１３６】
本発明は、対象物の３次元形状を計測する３次元計測装置及び３次元計測方法に関するものであり、独立した装置として清掃、監視、自動搬送を始めとする産業用、民生用その他用途に用いる他、他の装置の一部に組み込んで利用したり、装置の一部又は全部を集積回路（ＩＣ）化して利用したりすることも可能である。
【符号の説明】
【０１３７】
１        顔形状計測装置（３次元計測装置）
２        身体形状計測装置（３次元計測装置）
３        監視カメラ装置（３次元計測装置）
１１        ステレオカメラ（３次元計測手段）
１２        照明装置
１３        データ表示部
１４        データ保存部
２０        データ処理回路
２１        制御部
２２        距離画像生成部
２３        修復部
２３ａ      小ノイズ修復部（第１の修復手段）
２３ｂ      マスク生成部（マスクデータ生成手段）
２３ｃ      大ノイズ修復部（第２の修復手段）
２３ｄ      データ合成部（合成欠損修復情報生成手段）
２４        データ変換部
３１Ｌ      左カメラ画像
３１Ｒ      右カメラ画像
３２Ｌ      平行化後左カメラ画像
３２Ｒ      平行化後右カメラ画像
３３        視差画像
３４        距離画像（３次元計測情報）
４１        小ノイズ修復距離画像（第１の欠損修復情報）
４２ａ      マスク画像Ａ（マスクデータ）
４２ｂ      マスク画像Ｂ（マスクデータ）
４３        大ノイズ修復距離画像（第２の欠損修復情報）
４４        修復距離画像（合成欠損修復情報）
４５        ３次元点群データ
Ｂ        身体
Ｄ０      カメラキャリブレーションデータ
Ｆ        顔
Ｍ        不特定多数人物
【図１】
2015224909.tif 000003
【図２】
2015224909.tif 000004
【図４】
2015224909.tif 000005
【図１１】
2015224909.tif 000006
【図１２】
2015224909.tif 000007
【図１３】
2015224909.tif 000008
【図３】
2015224909.tif 000009
【図５】
2015224909.tif 000010
【図６】
2015224909.tif 000011
【図７】
2015224909.tif 000012
【図８】
2015224909.tif 000013
【図９】
2015224909.tif 000014
【図１０】
2015224909.tif 000015