(57)【要約】  ガイドとなる情報を必要としないで、適切なシルエット画像を生成するため、本発明の情報処理装置は、複数の撮影条件それぞれにおいて、対象物を含む対象画像と対象物を含まない基準画像とを基に対象画像の対象構造画像を生成する対象画像処理手段と、複数の撮影条件それぞれにおいて、対象画像と基準画像とを基に基準画像の基準構造画像を生成する基準画像処理手段と、撮影条件それぞれにおける対象構造画像及び基準構造画像の相違度である個別相違度を算出し、個別相違度を基に合成相違度を算出する相違度算出手段と、撮影条件それぞれにおける対象構造画像の平滑度である個別平滑度を算出し、個別平滑度を基に合成平滑度を算出する平滑度算出手段と、合成相違度と合成平滑度とを基に対象物のシルエット画像を生成するシルエット生成手段とを含む。
2019059120.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影条件それぞれにおいて、対象物を含む対象画像と前記対象物を含まない基準画像とを基に前記対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成する対象画像処理手段と、
複数の前記撮影条件それぞれにおいて、前記対象画像と前記基準画像とを基に前記基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成する基準画像処理手段と、
前記撮影条件それぞれにおける前記対象構造画像及び前記基準構造画像の相違度である個別相違度を算出し、前記個別相違度を基に合成相違度を算出する相違度算出手段と、
前記撮影条件それぞれにおける前記対象構造画像の平滑度である個別平滑度を算出し、前記個別平滑度を基に合成平滑度を算出する平滑度算出手段と、
前記合成相違度と前記合成平滑度とを基に前記対象物のシルエット画像を生成するシルエット生成手段と
を含む情報処理装置。
【請求項２】
前記シルエット画像を基に前記対象物の形状を生成する形状生成手段
をさらに含む請求項１に記載の情報処理装置。
【請求項３】
複数の前記対象画像を取得する対象画像取得手段と、
複数の前記基準画像を取得する基準画像取得手段と、
前記シルエット画像及び／又は前記形状を出力する結果出力手段と
を含む請求項２に記載の情報処理装置。
【請求項４】
前記相違度算出手段が、
前記合成相違度として、前記個別相違度を所定の比率を用いて加算した値を算出し、
前記平滑度算出手段が、
前記合成平滑度として、前記個別平滑度を加算した値を算出する
請求項１ないし３のいずれか１項に記載の情報処理装置。
【請求項５】
前記シルエット生成手段が、
前記シルエット画像として、前記シルエット画像の画素値と前記合成相違度との差、及び、前記シルエット画像の前記画素値における平滑度と前記合成平滑度との積を含む損失関数を最小とする前記画素値を算出する
請求項１ないし４のいずれか１項に記載に情報処理装置。
【請求項６】
前記撮影条件が、
波長帯域、露光量、露出時間、及び、撮影時間の少なくともいずれか一つに関連する条件である
請求項１ないし５のいずれか１項に記載の情報処理装置。
【請求項７】
請求項１ないし６のいずれか１項に記載の前記情報処理装置と、
前記対象画像と前記基準画像とを前記情報処理装置に送信する画像取得装置と、
前記情報処理装置から前記シルエット画像を受信して、前記シルエット画像を基に前記対象物の形状を算出し、算出した前記形状を示す物を出力する画像処理装置と
を含む情報処理システム。
【請求項８】
複数の撮影条件それぞれにおいて、対象物を含む対象画像と前記対象物を含まない基準画像とを基に前記対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成し、
複数の前記撮影条件それぞれにおいて、前記対象画像と前記基準画像とを基に前記基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成し、
前記撮影条件それぞれにおける前記対象構造画像及び前記基準構造画像の相違度である個別相違度を算出し、前記個別相違度を基に合成相違度を算出し、
前記撮影条件それぞれにおける前記対象構造画像の平滑度である個別平滑度を算出し、前記個別平滑度を基に合成平滑度を算出し、
前記合成相違度と前記合成平滑度とを基に前記対象物のシルエット画像を生成する
情報処理方法。
【請求項９】
複数の撮影条件それぞれにおいて、対象物を含む対象画像と前記対象物を含まない基準画像とを基に前記対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成する処理と、
複数の前記撮影条件それぞれにおいて、前記対象画像と前記基準画像とを基に前記基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成する処理と、
前記撮影条件それぞれにおける前記対象構造画像及び前記基準構造画像の相違度である個別相違度を算出し、前記個別相違度を基に合成相違度を算出する処理と、
前記撮影条件それぞれにおける前記対象構造画像の平滑度である個別平滑度を算出し、前記個別平滑度を基に合成平滑度を算出する処理と、
前記合成相違度と前記合成平滑度とを基に前記対象物のシルエット画像を生成する処理と
をコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の処理に関し、特に、物体の形状を処理する情報処理装置などに関する。
【背景技術】
【０００２】
撮像装置は、様々な設定（例えば、露光量又は露出時間の設定）において動作する。あるいは、撮像装置には、様々な波長帯域に対して異なる感度特性を備え、それぞれの感度特性に沿った画像を取得する撮像装置がある。【０００３】
また、同一の設定においても、撮像装置は、照明器具、及び／又は、フラッシュの用い方（フラッシュを焚く、又は、焚かない）に基づいて、実質的に異なる画像を取得できる。【０００４】
上記のような各種の撮影条件（設定及び照明など）に対応した撮像装置の実用化及び廉価化が進んでいる。例えば、異なる特性を備えた複数の撮像装置が利用可能となっている。あるいは、撮像目的毎にその目的に適した撮像装置を切り替えて用いることが普及している。【０００５】
例えば、所定の場所における人物などの監視において、次のように、複数のカメラを用いた監視が可能である。昼間及び照明が点灯されている時間帯の監視は、可視光センサを用いた監視カメラを用いる。一方、夜間の消灯の時間帯における監視は、近赤外線センサ及び／又は遠赤外線センサなどの非可視光センサを用いた監視カメラを用いる。【０００６】
上記に限らず、監視に用いられる電磁波としては、紫外線、テラヘルツ波、又は、電波などがある。【０００７】
上記のように、同じ対象物に対して、撮影条件が異なる複数の画像を取得することが容易となっている。【０００８】
また、複数の可視光画像を用いて、可視光画像に含まれている対象物の形状を復元する方法が提案されている。【０００９】
複数の可視光画像に含まれている対象物の形状を復元する方法の一つとして、シルエット法（「視体積交差法」とも呼ばれる）がある（非特許文献１を参照）。シルエット法とは、複数のシルエット画像を用いて、その複数のシルエット画像を最も満足する形状を算出する方法である。シルエット画像とは、物の輪郭の内部を単色で塗りつぶした画像、又は、物の形状を映した単色画像である。【００１０】
シルエット画像の生成方法としては、いろいろな方法が提案されている。例えば、シルエット画像の生成方法として、背景差分法、エッジを用いる方法、色を用いる方法、又は、輪郭線を用いる方法などがある。【００１１】
なお、以下に示す非特許文献２ないし７は、後ほどの説明に用いる関連技術である。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Aldo Laurentini, "The Visual Hull Concept for Silhouette-Based Image Understanding", IEEE Transactions on pattern analysis and machine intelligence, Volume: 16, Issue: 2, (February 1994), pp.150-162
【非特許文献２】Kalin Kolev, Thomas Brox, and Daniel Cremers, "Fast Joint Estimation of Silhouettes and Dense 3D Geometry from Multiple Images", IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)， Volume: 34, Issue: 3, (March 2012), pp. 493-505
【非特許文献３】John Bastian, Ben Ward, Rhys Hill, Anton van den Hengel, Anthony Dick, "Interactive Modelling for AR Applications", Mixed and Augmented Reality (ISMAR), 2010 9th IEEE International Symposium on Mixed and Augmented Reality, (October 2010), pp. 199-206
【非特許文献４】Kaiming He, Jian Sun, and Xiaoou Tang, "Guided Image Filtering", IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 35, Issue: 6 (June 2013), pp.1397-1409
【非特許文献５】George Petschnigg, Richard Szeliski, Maneesh Agrawala, Michael Cohen, Huques Hoppe, and Kentaro Toyama, "Digital photography with flash and no-flash image pairs", ACM Transactions on Graphics (TOG), (ACM SIGGRAPH 2004), Volume 23, Issue 3, August 2004, pp.664-672
【非特許文献６】Xiaoyong Shen, Chao Zhou, Li Xu, and Jiaya Jia, "Mutual-Structure for Joint Filtering", The IEEE International Conference on Computer Vision (ICCV), 2015, pp.3406-3414
【非特許文献７】Yuri Boykov, Olga Veksler, and Ramin Zabih, "Fast approximate energy minimization via graph cuts", IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 23, Issue: 11, (November 2001), pp.1222-1239
【発明の概要】
【発明が解決しようとする課題】
【００１３】
シルエット法を適用するためには、対象物のシルエット画像が必要である。【００１４】
しかしながら、背景差分法など一般的なシルエット画像を生成する方法は、対象物の画像に、影、白とび、及び／又は黒潰れなどがある場合、誤ったシルエット画像を生成してしまう。【００１５】
あるいは、対象物がガラス又はアクリルなどのような透明な物体の場合、対象物は、可視光を透過する。そのため、対象物の背景である物体が、対象物の範囲の画像に含まれる。そのような場合、背景差分法などの一般的なシルエット画像を生成する方法は、対象物である前景と、背景の物体とを区別することが難しい。そのため、可視光において透明な物体を対象物とする場合、背景差分法などの一般的なシルエット画像を生成する方法は、正確なシルエット画像を生成できないという問題点があった。【００１６】
すなわち、対象物の画像に影、白とび、及び／又は黒潰れが存在する場合、並びに、対象物がガラス又はアクリルなどの透明な物体の場合、背景差分法など一般的なシルエット画像を生成する方法は、正確なシルエット画像を生成できないという問題点があった。【００１７】
そのため、対象物に影、白とび、及び／又は黒潰れがある場合、非特許文献１に記載の技術は、高精度な形状を復元できなかった。【００１８】
そこで、対象物における影、白とび、及び／又は黒潰れに対して高精度にシルエット画像を生成するための手法が提案されている（例えば、非特許文献２及び３を参照）。【００１９】
しかし、非特許文献２及び３に記載の技術は、シルエット画像を生成するときに、利用者からシルエット画像のガイドとなる情報を取得してシルエット画像を生成する。そのため、非特許文献２及び３に記載の技術は、利用者における手動でのガイドとなる情報の入力が必要であるという問題点があった。【００２０】
本発明の目的は、上記問題点を解決し、ガイドとなる情報を必要としないで、適切なシルエット画像を生成する情報処理装置などを提供することにある。
【課題を解決するための手段】
【００２１】
本発明の一形態における情報処理装置は、複数の撮影条件それぞれにおいて、対象物を含む対象画像と対象物を含まない基準画像とを基に対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成する対象画像処理手段と、複数の撮影条件それぞれにおいて、対象画像と基準画像とを基に基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成する基準画像処理手段と、撮影条件それぞれにおける対象構造画像及び基準構造画像の相違度である個別相違度を算出し、個別相違度を基に合成相違度を算出する相違度算出手段と、撮影条件それぞれにおける対象構造画像の平滑度である個別平滑度を算出し、個別平滑度を基に合成平滑度を算出する平滑度算出手段と、合成相違度と合成平滑度とを基に対象物のシルエット画像を生成するシルエット生成手段とを含む。【００２２】
本発明の一形態における情報処理システムは、上記情報処理装置と、対象画像と基準画像とを情報処理装置に送信する画像取得装置と、情報処理装置からシルエット画像を受信して、シルエット画像を基に対象物の形状を算出し、形状に関連する物を出力する画像処理装置とを含む。【００２３】
本発明の一形態における情報処理方法は、複数の撮影条件それぞれにおいて、対象物を含む対象画像と対象物を含まない基準画像とを基に対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成し、複数の撮影条件それぞれにおいて、対象画像と基準画像とを基に基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成し、撮影条件それぞれにおける対象構造画像及び基準構造画像の相違度である個別相違度を算出し、個別相違度を基に合成相違度を算出し、撮影条件それぞれにおける対象構造画像の平滑度である個別平滑度を算出し、個別平滑度を基に合成平滑度を算出し、合成相違度と合成平滑度とを基に対象物のシルエット画像を生成する。【００２４】
本発明の一形態における記録媒体は、複数の撮影条件それぞれにおいて、対象物を含む対象画像と対象物を含まない基準画像とを基に対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成する処理と、複数の撮影条件それぞれにおいて、対象画像と基準画像とを基に基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成する処理と、撮影条件それぞれにおける対象構造画像及び基準構造画像の相違度である個別相違度を算出し、個別相違度を基に合成相違度を算出する処理と、撮影条件それぞれにおける対象構造画像の平滑度である個別平滑度を算出し、個別平滑度を基に合成平滑度を算出する処理と、合成相違度と合成平滑度とを基に対象物のシルエット画像を生成する処理とをコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する。
【発明の効果】
【００２５】
本発明に基づくと、ガイドとなる情報を必要としないで、適切なシルエット画像を生成するとの効果を奏することができる。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明における第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図２】図２は、第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。
【図３】図３は、第１の実施形態に係る動作を説明するための図である。
【図４】図４は、第１の実施形態に係る情報処理装置の概要の一例を示すブロック図である。
【図５】図５は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【図６】図６は、第１の実施形態に係る情報処理システムの構成の一例を示す図である。
【発明を実施するための形態】
【００２７】
次に、図面を参照して、発明を実施するための形態について説明する。
【００２８】
なお、各図面は、本発明の実施形態を説明するためのものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
【００２９】
＜第１の実施形態＞
以下、図面を参照して、第１の実施形態について説明する。
【００３０】
［構成の説明］
まず、図面を参照して、第１の実施形態に係る情報処理装置２００の構成について説明する。
【００３１】
図１は、本発明における第１の実施形態に係る情報処理装置２００の構成の一例を示すブロック図である。
【００３２】
情報処理装置２００は、対象画像処理部２０１と、基準画像処理部２０２と、相違度算出部２０３と、平滑度算出部２０４と、シルエット生成部２０５と、形状生成部２０６と、対象画像取得部２０７と、基準画像取得部２０８と、結果出力部２０９とを含む。
【００３３】
対象画像取得部２０７は、対象物を含む画像（以下、「対象画像」と呼ぶ）を取得する。
【００３４】
「対象画像」は、対象物を含み、それぞれの撮影条件が異なる複数の画像を含む。以下の説明では、一例として、対象画像は、二枚の画像（２つの撮影条件の画像）を含む。ただし、対象画像に含まれる画像の数は、二枚に限定されない。対象画像は、二枚を超える画像を含んでもよい。
【００３５】
また、情報処理装置２００は、撮影条件を限定されない。
【００３６】
例えば、撮影条件は、波長帯域（又は周波数帯域）のように使用する電磁波に関連する条件でもよい。波長帯域は、例えば、可視光、及び／又は、非可視光である。
【００３７】
対象画像に関連する波長帯域は、限定されない。例えば、対象画像は、複数の可視光画像でもよく、複数の非可視光画像でもよい。あるいは、対象画像は、可視光画像と非可視光画像とでもよい。非可視光画像とは、例えば、赤外画像（遠赤外画像、又は、近赤外画像）、紫外画像、テラヘルツ波画像、又は、電波画像である。
【００３８】
あるいは、撮影条件は、露光量、露出時間、又は、撮影時間など画像の取得動作に関連する条件でもよい。あるいは、撮影条件は、照明、及び／又は、フラッシュの有無など撮影光に関連する条件でもよい。撮影条件は、上記の組合せでもよい。
【００３９】
撮影条件は、予め、対象物、撮影範囲、撮影環境（例えば、照明及び電源）、及び／又は、利用可能な撮像装置などを基に決定されればよい。
【００４０】
基準画像取得部２０８は、対象画像に対応する複数の基準画像を取得する。
【００４１】
「基準画像」とは、対象画像と同じ撮影範囲において対象物を含まない画像である。各基準画像は、それぞれ、対象画像に対応する。基準画像の撮影条件は、対応する対象画像と同じである。
【００４２】
ただし、対象画像と基準画像との撮影条件における「同じ」とは、完全な一致に限定されない。後ほど説明する構造画像を生成可能な範囲で、対象画像と基準画像との撮影条件は、異なっていてもよい。
【００４３】
例えば、撮影条件が撮影時間の場合、基準画像の撮影時間は、対象画像の撮影時間と背景となる物体が実質的に同じとなる範囲で、異なっていてもよい。例えば、対象物が自動車のような移動体の場合、基準画像は、対象物の撮影範囲への侵入前、又は、対象物の撮影範囲からの移動後の画像でもよい。
【００４４】
あるいは、撮影条件が露光量又は露出時間の場合、基準画像と対象画像とは、それぞれ、撮影される時間における適切な露光量又は露出時間を用いて撮影されればよい。これは、適切な露光量又は露出時間が、対象物の有無に基づき、異なる場合があるためである。
【００４５】
対象画像処理部２０１は、複数の撮影条件それぞれにおける対象画像と基準画像とを基に、それぞれの撮影条件における対象画像に対応した対象構造画像を生成する。
【００４６】
「対象構造画像」とは、対象画像に含まれる物体の形状的な特徴を示す要素（以下、「画像構造」又は、単に「構造」と呼ぶ）から構成される画像である。
【００４７】
情報処理装置２００は、画像構造を限定されない。例えば、画像構造は、一般的に用いられる物体の輪郭及び／又は平坦領域などでもよい。ただし、画像構造は、これらに限定されない。例えば、対象物などがテクスチャー又は形状に特徴がある場合、画像構造は、テクスチャー領域、又は、要素の形状を基に決定されてもよい。
【００４８】
対象物を含む画像（対象画像）及び対象物を含まない画像（基準画像）を基に画像構造を生成する方法として、複数の方法が提案されている。例えば、このような方法として、ガイデッドフィルター（例えば、非特許文献４を参照）、ジョイントバイラテラルフィルター（例えば、非特許文献５を参照）、及び、互構造ジョイントフィルター（例えば、非特許文献６を参照）などが提案されている。対象画像処理部２０１は、これらの方法を用いて、対象構造画像を生成すればよい。
【００４９】
以下の説明では、対象構造画像の各画素値を「Iｐ」とする。ここで、「ｐ」は、画像における画素の位置（番号）を表すインデックスである。
【００５０】
なお、画像は２次元データのため、２つの方向（例えば、縦と横）の位置を用いて画素の位置を示す場合がある。しかしながら、本実施形態の説明においては、画素の位置（番号）を、１次元として取り扱う。
【００５１】
なお、画素値は、一つの値ではなく、複数の値（例えば、マルチスペクトル画像又はハイパースペクトル画像の画素）を含んでもよい。
【００５２】
基準画像処理部２０２は、複数の撮影条件それぞれにおいて、対象画像と基準画像とを基に基準画像に含まれる物体の画像構造で構成された基準構造画像を生成する。基準画像処理部２０２は、対象画像処理部２０１と同様の方法（例えば、上記のいずれかの方法）を用いればよい。
【００５３】
以下の説明では、対象構造画像の各画素値を「Ｖｐ」とする。「ｐ」は、上記と同様に、画素の位置を表すインデックスである。
【００５４】
相違度算出部２０３は、撮影条件それぞれにおける対象構造画像と基準構造画像との相違度（以下、「個別相違度」と呼ぶ）を算出する。
【００５５】
「個別相違度」とは、撮影条件それぞれにおける対象構造画像の画素値（第１の画素値）と基準構造画像の画素値（第２の画素値）との差分である。相違度は、画素毎に算出される値である。
【００５６】
そして、相違度算出部２０３は、個別相違度を所定の比率を用いて加算した相違度（以下、「合成相違度」と呼ぶ）を算出する。
【００５７】
ただし、本実施形態において、相違度は、上記に限定されない。例えば、利用者が、予め、対象物を含む対象画像の性質に沿って、相違度を設定してもよい。
【００５８】
合成相違度の一例を説明する。以下の説明では、撮影条件は、可視光と遠赤外とする。そのため、対象画像及び基準画像は、それぞれ、可視光画像及び遠赤外画像の組（ペア）である。ただし、これは、本実施形態を限定するものではない。例えば、対象画像及び基準画像は、それぞれ、可視光画像及び近赤外画像のペアでもよい。あるいは、対象画像及び基準画像は、それぞれ、可視光画像及びテラヘルツ波画像のペアでもよい。
【００５９】
次に、以下の説明で用いる変数を説明する。
【００６０】
「ＩｐＶＩＳ」は、可視光の対象構造画像の画素値である。「ＩｐＦＩＲ」は、遠赤外の対象構造画像の画素値である。「ＶｐＶＩＳ」は、可視光の基準構造画像の画素値である。「ＶｐＦＩＲ」は、遠赤外の基準構造画像の画素値である。「Ｄｐ」は、画素毎の合成相違度である。「ＤｐＶＩＳ」は、可視光における個別相違度である。「ＤｐＦＩＲ」は、遠赤外における個別相違度である。「α」は、予め平滑度算出部２０４に設定されているパラメタである。「｜・｜」は、絶対値（Ｌ１ノルム）である。この場合、相違度算出部２０３は、合成相違度Ｄｐを、次に示す数式１を用いて算出する。
【００６１】
［数式１］
Ｄｐ=αＤｐＶＩＳ＋ＤｐＦＩＲ=α｜ＩｐＶＩＳ−ＶｐＶＩＳ｜＋｜ＩｐＦＩＲ−ＶｐＦＩＲ｜
一般的に、可視光画像は、遠赤外画像に比べ、高解像度及び低ノイズである。
【００６２】
ただし、対象物の可視光画像は、影、白とび、及び／又は黒潰れが含まれる場合がある。あるいは、ガラスなど対象物は、可視光に対して透明であり、背景の物体と同化する。上記の影響を受ける領域において、可視光画像を用いた高精度なシルエット画像の生成は、難しい。
【００６３】
一方、上記のような領域において、対象物の遠赤外画像は、影、白とび、及び／又は黒潰れが映り込まない場合が多い。さらに、ガラスなどの対象物は、可視光に比べ遠赤外を透過させないため、遠赤外画像において、対象物は、背景と同化しにくい。
【００６４】
ただし、一般的に、遠赤外画像は、低解像度、及び、高ノイズとなる場合が多い。
【００６５】
そこで、相違度算出部２０３は、数式１のように、可視光画像における個別相違度と遠赤外画像における個別相違度とを、所定の比率を用いて加算した合成相違度を算出する。その結果として、相違度算出部２０３は、影、白とび、黒潰れ、及び透明物体に対して頑健で、かつ、高解像度及び低ノイズの合成相違度を算出できる。
【００６６】
より詳細に説明すると、次のとおりである。相違度算出部２０３は、数式１の第一項である可視光画像に対する個別相違度「ＤｐＶＩＳ」を用いることで、可視光画像を用いる場合の長所である対象物の輪郭領域などに関して、高解像度かつ精緻な合成相違度を算出できる。一方、相違度算出部２０３は、数式１の第二項である遠赤外画像に対する個別相違度「ＤｐＦＩＲ」を用いることで、可視光画像では精緻な相違度が算出困難な領域において、より正確な合成相違度を算出できる。可視光画像では精緻な相違度の算出が困難な領域とは、例えば、可視光画像における影、白とび、黒潰れ、及び透明な領域である。
【００６７】
一般的に、可視光画像は、遠赤外画像より高解像度である。そこで、遠赤外画像の個別相違度より可視光画像の個別相違度の影響を高くするため、相違度算出部２０３は、αの値として１を超える実数を用いる場合が多い。ただし、αの値は、１を超える実数に限定されない。αの値は、１以下の正の実数でもよい。なお、相違度算出部２０３は、撮影条件に対応して、αの値として負の値を用いてもよい。
【００６８】
数式１に示されている合成相違度は、可視光の個別相違度にパラメタを掛けた値と、遠赤外の個別相違度とを加算している。数式１では、相違度算出部２０３は、遠赤外の個別相違度をそのまま用いている。しかし、合成相違度は、これに限定されない。相違度算出部２０３は、合成相違度として、遠赤外の個別相違度にパラメタを掛けた値と、可視光の個別相違度との合計を用いてもよい。あるいは、相違度算出部２０３は、２つの個別相違度それぞれに所定のパラメタを適用してもよい。
【００６９】
上記の例において、相違度算出部２０３は、可視光における個別相違度と遠赤外における個別相違度とを、所定の比率（上記の場合「α：１」）を用いて加算している。
【００７０】
撮影条件の数が２つを超える場合も同様に、相違度算出部２０３は、合成相違度として、撮影条件それぞれにおける個別相違度を、所定の比率（又はパラメタ）を用いて加算した値を算出すればよい。
【００７１】
平滑度算出部２０４は、撮影条件それぞれにおける対象構造画像の平滑度（以下、「個別平滑度」と呼ぶ）を算出する。
【００７２】
「個別平滑度」とは、対象となる画素（対象画素）の値（画素値）と、その画素に対して所定の位置の画素の値（画素値）との差分である。所定の位置は、隣接（一つ前、又は、一つ後ろ）でもよく、所定の画素数離れた近傍の位置でもよい。一般的に隣接を用いる場合が多いため、以下の説明では、上記の所定の位置をまとめて「隣接の位置」と呼ぶ。以下の説明では、「ｑ」は、隣接の位置を表すインデックスである。隣接の位置の画素が、隣接の画素である。なお、「ｐ」は、対象画素の位置となる。
【００７３】
そして、平滑度算出部２０４は、個別平滑度を加算した平滑度（以下、「合成平滑度」と呼ぶ）を算出する。
【００７４】
ただし、本実施形態において、平滑度は、画素値の差分（対象画素の値と隣接画素の値との差分）に限定されない。平滑度は、対象画素の値と隣接画素の値との差分が大きいほど、大きな値となればよい。例えば、平滑度は、差分を所定の関数に適用して算出された値でもよい。
【００７５】
合成平滑度の一例を説明する。
【００７６】
「Ｌｐｑ」は、対象画素（ｐ）における隣接画素（ｑ）に対する合成平滑度である。「ＬｐｑＶＩＳ」は、可視光画像における個別平滑度である。「ＬｐｑＦＩＲ」は、遠赤外画像における個別平滑度である。「βＶＩＳ」及び「βＦＩＲ」は、予め可視光及び遠赤外にそれぞれについて平滑度算出部２０４に設定されているパラメタである。この場合、平滑度算出部２０４は、合成平滑度Ｌｐｑを、次に示す数式２を用いて算出する。なお、端部の画素など隣接画素がない画素における平滑度は、所定の値（例えば、「０」）とする。
【００７７】
［数式２］
Ｌｐｑ＝ＬｐｑＶＩＳ＋ＬｐｑＦＩＲ＝ｅｘｐ（−｜ＩｐＶＩＳ−ＩｑＶＩＳ｜／βＶＩＳ）＋ｅｘｐ（−｜ＩｐＦＩＲ−ＩｑＦＩＲ｜／βＦＩＲ）
ｅｘｐ（・）は、ネイピア数（自然対数の底）を底とする指数関数である。ただし、指数関数の底は、ネイピア数に限定されない。例えば、底は、所定の整数（例えば、「１０」）又は所定の実数でもよい。
【００７８】
撮影条件の数が２つを超える場合も同様に、平滑度算出部２０４は、合成平滑度として、撮影条件それぞれに対する所定のパラメタを用いて個別平滑度を算出し、算出した個別平滑度を加算した値を算出すればよい。
【００７９】
平滑度算出部２０４は、個別平滑度の加算において、撮影条件ごとに所定の比率を設定して加算してもよい。
【００８０】
シルエット生成部２０５は、合成相違度と合成平滑度とを基に、対象物に対応したシルエット画像を生成する。
【００８１】
情報処理装置２００は、シルエット画像を生成する手法を限定されない。例えば、シルエット生成部２０５は、合成相違度と合成平滑度とを基にグラフカット（例えば、非特許文献７を参照）を用いて対象物の領域を判定し、判定を基にシルエット画像の画素値（第３の画素値）を判定してもよい。例えば、シルエット生成部２０５は、対象物と判定された領域のシルエット画像の画素値を「黒」、判定されなかった領域の画素値を「白」とするシルエット画像を生成すればよい。
【００８２】
シルエット画像の生成について、さらに、具体的な例を説明する。
【００８３】
この例では、シルエット生成部２０５は、シルエット画像として、シルエット画像における画素値を引き数とする所定の関数の合計である損失関数を最小とするようにシルエット画像の画素値を算出する。
【００８４】
数式３は、損失関数の一例である。「Ｘｐ」は、画素の位置（ｐ）におけるシルエット画像の画素値である。シルエット生成部２０５は、損失関数「Ｅ（｛Ｘｐ｝）」を最小とするシルエット画像の画素値（Ｘ＝｛Ｘｐ｝＝（Ｘ１，…，ＸＮ）、Ｎは画素の数）を生成する。ここで、画素値「Ｘｐ」の値は、二値（０又は１）である。「０」は、対象物でない領域（背景）の画素値である。「１」は、対象物（前景）の領域の画素値である。
【００８５】
［数式３］
Ｅ（｛Ｘｐ｝）＝Σｐｇｐ（Ｘｐ）＋Σｐｑｈｐｑ（Ｘｐ，Ｘｑ）
右辺の第一項は、相違度に対応する誤差項である。誤差項の関数ｇｐ（Ｘｐ）は、数式４である。第二項は、平滑度に対応する平滑化項である。平滑化項の関数ｈｐｑ（Ｘｐ，Ｘｑ）は、数式５である。
【００８６】
［数式４］
ｇｐ（Ｘｐ）＝｜Ｘｐ−σ（Ｄ−Ｄｐ；ξ）｜
「σ（・；ξ）は、ゲインξで表されるシグモイド関数である。「Ｄ」は、閾値に相当するパラメタであり、予め、シルエット生成部２０５に設定されている値である。誤差項の関数ｇｐ（Ｘｐ）は、シルエット画像の画素と合成相違度との差に対応する値を算出する関数である。
【００８７】
［数式５］
ｈｐｑ（Ｘｐ，Ｘｑ）＝Ｌｐｑ｜Ｘｐ−Ｘｑ｜
平滑化項の関数ｈｐｑ（Ｘｐ，Ｘｑ）は、シルエット画像の画素の平滑度（｜Ｘｐ−Ｘｑ｜）と合成平滑度との積を算出する関数である。
【００８８】
シルエット生成部２０５は、グラフカットを用いて、数式３に示される損失関数を最小化するシルエット画像を生成する。
【００８９】
上記の損失関数は、シルエット画像の画素値と、相違度（合成相違度）と、平滑度（合成平滑度）とを含む関数である。
【００９０】
なお、損失関数は、上記に限られない。例えば、損失関数は、シルエット画像の画素値と、個別相違度と、個別平滑度とを用いた関数でもよい。この場合、シルエット生成部２０５は、相違度算出部２０３から個別相違度を、平滑度算出部２０４から個別平滑度を取得すればよい。
【００９１】
なお、シルエット生成部２０５は、上記で求めたような二値であるシルエット画像の画素値を、次に説明する形状生成部２０６又は図示しない外部の装置などでの使用に都合がよい値に変更してもよい。
【００９２】
形状生成部２０６は、シルエット画像を基に、対象物の形状を生成する。形状生成部２０６は、形状を生成する手法を、限定されない。例えば、形状生成部２０６は、非特許文献１に記載の手法を用いて、形状を生成してもよい。あるいは、形状生成部２０６は、シルエット画像を用いて対象物の領域を判定し、判定した領域と対象画像とを基に形状を生成してもよい。
【００９３】
形状生成部２０６は、形状の生成において、複数のシルエット画像を用いてもよい。この場合、形状生成部２０６は、所定の数のシルエット画像が生成されてから形状を生成してもよい。あるいは、形状生成部２０６は、シルエット画像が生成されるたびに、形状を生成してもよい。その際、形状生成部２０６は、必要に応じて、その前に生成された全て又は所定数のシルエット画像を用いてもよい。情報処理装置２００は、以前のシルエット画像を用いるため、シルエット画像を保存する図示しない記憶部を備えていてもよい。
【００９４】
結果出力部２０９は、シルエット画像及び／又は形状を所定の装置に送信する。結果出力部２０９は、図示しない表示部を含み、シルエット画像及び／又は形状を表示してもよい。
【００９５】
［動作の説明］
次に、第１の実施形態に係る情報処理装置２００の動作について、図面を参照して説明する。
【００９６】
図２は、第１の実施形態に係る情報処理装置２００の動作の一例を示すフローチャートである。
【００９７】
対象画像取得部２０７が、複数の撮影条件における対象画像を取得する（ステップＳ１０１）。
【００９８】
基準画像取得部２０８が、対象画像に対応した複数の基準画像を取得する（ステップＳ１０２）。
【００９９】
対象画像取得部２０７と基準画像取得部２０８との動作の順番は、上記に限定されない。基準画像取得部２０８が基準画像を取得してから、対象画像取得部２０７が、対象画像を取得してもよい。あるいは、対象画像取得部２０７と基準画像取得部２０８とは、並行に動作してもよい。
【０１００】
対象画像処理部２０１が、撮影条件それぞれにおいて、対象画像と基準画像とを基に対象構造画像を生成する（ステップＳ１０３）。
【０１０１】
基準画像処理部２０２が、撮影条件それぞれにおいて、対象画像と基準画像とを基に基準構造画像を生成する（ステップＳ１０４）。
【０１０２】
対象画像処理部２０１と基準画像処理部２０２との動作の順番は、上記に限定されない。基準画像処理部２０２が動作してから、対象画像処理部２０１が動作してもよい。あるいは、対象画像処理部２０１と基準画像処理部２０２とは、並行に動作してもよい。
【０１０３】
相違度算出部２０３が、対象構造画像と基準構造画像とを基に相違度を算出する（ステップＳ１０５）。より詳細には、相違度算出部２０３は、撮影条件それぞれにおける対象構造画像と基準構造画像との相違度である個別相違度を算出し、個別相違度を基に合成相違度を算出する。
【０１０４】
平滑度算出部２０４が、対象構造画像を基に平滑度を算出する（ステップＳ１０６）。より詳細には、平滑度算出部２０４は、撮影条件それぞれにおける対象構造画像の平滑度である個別平滑度を算出し、個別平滑度を基に合成平滑度を算出する。
【０１０５】
相違度算出部２０３と平滑度算出部２０４との動作の順番は、上記に限定されない。平滑度算出部２０４が動作してから、相違度算出部２０３が動作してもよい。あるいは、相違度算出部２０３と平滑度算出部２０４とは、並行に動作してもよい。
【０１０６】
シルエット生成部２０５が、合成相違度と合成平滑度とを基にシルエット画像を生成する（ステップＳ１０７）。
【０１０７】
形状生成部２０６が、シルエット画像を基に、対象物の形状を生成する（ステップＳ１０８）。
【０１０８】
そして、結果出力部２０９が、所定の装置に結果（シルエット画像及び／又は形状）を出力する（ステップＳ１０９）。
【０１０９】
このように、情報処理装置２００は、例えば、一つの画像（例えば、可視光画像）に対象物の影などが存在しても、他の画像（例えば、遠赤外画像）を用いるため、一つの画像を用いる場合に比べ頑健にシルエット画像を生成できる。その結果、情報処理装置２００は、頑健に形状を復元できる。
【０１１０】
例えば、対象画像が、可視光画像及び遠赤外画像の場合を説明する。
【０１１１】
可視光画像は、解像度が高く、ノイズが少ない。しかし、可視光画像の領域の中で、影、白とび、及び／又は黒潰れとなっていると領域があるとする。しかし、その領域は、遠赤外画像において、影、白とび、及び／又は黒潰れが存在していない可能性が高い。
【０１１２】
そこで、まず、対象画像処理部２０１及び基準画像処理部２０２が、可視光画像と遠赤外画像とのそれぞれにおける構造画像（対象構造画像及び基準構造画像）を生成する。
【０１１３】
そして、相違度算出部２０３が、可視光及び遠赤外の構造画像（対象構造画像と基準構造画像）を基に、可視光及び遠赤外それぞれにおける個別相違度を算出する。そして、相違度算出部２０３は、可視光及び遠赤外の個別相違度を基に合成相違度を算出する。
【０１１４】
相違度算出部２０３は、可視光及び遠赤外の構造画像を用いることで、可視光画像における影、白とび、及び／又は黒潰れの影響を除去しつつ、対象物の輪郭といった画像構造が高精度で低ノイズである合成相違度を算出できる。
【０１１５】
また、平滑度算出部２０４が、可視光及び遠赤外の対象構造画像を基に、可視光画像及び遠赤外画像それぞれにおける個別平滑度を算出する。そして、平滑度算出部２０４は、可視光及び遠赤外の個別平滑度を基に合成平滑度を算出する。
【０１１６】
平滑度算出部２０４は、可視光及び遠赤外の対象構造画像を用いることで、可視光画像における影、白とび、及び／又は黒潰れの影響を除去しつつ、対象物の輪郭といった画像構造が高精度で低ノイズである合成平滑度を算出できる。
【０１１７】
そして、シルエット生成部２０５は、上記の合成相違度と合成平滑度とを基にシルエット画像を生成する。
【０１１８】
このように、情報処理装置２００は、複数の対象画像と基準画像とを用いるため、いずれかの対象画像において影、白とび、及び／又は黒潰れの部分があっても、その影響を除去しつつ、正確なシルエット画像を生成できる。
【０１１９】
また、例えば、ガラスなどの対象物は、可視光において透明な領域である。しかし、その領域は、遠赤外画像においては透明ではない。情報処理装置２００は、可視光画像と遠赤外画像と用いることで、可視光において透明な領域があっても、その影響を除去しつつ、正確なシルエット画像を生成できる。
【０１２０】
また、情報処理装置２００は、対象画像の中に高画質の画像を含む場合、この高画質な画像に基づき、高精度にシルエット画像を生成できる。
【０１２１】
例えば、可視光画像と遠赤外画像との場合を説明する。可視光画像は、一般的に、遠赤外画像に比べ高画質（高解像度及び／又は低ノイズ）である。対象画像が、可視光画像と遠赤外画像とを含む場合、情報処理装置２００は、可視光画像における高解像度及び／又は低ノイズという特性を基に精度の高いシルエット画像を生成できる。そして、情報処理装置２００は、高精度のシルエット画像を用いるため、より高精度な形状を生成できる。
【０１２２】
図面を参照して、情報処理装置２００の動作をさらに説明する。
【０１２３】
図３は、第１の実施形態に係る動作を説明するための図である。図３は、可視光画像と遠赤外画像とを用いた場合の例示である。
【０１２４】
図３の左側の４つの画像が、対象画像と基準画像とである。
【０１２５】
最も上の画像及び３番目の画像における最も大きな直方体が、対象物である。対象物は、可視光において透過性がある物体である。
【０１２６】
その他の２つの直方体が、背景の物体である。背景の物体は、可視光において、表面に模様がある物体である。
【０１２７】
最も上の画像が、可視光の対象画像である。２番目の画像が、可視光の基準画像である。３番目の画像が、遠赤外の対象画像である。最も下の画像が、遠赤外の基準画像である。
【０１２８】
可視光の画像は、遠赤外の画像に比べ解像度が高い。ただし、可視光の対象画像には、対象物が透明なため、後ろの物体（後景）が見えている。
【０１２９】
一方、遠赤外の対象画像は、対象物の後ろ物体（後景）の輪郭線が発生していない。ただし、遠赤外の画像は、解像度が低い。
【０１３０】
対象画像処理部２０１は、可視光の対象画像及び基準画像、並びに、遠赤外の対象画像及び基準画像から、可視光の対象構造画像、及び、遠赤外の対象構造画像を生成する。
【０１３１】
基準画像処理部２０２は、可視光の対象画像及び基準画像、並びに、遠赤外の対象画像及び基準画像から、可視光の基準構造画像、及び、遠赤外の基準構造画像を生成する。
【０１３２】
図３の中央の４つの画像が、構造画像の一例である。
【０１３３】
最も上の画像が、可視光の対象構造画像である。２番目の画像が、可視光の基準構造画像である。３番目の画像が、遠赤外の対象構造画像である。最も下の画像が、遠赤外の基準構造画像である。
【０１３４】
可視光の対象構造画像において、表面の模様などが削除され、構造の画像となっている。ただし、可視光の対象構造画像では、対象物の後ろの物体の構造が残っている。また、可視光の対象構造画像では、対象物の一部の構造（輪郭線）が、影の影響のため、失われている。
【０１３５】
相違度算出部２０３は、可視光の対象構造画像及び基準構造画像、並びに、遠赤外の対象構造画像及び基準構造画像を用いて、可視光の個別相違度と遠赤外の個別相違度とを算出する。そして、相違度算出部２０３は、個別相違度を基に合成相違度を算出する。
【０１３６】
平滑度算出部２０４は、可視光の対象構造画像を基に可視光の個別平滑度を算出し、遠赤外の対象構造画像を基に遠赤外の個別平滑度を算出する。そして、平滑度算出部２０４は、個別平滑度を基に合成平滑度を算出する。
【０１３７】
シルエット生成部２０５は、合成相違度及び合成平滑度を基にシルエット画像を生成する。
【０１３８】
相違度算出部２０３及び平滑度算出部２０４は、解像度などについては可視光の構造画像に基づいて、後ろの物体（後景）の影響、白とび、黒潰れ、及び影の影響については遠赤外の構造画像に基づいて、それぞれ適切な合成相違度及び合成平滑度を算出する。
【０１３９】
その結果、シルエット生成部２０５は、より適切なシルエット画像を生成できる。
【０１４０】
図３の右側の画像が、シルエット画像の一例である。
【０１４１】
［効果の説明］
第１の実施形態の効果について説明する。
【０１４２】
このように、第１の実施形態に係る情報処理装置２００は、ガイドとなる情報を必要としないで、適切なシルエット画像を生成との効果を得ることができる。
【０１４３】
その理由は、次のとおりである。
【０１４４】
情報処理装置２００は、対象画像処理部２０１と、基準画像処理部２０２と、相違度算出部２０３と、平滑度算出部２０４と、シルエット生成部２０５とを含む。対象画像処理部２０１は、複数の撮影条件それぞれにおいて、対象物を含む対象画像と対象物を含まない基準画像とを基に対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成する。基準画像処理部２０２は、複数の撮影条件それぞれにおいて、対象画像と基準画像とを基に基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成する。相違度算出部２０３は、撮影条件それぞれにおける対象構造画像及び基準構造画像の相違度である個別相違度を算出し、個別相違度を基に合成相違度を算出する。平滑度算出部２０４は、撮影条件それぞれにおける対象構造画像の平滑度である個別平滑度を算出し、個別平滑度を基に合成平滑度を算出する。シルエット生成部２０５は、合成相違度と合成平滑度とを基に対象物のシルエット画像を生成する。
【０１４５】
対象画像処理部２０１及び基準画像処理部２０２は、複数の撮影条件それぞれの対象画像と基準画像とを用いて複数の撮影条件それぞれに対応した構造画像を生成する。そのため、いずれかの撮影条件における構造画像が劣化した領域を含む場合でも、他の撮影条件における構造画像が、その劣化した領域に対して、高精度の構造画像となっている可能性がある。
【０１４６】
相違度算出部２０３及び平滑度算出部２０４は、上記のような複数の撮影条件における構造画像を用いて複数の個別相違度及び個別平滑度を算出する。そして、相違度算出部２０３及び平滑度算出部２０４は、複数の個別相違度及び個別平滑度を基に合成相違度及び合成平滑度を算出する。そのため、相違度算出部２０３及び平滑度算出部２０４は、精度の高い合成相違度及び合成平滑度を算出できる。
【０１４７】
そして、シルエット生成部２０５は、精度の高い合成相違度及び合成平滑度を用いるため、対象画像の一部に劣化した領域が含まれていても、適切なシルエット画像を生成する。
【０１４８】
利用者などは、生成されたシルエット画像を用いた処理（例えば、形状の生成）を実行できる。
【０１４９】
さらに、情報処理装置２００は、形状生成部２０６を含む。形状生成部２０６は、シルエット画像を基に対象物の形状を生成する。上記のとおり、本実施形態において、シルエット画像は、高精度である。そのため、形状生成部２０６は、精度を向上した形状を生成する。
【０１５０】
利用者は、生成された精度の高い形状を用いて、対象物の形状を確認できる。
【０１５１】
さらに、情報処理装置２００は、対象画像取得部２０７と、基準画像取得部２０８と、結果出力部２０９とを含む。
【０１５２】
情報処理装置２００は、これらの構成を用いて、外部から対象画像及び基準画像を取得し、所定の装置に結果（シルエット画像及び／又は形状）を出力できる。
【０１５３】
ただし、情報処理装置２００は、図示しない記憶部を含み、その記憶部から対象画像及び／又は基準画像を取得してもよく、シルエット画像及び／又は形状をその記憶部に保存してもよい。この場合、情報処理装置２００は、対象画像取得部２０７、基準画像取得部２０８、形状生成部２０６、及び／又は結果出力部２０９を含まなくてもよい。
【０１５４】
［実施形態の概要］
図面を参照して第１の実施形態の概要を説明する。
【０１５５】
図４は、第１の実施形態の概要である情報処理装置２５０の構成の一例を示すブロック図である。
【０１５６】
情報処理装置２５０は、対象画像処理部２０１と、基準画像処理部２０２と、相違度算出部２０３と、平滑度算出部２０４と、シルエット生成部２０５とを含む。対象画像処理部２０１は、複数の撮影条件それぞれにおいて、対象物を含む対象画像と対象物を含まない基準画像とを基に対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成する。基準画像処理部２０２は、複数の撮影条件それぞれにおいて、対象画像と基準画像とを基に基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成する。相違度算出部２０３は、撮影条件それぞれにおける対象構造画像及び基準構造画像の相違度である個別相違度を算出し、個別相違度を基に合成相違度を算出する。平滑度算出部２０４は、撮影条件それぞれにおける対象構造画像の平滑度である個別平滑度を算出し、個別平滑度を基に合成平滑度を算出する。シルエット生成部２０５は、合成相違度と合成平滑度とを基に対象物のシルエット画像を生成する。
【０１５７】
対象画像処理部２０１及び基準画像処理部２０２は、複数の撮影条件それぞれの対象画像と基準画像とを用いて複数の撮影条件それぞれに対応した構造画像を生成する。そのため、いずれかの撮影条件における構造画像が劣化した領域を含む場合でも、他の撮影条件における構造画像が、その劣化した領域に対して、高精度の構造画像となっている可能性がある。
【０１５８】
相違度算出部２０３及び平滑度算出部２０４は、上記のような複数の撮影条件における構造画像を用いて複数の個別相違度及び個別平滑度を算出する。そして、相違度算出部２０３及び平滑度算出部２０４は、複数の個別相違度及び個別平滑度を基に合成相違度及び合成平滑度を算出する。そのため、相違度算出部２０３及び平滑度算出部２０４は、精度の高い合成相違度及び合成平滑度を算出できる。
【０１５９】
そして、シルエット生成部２０５は、精度の高い合成相違度及び合成平滑度を用いるため、対象画像の一部に劣化した領域が含まれていても、適切なシルエット画像を生成する。
【０１６０】
このように構成された情報処理装置２５０は、情報処理装置２００と同様に、ガイドとなる情報を必要としないで、適切なシルエット画像を生成するとの効果を奏する。
【０１６１】
その理由は、情報処理装置２５０における構成が、上記のとおり動作し、情報処理装置２００の構成と同様に、シルエット画像を生成するためである。
【０１６２】
なお、情報処理装置２５０は、第１の実施形態の最小構成である。
【０１６３】
［ハードウェアの説明］
情報処理装置２００を参照して、情報処理装置２００及び２５０のハードウェアの構成について説明する。
【０１６４】
情報処理装置２００は、次のように構成される。
【０１６５】
例えば、情報処理装置２００の各構成部は、ハードウェア回路で構成されてもよい。
【０１６６】
あるいは、情報処理装置２００において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。
【０１６７】
あるいは、情報処理装置２００において、複数の構成部は、１つのハードウェアで構成されてもよい。
【０１６８】
あるいは、情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とを含むコンピュータ装置として実現されてもよい。情報処理装置２００は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Ｉｎｐｕｔ  ａｎｄ  Ｏｕｔｐｕｔ  Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。情報処理装置２００は、上記構成に加え、さらに、ネットワークインターフェース回路（ＮＩＣ：Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。
【０１６９】
図５は、第１の実施形態に係る情報処理装置２００のハードウェア構成の一例である情報処理装置６００の構成を示すブロック図である。
【０１７０】
情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。
【０１７１】
ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示されている、各構成としての各機能を実現する。各構成とは、対象画像取得部２０７と、基準画像取得部２０８と、対象画像処理部２０１と、基準画像処理部２０２と、相違度算出部２０３と、平滑度算出部２０４と、シルエット生成部２０５と、形状生成部２０６と、結果出力部２０９とである。
【０１７２】
あるいは、情報処理装置２００は、ハードウェアとソフトウェア（プログラム）との組合せを用いて構成されてもよい。
【０１７３】
そのプログラムは、コンピュータで読み取り可能にプログラムを記憶した記録媒体７００に記録されて頒布されてもよい。この場合、ＣＰＵ６１０は、記録媒体７００が含むプログラムを、図示しない記録媒体読み取り装置を用いてＲＡＭ６３０又は内部記憶装置６４０に読み込み、読みこんだプログラムを基に動作すればよい。
【０１７４】
記録媒体７００は、例えば、オプティカルディスク、交換型磁気ディスク、又は、交換型半導体メモリである。
【０１７５】
あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０又は内部記憶装置６４０に保存して、保存したプログラムを基に動作してもよい。
【０１７６】
ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶媒体として使用してもよい。
【０１７７】
ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ−ＲＯＭ）又はフラッシュＲＯＭである。
【０１７８】
ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Ｄｙｎａｍｉｃ−ＲＡＭ）である。
【０１７９】
内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、又はディスクアレイ装置である。
【０１８０】
ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。
【０１８１】
ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び出力機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）カードである。さらに、ＩＯＣ６５０は、ＵＳＢのような有線に限らず、無線を用いてもよい。
【０１８２】
入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス、又はタッチパネルである。あるいは、入力機器６６０は、撮像装置でもよい。情報処理装置６００は、入力機器６６０を含んでもよい。この場合、入力機器６６０は、対象画像取得部２０７及び／又は基準画像取得部２０８として動作してもよい。
【０１８３】
出力機器６７０は、情報処理装置６００の操作者に対して情報を出力する機器である。出力機器６７０は、例えば、液晶ディスプレイ、又はプリンタである。情報処理装置６００は、出力機器６７０を含んでもよい。この場合、出力機器６７０は、結果出力部２０９として動作してもよい。
【０１８４】
ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）カードである。さらに、ＮＩＣ６８０は、有線に限らず、無線を用いてもよい。ＮＩＣ６８０は、対象画像取得部２０７、基準画像取得部２０８、及び／又は結果出力部２０９として動作してもよい。
【０１８５】
このように構成された情報処理装置６００は、情報処理装置２００と同様の効果を得ることができる。
【０１８６】
その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて情報処理装置２００と同様の機能を実現できるためである。
【０１８７】
［システムの説明］
図面を参照して、情報処理装置２００を含む情報処理システム３００を説明する。
【０１８８】
図６は、第１の実施形態に係る情報処理システム３００の構成の一例を示すブロック図である。
【０１８９】
情報処理システム３００は、情報処理装置２００と、画像取得装置３１０と、画像処理装置３２０とを含む。
【０１９０】
画像取得装置３１０は、対象画像と基準画像とを取得し、情報処理装置２００に送信する。対象画像と基準画像とを送信する装置は、一つの装置でもよく、複数の装置でもよい。
【０１９１】
図６は、一例として、画像取得装置３１０が、撮像装置３１１と画像記憶装置３１２とを含む場合を示す。
【０１９２】
撮像装置３１１は、常時又は利用者などからの指示を基に対象画像を撮影して、情報処理装置２００に送信する。
【０１９３】
画像記憶装置３１２は、予め基準画像と保持し、情報処理装置２００の要求に応じて基準画像を送信する。
【０１９４】
情報処理装置２００は、画像取得装置３１０から対象画像と基準画像とを取得する。そして、情報処理装置２００は、上記の動作を基に対象物のシルエット画像を生成する。そして、情報処理装置２００は、生成したシルエット画像を画像処理装置３２０に送信する。情報処理装置２００が形状生成部２０６を含む場合、情報処理装置２００は、画像処理装置３２０に形状を送信してもよい。
【０１９５】
画像処理装置３２０は、受信したシルエット画像（及び形状）を用いた処理を実行する。画像処理装置３２０の処理は、限定されない。例えば、画像処理装置３２０は、受信したシルエット画像を基に形状を生成し、生成した形状を表示してもよい。
【０１９６】
さらに、画像処理装置３２０は、生成した形状を示すための物を出力してもよい。例えば、画像処理装置３２０は、プリンタを用いて、生成した形状を印刷してもよい。あるいは、画像処理装置３２０は、３次元（３Ｄ（ｄｉｍｅｎｓｉｏｎ）プリンタを用いて、生成した形状を基に対象物の模型を生成してもよい。
【０１９７】
図６は、一例として、画像処理装置３２０が、表示装置３２１と３Ｄプリンタ３２２とを含む場合を示している。
【０１９８】
表示装置３２１は、情報処理装置２００からシルエット画像を受け取り、形状を生成し、生成した形状を表示する。表示装置３２１は、情報処理装置２００から形状を受け取り、受け取った形状を表示してもよい。
【０１９９】
３Ｄプリンタ３２２は、表示装置３２１又は情報処理装置２００から形状を取得し、形状を基に模型を生成する。
【０２００】
情報処理システム３００の利用者は、表示された形状、又は、生成された模型を基に、容易に対象物を確認できる。
【０２０１】
本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
【０２０２】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０２０３】
この出願は、２０１７年  ９月２２日に出願された日本出願特願２０１７−１８２５７８を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
【符号の説明】
【０２０４】
２００    情報処理装置
２０１    対象画像処理部
２０２    基準画像処理部
２０３    相違度算出部
２０４    平滑度算出部
２０５    シルエット生成部
２０６    形状生成部
２０７    対象画像取得部
２０８    基準画像取得部
２０９    結果出力部
２５０    情報処理装置
３００    情報処理システム
３１０    画像取得装置
３１１    撮像装置
３１２    画像記憶装置
３２０    画像処理装置
３２１    表示装置
３２２    ３Ｄプリンタ
６００    情報処理装置
６１０    ＣＰＵ
６２０    ＲＯＭ
６３０    ＲＡＭ
６４０    内部記憶装置
６５０    ＩＯＣ
６６０    入力機器
６７０    出力機器
６８０    ＮＩＣ
７００    記録媒体
【図１】
2019059120.tif 000003
【図２】
2019059120.tif 000004
【図３】
2019059120.tif 000005
【図４】
2019059120.tif 000006
【図５】
2019059120.tif 000007
【図６】
2019059120.tif 000008
【手続補正書】
【提出日】令和2年2月19日(2020.2.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の撮影条件それぞれにおいて、対象物を含む対象画像と前記対象物を含まない基準画像とを基に前記対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成する対象画像処理手段と、
複数の前記撮影条件それぞれにおいて、前記対象画像と前記基準画像とを基に前記基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成する基準画像処理手段と、
前記撮影条件それぞれにおける前記対象構造画像及び前記基準構造画像の相違度である個別相違度を算出し、前記個別相違度を基に合成相違度を算出する相違度算出手段と、
前記撮影条件それぞれにおける前記対象構造画像の平滑度である個別平滑度を算出し、前記個別平滑度を基に合成平滑度を算出する平滑度算出手段と、
前記合成相違度と前記合成平滑度とを基に前記対象物のシルエット画像を生成するシルエット生成手段と
を含む情報処理装置。
【請求項２】
前記シルエット画像を基に前記対象物の形状を生成する形状生成手段
をさらに含む請求項１に記載の情報処理装置。
【請求項３】
複数の前記対象画像を取得する対象画像取得手段と、
複数の前記基準画像を取得する基準画像取得手段と、
前記シルエット画像及び／又は前記形状を出力する結果出力手段と
を含む請求項２に記載の情報処理装置。
【請求項４】
前記相違度算出手段が、
前記合成相違度として、前記個別相違度を所定の比率を用いて加算した値を算出し、
前記平滑度算出手段が、
前記合成平滑度として、前記個別平滑度を加算した値を算出する
請求項１ないし３のいずれか１項に記載の情報処理装置。
【請求項５】
前記シルエット生成手段が、
前記シルエット画像として、前記シルエット画像の画素値と前記合成相違度との差、及び、前記シルエット画像の前記画素値における平滑度と前記合成平滑度との積を含む損失関数を最小とする前記画素値を算出する
請求項１ないし４のいずれか１項に記載に情報処理装置。
【請求項６】
前記撮影条件が、
波長帯域、露光量、露出時間、及び、撮影時間の少なくともいずれか一つに関連する条件である
請求項１ないし５のいずれか１項に記載の情報処理装置。
【請求項７】
請求項１ないし６のいずれか１項に記載の前記情報処理装置と、
前記対象画像と前記基準画像とを前記情報処理装置に送信する画像取得装置と、
前記情報処理装置から前記シルエット画像を受信して、前記シルエット画像を基に前記対象物の形状を算出し、算出した前記形状を示す物を出力する画像処理装置と
を含む情報処理システム。
【請求項８】
複数の撮影条件それぞれにおいて、対象物を含む対象画像と前記対象物を含まない基準画像とを基に前記対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成し、
複数の前記撮影条件それぞれにおいて、前記対象画像と前記基準画像とを基に前記基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成し、
前記撮影条件それぞれにおける前記対象構造画像及び前記基準構造画像の相違度である個別相違度を算出し、前記個別相違度を基に合成相違度を算出し、
前記撮影条件それぞれにおける前記対象構造画像の平滑度である個別平滑度を算出し、前記個別平滑度を基に合成平滑度を算出し、
前記合成相違度と前記合成平滑度とを基に前記対象物のシルエット画像を生成する
情報処理方法。
【請求項９】
複数の撮影条件それぞれにおいて、対象物を含む対象画像と前記対象物を含まない基準画像とを基に前記対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成する処理と、
複数の前記撮影条件それぞれにおいて、前記対象画像と前記基準画像とを基に前記基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成する処理と、
前記撮影条件それぞれにおける前記対象構造画像及び前記基準構造画像の相違度である個別相違度を算出し、前記個別相違度を基に合成相違度を算出する処理と、
前記撮影条件それぞれにおける前記対象構造画像の平滑度である個別平滑度を算出し、前記個別平滑度を基に合成平滑度を算出する処理と、
前記合成相違度と前記合成平滑度とを基に前記対象物のシルエット画像を生成する処理と
をコンピュータに実行させるプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
本発明の一形態におけるプログラムは、複数の撮影条件それぞれにおいて、対象物を含む対象画像と対象物を含まない基準画像とを基に対象画像に含まれる物体の形状的な特徴を示す要素の画像である対象構造画像を生成する処理と、複数の撮影条件それぞれにおいて、対象画像と基準画像とを基に基準画像に含まれる物体の形状的な特徴を示す要素の画像である基準構造画像を生成する処理と、撮影条件それぞれにおける対象構造画像及び基準構造画像の相違度である個別相違度を算出し、個別相違度を基に合成相違度を算出する処理と、撮影条件それぞれにおける対象構造画像の平滑度である個別平滑度を算出し、個別平滑度を基に合成平滑度を算出する処理と、合成相違度と合成平滑度とを基に対象物のシルエット画像を生成する処理とをコンピュータに実行させる。
【国際調査報告】
2019059120.tif 000009
2019059120.tif 000010
2019059120.tif 000011
2019059120.tif 000012