(57)【要約】【課題】３次元仮想空間上に構築した対象の特徴量と、実空間で対象を撮影して生成した画像の特徴量とを比較して対象を認識するときに、１枚の輝度画像のみで精度の高い認識を可能にする。【解決手段】シーン設定処理部１１は、データベース２に保存されている３次元モデルのシーンを設定し、画像生成処理部１２は、設定されたシーン毎に距離画像及び輝度画像を生成する。画像特徴算出処理部１３は、距離画像の特徴量及び輝度画像の特徴量を算出する。距離／輝度画像特徴量の相関係数算出処理部１４は、距離画像の特徴量と輝度画像の特徴量との間の相関係数を算出し、輝度→距離画像特徴変換式構築処理部１５は、相関性の高い部分を用いて、輝度画像の特徴量を距離画像の特徴量に変換する変換テーブルを作成する。【選択図】図２
2010238169.tif 000002
【特許請求の範囲】
【請求項１】
３次元仮想空間上に構築した対象の３次元モデルから取得した特徴量と、実空間で対象を撮影して生成した２次元実画像から取得した特徴量とを比較して対象を認識するときに、前記２次元実画像の特徴量を前記３次元モデルの特徴量に変換するための変換テーブルを作成する画像処理装置であって、
前記３次元モデルからシーン毎の距離画像及び輝度画像を生成する画像生成処理手段と、シーン毎の距離画像からその３次元特徴量を取得する距離画像特徴量取得手段と、シーン毎の輝度画像からその２次元特徴量を取得する輝度画像特徴量取得手段と、距離画像特徴量と輝度画像特徴量との相関関係に基づいて、前記変換テーブルを作成する変換テーブル作成手段とを有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
３次元モデルの特徴量は体積であり、２次元画像の特徴量は面積であることを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置において、
距離画像特徴量取得手段は、距離画像の表面形状データを取得する表面形状取得手段と、その表面形状を、視線を法線とする切断面で切断するとともに、切断面に対する表面の積分値を算出して、距離画像における大きさの特徴量を取得する大きさ特徴量取得手段とを有し、輝度画像特徴量取得手段は、輝度画像の見かけの面積を算出することを特徴とする画像処理装置。
【請求項４】
コンピュータを、請求項１〜３のいずれかに記載された画像処理装置の各手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理プログラムに関し、さらに詳しくは、３次元仮想空間上に構築した対象（３次元モデル）の特徴量と、実空間で対象を撮影して取得した２次元実画像の特徴量とを比較して対象の認識を行うときに、２次元実画像として１枚の輝度画像を用いるのみで精度の高い認識を行えるようにした画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
実空間で対象を撮影して取得した実画像と、予め仮想空間上に作成しておいた対象の３次元モデルとを比較することにより、対象の認識を行う方法として、特許文献１に記載された物体認識装置がある。
【０００３】
この物体認識装置によれば、３次元仮想空間上に構築した対象（３次元モデル）を３次元仮想空間上で撮影した２次元モデル画像から取得した特徴量（例えば低周波成分）と、実空間で対象を撮影して生成した２次元実画像から取得した特徴量との相関性を基に対象を認識する際、視点の異なる２台のカメラにより２枚の実画像を生成し、それぞれを認識することにより、高い認識率を得ることができるとされる。
【０００４】
しかしながら、この物体認識装置では、２台のカメラにより２枚の実画像を生成し、処理するので、ハードウェアのコストが高く、かつ画像処理量が多いという問題がある。
【０００５】
そこで、１枚の２次元実画像を用いて認識を行うことが考えられる。しかし、輝度カメラで被写体を撮影すると、画像平面上に輝度を中心投影するので、被写体の形状の凹凸のような３次元情報は欠損する。この情報の欠損により、被写体を識別する精度が低下する問題がある。例えば、被写体の大きさを比較する場合、実空間中では体積で大きさを比較できていたのが、画像面上に投影することにより、画像上での見かけの面積でしか大きさを比較できなくなる。これにより、対象物のカテゴリを大きさの特徴で識別していた場合、その識別の精度は格段に低下する。この問題を解決するため、輝度画像の特徴から３次元画像の特徴を高精度に推定する必要がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２７１９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題を解決するためになされたものであり、その目的は、３次元仮想空間上に構築した対象から取得した特徴量と、実空間で対象を撮影して生成した２次元実画像から取得した特徴量とを比較して対象を認識するときに、２次元実画像として１枚の輝度画像を生成するのみで精度の高い認識を可能にすることである。
【課題を解決するための手段】
【０００８】
本発明は、３次元仮想空間上に構築した対象の３次元モデルから取得した特徴量と、実空間で対象を撮影して生成した２次元実画像から取得した特徴量とを比較して対象を認識するときに、前記２次元実画像の特徴量を前記３次元モデルの特徴量に変換するための変換テーブルを作成する画像処理装置であって、前記３次元モデルからシーン毎の距離画像及び輝度画像を生成する画像生成処理手段と、シーン毎の距離画像からその３次元特徴量を取得する距離画像特徴量取得手段と、シーン毎の輝度画像からその２次元特徴量を取得する輝度画像特徴量取得手段と、距離画像特徴量と輝度画像特徴量との相関関係に基づいて、前記変換テーブルを作成する変換テーブル作成手段とを有することを特徴とする画像処理装置である。
【発明の効果】
【０００９】
本発明によれば、３次元仮想空間上に構築した対象から取得した特徴量と、実空間で対象を撮影して生成した２次元実画像から取得した特徴量とを比較して対象を認識するときに、２次元実画像として１枚の輝度画像を生成するのみで精度の高い認識が可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態の画像処理装置を実現するコンピュータシステムを示すブロック図である。
【図２】本発明の実施の形態の画像処理装置の機能ブロック図である。
【図３】距離画像の特徴量を説明するための図である。
【図４】輝度画像上の見かけの面積を説明するための図である。
【図５】距離画像の特徴量と輝度画像の見かけの面積との相関関係のパターンを示すグラフである。
【図６】距離画像の特徴量と輝度画像の見かけの面積との対応関係の例を示す図である。
【図７】輝度画像の見かけの面積を距離画像の特徴量に変換するための変換テーブルを示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の実施形態について説明する。
〈画像処理装置を実現するコンピュータシステム〉
本発明の画像処理装置は、図１に示すような一般的なコンピュータシステムにより実現することができる。このコンピュータシステムは、ＣＰＵ１０１ａ、ＲＯＭ１０１ｂ、及びＲＡＭ１０１ｃを内蔵する演算処理装置１０１と、それぞれが演算処理装置１０１に接続された操作装置１０２、表示装置１０３、及びＨＤＤ（ハードディスク装置）１０４を有する。
【００１２】
ＣＰＵ１０１ａは、このコンピュータシステム全体の制御等を行う。ＲＯＭ１０１ｂにはオペレーティングシステム等のプログラムや固定データが格納されている。ＲＡＭ１０１ｃには、ＣＰＵ１０１ａが各種処理を実行するときに、プログラムやデータが一時的に記憶される。
【００１３】
操作装置１０２は、マウスやキーボードからなり、ユーザがこのコンピュータシステムに対して、各種情報等を入力するために使用される。表示装置１０３は、液晶ディスプレイ等からなり、このコンピュータシステムの動作状態、ユーザが操作装置１０２から入力した情報等を表示する。
【００１４】
ＨＤＤ１０４には、対象物の３次元データ、後述する輝度画像の特徴量を距離画像の特徴量に変換する変換テーブル、画像処理プログラム等が格納される。
【００１５】
〈画像処理装置の機能ブロック〉
図２は、本実施形態の画像処理装置の機能ブロック図である。この機能ブロックは、図１に示すコンピュータシステムのＣＰＵ１０１ａが、ＲＯＭ１０１ｂ等に格納されているプログラムを実行することにより実現される。
【００１６】
画像処理装置１は、シーン設定処理部１１、画像生成処理部１２、画像特徴算出処理部１３、距離／輝度画像特徴量の相関係数算出処理部１４、及び輝度→距離画像特徴変換式構築処理部１５を備えている。
【００１７】
データベース２には、対象物の３次元データ（３次元モデル）が保存されているおり、そのデータが画像処理装置１に入力される。画像処理装置１に入力されたデータは、順次、シーン設定処理部１１、画像生成処理部１２、画像特徴算出処理部１３、距離／輝度画像特徴量の相関係数算出処理部１４、及び輝度→距離画像特徴変換式構築処理部１５で処理される。輝度→距離画像特徴変換式構築処理部１５の出力は輝度→距離画像特徴の対応関係のデータベース３に格納される。また、認識処理部４へ送出される。
【００１８】
〈画像処理装置の各部の処理の詳細〉
画像処理装置１の各部の処理を説明する前に、データベース２に格納する対象物の３次元データを生成する手順について説明する。
【００１９】
対象物の３次元データは３次元形状データ及び輝度データからなり、輝度画像カメラとステレオカメラにより獲得した全方位の輝度画像と距離画像から、生成したものである。３次元形状データは、対象物の表面上の各点を３次元位置ベクトルとして表現している。そして、この対象物の表面の各位置に、輝度画像カメラで取得した輝度値（輝度データ）を対応付け、３次元データとしている。
【００２０】
対象物が剛体でない（例えば人）の場合は、対象物の動きのある部位に、予め設定する関節モデルをマウス操作による手作業で当てはめる。対象物の３次元形状データは、関節モデルと連動して動くように設定している。
【００２１】
《シーン設定処理部１１及び画像生成処理部１２》
次にシーン設定処理部１１及び画像生成処理部１２について説明する。３次元仮想実験環境上で、上記のように作成した対象物の３次元データを下記（１）〜（３）のように操作することで、実空間で起こり得る対象物のあらゆる状況を再現（シミュレート）する。
【００２２】
（１）対象物の形状の変動について記す。対象物が剛体でなく、形状が変化する場合は、関節モデルをマウス操作の手作業により動かすことで、形状を変動させる。
（２）対象物の大きさの変動について記す。対象物に個体差があり、大きさが複数パターンあるような場合は、対象物の３次元データを同次変換行列により、拡大・縮小することで、大きさを変動させる。
（３）カメラ（仮想空間上のカメラ）の配置及び対象物への視線の向きを変動させる。
【００２３】
上記（１）〜（３）を繰り返すことで、対象物のあらゆるシーンを作り上げる。そして、（３）で設定したカメラの画像面上に、対象物の輝度及び距離を中心投影することで、輝度画像と距離画像を仮想的に生成する。
【００２４】
《画像特徴算出処理部１３》
上記のように仮想空間で生成した対象物の輝度画像及び距離画像を基に、輝度画像の特徴量から距離画像の特徴量を高精度に推定する手順を説明する。
【００２５】
ここでは、物体の大きさ特徴を基に、対象物とそれ以外を識別する場合を想定している。また対象物を人と想定している。ただし、これは一例であって、本発明では、大きさ以外にも、例えば、縦横比、長さ、輪郭形状の複雑さ、輪郭の周囲長など、様々な特徴量に適用できる。また、これらの物理量のみでなく、画像面上での見た目ベースの特徴量にも適用可能である。
【００２６】
画像特徴算出処理部１３は、シーン毎に以下の（４）〜（６）の処理を行う。
（４）仮想実験環境上で生成した距離画像から人の表面形状データを取得する。人の表面形状データは、見えている範囲内で全身のものを取得する。
【００２７】
（５）距離画像の表面形状データを基に人の体積を推定する。各部位（頭部、腕部、胸部、腹部、足部等）及び全身の表面を、視線を法線とする平面で切断する。この切断面はカメラから最も遠い点と交わる。切断面に対する表面の積分値を計算する。以後、この積分値を「距離画像における人の大きさの特徴量」と言う。後述するように、この「距離画像における人の大きさの特徴量」と、実際の人の体積の対応関係を求めることで、変換テーブルを作成する。
【００２８】
図３に、人２０１の横方向に延びる鉛直面を切断面２０２とした場合の全身の表面形状２０３の一例を示す。この表面形状２０３は切断面２０２の前方、つまり人の正面側の左右の中心を通る面２０４で切断した形状と言える。面２０４を横方向に移動させながら、図の斜線部の面積を積分することで、全身の前半分の体積を算出し、「距離画像における人２０１の大きさの特徴量」を取得する。
【００２９】
（６）仮想実験環境上で生成した輝度画像から人の輝度情報を取得する。この輝度情報として、見えている範囲で、頭部、腕部、足部、胸部、腹部毎及びそれらの組み合わせ、並びに全身のものを取得する。輝度画像の特徴量は、輝度画像上で見かけの面積（占有する画素数）として取得する。
【００３０】
図４に、２５６画素（水平方向１６×垂直方向１６）からなる輝度画像３０１上の人３０２の各部の見かけの面積を示す。ここでは、頭部が６画素、左右の腕部がそれぞれ７画素、６画素（腕部計１３画素）、胸部が８画素、腹部が１２画素、左右の足部がそれぞれ８画素、１２画素（足部計２０画素）である。
【００３１】
なお、（４）、（６）の処理において記載した画像上での人の各部位の認識は余り重要ではないので、特に説明しない。公知の各種認識処理を駆使して、各部位を識別する。
【００３２】
《距離／輝度画像特徴量の相関係数算出処理部１４》
距離／輝度画像特徴量の相関係数算出処理部１４は、シーン毎に以下の（７）、（８）の処理を行う。
【００３３】
（７）距離画像における人の大きさの特徴量と最も相関性の高い輝度画像の特徴量を仮想実験環境上のシミュレーション実験により決定する。
カメラと被写体（人）との位置関係と人の姿勢によっては、画像面上で最も大きく見える部位が頭部や臀部になることがある。例えば天井から見下ろす方向で撮影した人は、頭部が極端に大きく、肩部や腕部、足部の一部は見えるが、場合によっては完全に隠蔽されてしまったり、形状変化が激しく、データとして安定しない場合がある。そのような場合は、全身のデータを利用するよりも、頭部のみのデータを利用する方が、安定して高精度に輝度画像の面積を距離画像の体積に変換できると考えられる。
【００３４】
また、例えば，洋服の形状が奇抜であったり、頭部の髪型が奇抜であったり、何らかの着用するアイテムを持っているといった状況では、その部分のデータはノイズであるので、全身のデータを利用するよりも，ノイズのない部位のデータを利用した方が、安定して高精度に輝度画像の面積を距離画像の体積に変換できると考えられる。例えば、髪型が奇抜な場合は、頭部を除外して胴部のみのデータを利用しても構わないし、洋服等の着用品が奇抜な場合は、頭部のみのデータを利用した方が、安定して高精度に変換テーブルを構築できると考えられる。
【００３５】
つまり、シーン毎に最適な人の大きさ特徴は変化すると考えられる。しかし、このように大きく撮像されている体の部位が、人の大きさを求めるのに最も有効であるとは限らず、全身が大きく見えている場合でも、全身の情報を基にするより、頭部のみの情報を基にする方が精度が良い場合もある。
【００３６】
（８）上記（６）により、輝度画像における人の各部位及び全身の画像上での見かけの面積は取得済である。この各部位の面積毎に距離画像における人の大きさの特徴量との相関係数を求める。相関性が高い場合は、その部位の面積は距離画像における人の大きさの特徴量へ変換可能と考えられる。しかし、相関性が低ければ、変換は困難と考えられる。
【００３７】
図５は相関関係のパターンを示すグラフである。この図の横軸、縦軸は、それぞれ輝度画像における特徴量（面積）、距離画像における特徴量（体積）である。この図において、曲線Ｌ１は、横軸の値が大きくなるにつれて縦軸の値も大きくなり、かつ１対１に対応しており、相関性が高い。曲線Ｌ２は１対１対応ではあるが、横軸の値と縦軸の値の大小関係が逆であり、逆方向に相関している。しかし、曲線Ｌ３は横軸の値と縦軸の値の大小関係が変化し、かつ１対１に対応しないので、相関性がない。
【００３８】
《輝度→距離画像特徴変換式構築処理部１５》
輝度→距離画像特徴変換式構築処理部１５は、距離／輝度画像特徴量の相関係数算出処理部１４により算出された相関係数から、輝度画像の特徴量を距離画像の特徴量に変換する変換式（変換テーブル）を求める。
【００３９】
図６に、輝度画像における人の各部位の面積（横軸）と距離画像における人の大きさの特徴量（縦軸）の対応関係を示す。ここで、図６Ａ、Ｂは、それぞれ相関性が高い場合、低い場合のグラフである。
【００４０】
図６Ａに示すように、それぞれの次元の画像間の特徴量の相関性が高ければ、横軸と縦軸の対応関係は１対１対応になるので、輝度画像の特徴量（面積）を距離画像の特徴量（体積）に変換（射影）することができる。しかし、図６Ｂに示すように、それぞれの次元の画像間の特徴量の相関性が低ければ、横軸と縦軸の対応関係は多対多対応になる（例えば面積Ｓ１とＳ２が同じ体積Ｖ２に対応している）ので、輝度画像の特徴量を距離画像の特徴量に変換（射影）することができない。
【００４１】
人の場合、相関性の高くなる領域（面積、体積の変域）、低くなる領域は部位毎にまちまちである。そこで、距離画像における人の大きさの特徴量に対して高い相関性を持つ輝度画像から求めた面積を人の体の部位に選択して設定することで、距離画像における人の大きさの特徴量を恒常的に変換することを可能とする。これにより、図７に示すような変換テーブルをシーン毎に作成する。
【００４２】
この図の横軸、縦軸は図６と同様、輝度画像における人の各部位の面積、距離画像における人の大きさの特徴量（体積）である。この図において、細い実線及び網目の入った太い線からなる曲線は上半身の面積と全身の体積の対応関係を示し、細い点線及び縦線の入った太い線からなる曲線は全身の面積と全身の体積の対応関係を示す。
【００４３】
縦線の入った太い線は面積の小さい領域及び大きい領域で相関性が高い。つまり、人の全身の輝度画像の特徴量については、面積が小さい場合と大きい場合(小さい人及び大きい人)に距離画像における人の全身の大きさの特徴量（体積）との相関性が高い。一方、網目の入った太い線は面積が中間の領域で相関性が高い。つまり、人の上半身の輝度画像の特徴量については、面積が中間の場合に距離画像における人の全身の大きさの特徴量（体積）との相関性が高い。そこで、相関性の高い２種類の太い線を合わせた曲線を変換テーブルとする。この変換テーブルは輝度→距離画像特徴の対応関係のデータベース３に格納される。
【００４４】
この変換テーブルは、認識処理部４が、データベース２に格納されている対象の３次元モデルと、画像入力装置１０４が対象を撮影して生成した２次元実画像（輝度画像）とを比較して、公知の認識方法により対象の認識を行うときに、データベース３から読み出され、２次元実画像の特徴量を距離画像における人の大きさの特徴量に変換するために用いられる。
【００４５】
以上詳細に説明したように、本発明の実施形態によれば、輝度画像の特徴量を距離画像の特徴量に変換するための変換テーブルを作成する際、対象の撮影方向や距離の違い、対象の撮影部位の違い等々のシーンの違い毎に、変換の基となる最適な輝度画像特徴量及び距離画像特徴量を実験的に求め、輝度画像、距離画像間の特徴量の相関係数から、最適な画像特徴量を実験的に決定する。そして、実験データを統計解析することにより、シーン毎に輝度画像特徴から距離画像特徴への変換テーブルを構築する。従って、輝度画像しか取得できない状況でも、距離画像特徴量を利用して、高精度に対象を認識することができる。
【００４６】
なお、本実施形態の変換テーブルを用いることで、輝度画像特徴を距離画像特徴に変換することとは逆に、仮想空間上の３次元データから取得した距離画像特徴量を統計解析により、最適な輝度画像特徴量に置き換えること、及び３次元データを基に最適な輝度画像特徴量を選定することもできる。
【符号の説明】
【００４７】
１・・・画像処理装置、１１・・・シーン設定処理部、１２・・・画像生成処理部、１３・・・画像特徴算出処理部、１４・・・距離／輝度画像特徴量の相関係数算出処理部、１５・・・輝度→距離画像特徴変換式構築処理部。
【図１】
2010238169.tif 000003
【図２】
2010238169.tif 000004
【図３】
2010238169.tif 000005
【図４】
2010238169.tif 000006
【図５】
2010238169.tif 000007
【図６】
2010238169.tif 000008
【図７】
2010238169.tif 000009