(57)【要約】【課題】画像中に存在するものの認識精度を向上すること。【解決手段】被写体識別装置は、デプス画像取得手段により取得されたデプス画像から面を検出し、画像取得手段により取得された画像の中から、面検出手段で検出された面に対応する画像領域を切り出し、切り出された画像領域から、特徴量を抽出し、当該抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する。【選択図】図１
2014134856.tif 000002
【特許請求の範囲】
【請求項１】
対象物のデプス画像を取得するデプス画像取得手段と、
前記対象物の画像を取得する画像取得手段と、
前記デプス画像取得手段により取得されたデプス画像から面を検出する面検出手段と、
前記画像取得手段により取得された画像の中から、前記面検出手段で検出された面に対応する画像領域を切り出す画像加工手段と、
前記加工手段で切り出された画像領域から、特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する照合手段と
を備えることを特徴とする被写体識別装置。
【請求項２】
前記画像加工手段は、前記検出した面の向きの情報を用いて、前記切り出された画像領域の画像を幾何補正することを特徴とする、請求項１に記載の被写体識別装置。
【請求項３】
前記画像加工手段は、前記検出した面の向きが正面向きになるように、前記切り出された画像領域の画像を幾何補正することを特徴とする、請求項１に記載の被写体識別装置。
【請求項４】
前記照合の結果、一致すると判定された場合、対応する前記照合対象に対応付けられた投影元画像と投影相対位置とをデータベースから選択する投影元画像選択手段と、
前記面の検出により得られる前記面の向きの情報と、前記照合により得られる前記切り出された画像領域における前記対象物の位置および向きと、前記選択された投影相対位置とを用いて、前記投影元画像を補正する補正手段と、
前記補正された画像を投影する投影手段と
を備えることを特徴とする、請求項１に記載の被写体識別装置。
【請求項５】
前記補正手段による前記投影元画像の補正は、前記照合により得られるホモグラフィ行列を用いることを特徴とする、請求項４に記載の被写体識別装置。
【請求項６】
対象物を撮影してデプス画像を取得するデプス画像取得ステップと、
前記対象物を撮影して画像を取得する画像取得ステップと、
前記デプス画像から面を検出する面検出ステップと、
前記面検出ステップにおいて面が検出された場合、前記画像取得ステップにおいて取得した画像から、前記検出された面に対応する画像領域を切り出す画像加工ステップと、
前記画像加工ステップにおいて切り出された画像領域から特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する照合ステップと、
前記照合の結果、特徴量が一致すると判断された場合、前記照合対象となる画像の被写体を識別する情報を出力するステップと
を備えることを特徴とする被写体識別方法。
【請求項７】
前記特徴量抽出ステップは、前記画像加工ステップにおいて切り出された画像領域のうち、所定のサイズ以上の画像領域から特徴量を抽出することを特徴とする請求項６に記載の被写体識別方法。
【請求項８】
コンピュータを、
対象物のデプス画像を取得するデプス画像取得手段、
前記対象物の画像を取得する画像取得手段、
前記デプス画像取得手段により取得されたデプス画像から面を検出する面検出手段、
前記画像取得手段により取得された画像の中から、前記面検出手段で検出された面に対応する画像領域を切り出す画像加工手段、
前記加工手段で切り出された画像領域から、特徴量を抽出する特徴量抽出手段、
前記特徴量抽出手段で抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する照合手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像や映像中に存在する物を精度良く識別するための技術に関する。
【背景技術】
【０００２】
コンピュータビジョンの分野において、カメラ等で取得した画像から複数の特徴点を抽出し、抽出した特徴点とデータベースに登録された被写体画像の特徴点とを照合することで被写体認識を行う技術が知られている。図６を用いて、そのような技術の例を説明する。カメラ装置610などの装置に含まれる画像取得部601は、取得した画像を特徴量抽出部602に入力する。特徴量抽出部602は、入力画像から複数の特徴点を抽出する。照合部603は、特徴量抽出部602にて抽出した特徴点と、データベース604に登録された被写体画像の特徴点とを照合することで被写体認識を行う。
【０００３】
このような被写体認識技術で用いられる特徴量抽出のアルゴリズムとしては、撮影サイズや角度の変化、オクルージョンに対して頑健に識別可能とするために、画像内の特徴的な点（特徴点）を多数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式が提案されている。その代表的な方式として、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）が知られている。ＳＩＦＴについては、例えば、特許文献１や非特許文献１に、その詳細が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６７１１２９３号明細書
【非特許文献】
【０００５】
【非特許文献１】David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の文献に記載の技術により特徴量の抽出を行う被写体識別装置では、通常、撮影された画像全体の特徴量を抽出して照合を行う。そのため、認識対象物が画像中のどこに存在するかを考慮せずに利用できるようになる。一方で、撮影された画像の一部に認識対象物が存在した場合、画像全体から特徴量を抽出し、それらを照合する必要がある。この場合、本来特徴量抽出を行う必要がない領域から類似する特徴量が検出されるため、認識の精度が悪化することがある。
【０００７】
本発明は上記の課題を解決するためになされたものである。本発明の目的は、被写体識別の認識精度を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る被写体識別装置は、対象物のデプス画像を取得するデプス画像取得手段と、前記対象物の画像を取得する画像取得手段と、前記デプス画像取得手段により取得されたデプス画像から面を検出する面検出手段と、前記画像取得手段により取得された画像の中から、前記面検出手段で検出された面に対応する画像領域を切り出す画像加工手段と、前記加工手段で切り出された画像領域から、特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する照合手段とを備えることを特徴とする。
【０００９】
本発明に係る被写体識別方法は、対象物を撮影してデプス画像を取得するデプス画像取得ステップと、前記対象物を撮影して画像を取得する画像取得ステップと、前記デプス画像から面を検出する面検出ステップと、前記面検出ステップにおいて面が検出された場合、前記画像取得ステップにおいて取得した画像から、前記検出された面に対応する画像領域を切り出す画像加工ステップと、前記画像加工ステップにおいて切り出された画像領域から特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップで抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する照合ステップと、前記照合の結果、特徴量が一致すると判断された場合、前記照合対象となる画像の被写体を識別する情報を出力するステップとを備えることを特徴とする。
【００１０】
本発明に係るプログラムは、コンピュータを、対象物のデプス画像を取得するデプス画像取得手段、前記対象物の画像を取得する画像取得手段、前記デプス画像取得手段により取得されたデプス画像から面を検出する面検出手段、前記画像取得手段により取得された画像の中から、前記面検出手段で検出された面に対応する画像領域を切り出す画像加工手段、前記加工手段で切り出された画像領域から、特徴量を抽出する特徴量抽出手段、前記特徴量抽出手段で抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する照合手段として機能させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、被写体識別の認識精度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る被写体識別装置の構成を示すブロック図である。
【図２】本発明の第１実施形態に係る被写体識別方法の手順を示すフローチャートである。
【図３】本発明の第１実施形態に係る画像加工部の処理の手順を示すフローチャートである。
【図４】本発明の第２実施形態に係る画像加工部の処理の手順を示すフローチャートである。
【図５】本発明の第３実施形態に係る被写体識別装置の構成を示すブロック図である。
【図６】従来技術の原理を示す図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１４】
［第１実施形態］
図１は、本発明の第１実施形態としての被写体識別装置の機能構成を示すブロック図である。本発明による被写体識別装置は、主な機能構成として、デプス画像取得部１０１、面検出部１０２、画像加工部１０３、画像取得部１０４、特徴量抽出部１０５、照合部１０６、及び特徴量（被写体）データベース１０７を有する。デプス画像取得部１０１及び画像取得部１０４は、カメラ装置１１０の一部として構成することができるが、独立した構成として構成することもできる。
【００１５】
また、被写体識別装置は、ハードウェア構成として、制御部（ＣＰＵ（Central Processing Unit）など）、メモリ（ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）など）、記憶部（ハードディスクドライブなど）、通信部、表示部、及び操作部など、一般的なコンピュータが有する構成を備える。また、上記の各機能構成は、例えば、被写体識別装置が有する制御部が、記憶部からプログラムをメモリに展開して実行することで実現することができる。
【００１６】
デプス画像取得部１０１は、被写体（対象物）を撮像することで、又は外部装置と通信を行うことで、デプス画像を取得する。ここでデプス画像とは、２次元画像（ｘｄ、ｙｄ）に対して、カメラ装置からの距離ｚｄが与えられる画像のことである。デプス画像を構成する各画素は、３次元空間上の点であり、３次元座標（ｘｄ、ｙｄ、ｚｄ）で表現することができる。すなわち、デプス画像は３次元空間上の点の集合を表す点群データとして扱っても良い。デプス画像を取得する方法としては、例えば、パターンをもったレーザー光線を対象物にあて、反射光のパターンのひずみを三角測量で計測し、距離を測定する、パターン投射による3次元画像取得方法を用いる。また、光が往復するのにかかる時間から距離を計測するＴｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ方式を利用し、光をパルス変調して画角内に照射し、イメージ・センサ側でこのパルスの位相遅れを計測する3次元画像取得方法を用いてもよい。さらに、対象物を複数の異なる方向から同時に撮影することにより、その両眼視差を再現し、奥行き方向ｚｄの情報も記録できるようにしたステレオカメラによる3次元画像取得方法を用いても良い。
【００１７】
画像取得部１０４は、被写体（対象物）を撮像することで、又は外部装置と通信を行うことで、デプス画像ではない通常の２次元画像（以下、単に画像とも言う。）を取得する。画像取得部１０４は、デプス画像取得部１０１とおおよそ同じ方向から被写体を撮影した画像を取得する。取得したデプス画像と画像は、あらかじめそれぞれの画素単位で対応関係が定まっているものとする。例えば画像（ｘ、ｙ）に対して、ｘｄ＝ｘ+α、ｙｄ＝ｙ＋β、などの計算式で表現することができる。
【００１８】
デプス画像取得部１０１で取得されたデプス画像は、面を検出する面検出部１０２に入力される。
【００１９】
面検出部１０２では、デプス画像の中から面の領域を検出する処理を行う。ここで、面とは、3次元空間における連続領域のことであり、例えば平面であっても曲面であってもよい。面検出部１０２で検出する面の領域は、ひとつでも複数であってもよい。検出された面の領域は、画像加工部１０３に入力される。
【００２０】
面検出部１０２は、デプス画像の点群を、同一の面に属する点の部分集合に分割（セグメンテーション）することで、面の領域を検出することができる。具体的には、例えばデプス画像の各画素（点群の各点）に対して、その周辺の画素（点）の３次元座標値から法線ベクトルなどのパラメータ値を算出し、各画素（各点）の座標値とパラメータ値を用いてクラスタリングを行い、面領域を分割（セグメンテーション）することができる。こうすることで、各画素が持つ法線ベクトルの向きが連続的となっている領域を面として検出することができる。法線ベクトルの向きが連続的に変化しており、且つある一定の向きにそろっていることが条件とすれば、面の中でも特に平面を検出することができる。
【００２１】
ここで、デプス画像の各画素（点群の各点）に対して法線ベクトルを求める方法を説明する。デプス画像の各画素の周辺の画素の座標情報から法線ベクトルを算出する方法としては、共分散行列の主成分分析により求める方法がある。具体的には、ある注目画素に対して、その周辺の画素の座標値（xd、yd、zd）を用いて共分散行列（３×３行列）を算出する。そして、共分散行列の固有値と固有ベクトルを算出する。固有ベクトルのうち、固有値が最小となる固有ベクトルを、その注目画素の法線ベクトルとする。また、法線ベクトルを求める別の方法として、ある注目画素に対して、その周辺の画素の座標値から三角形を形成し、その外積をいくつか求め、その平均を法線ベクトルとする方法もある。
【００２２】
次に、デプス画像の各画素（点群の各点）に対して求まった法線ベクトルを用いて、面領域を分割（セグメンテーション）する方法について説明する。１つの方法としては、Ｒｅｇｉｏｎ  Ｇｒｏｗｉｎｇ（領域拡大）という方法がある。この方法は、法線ベクトルが類似する（すなわち法線ベクトル間の内積が大きい）周辺の画素（周辺の点）を順次マージしていき、面を分割する方法である。まずある画素（ある点）を領域の初期値として、その初期値の画素（点）の法線ベクトルと、その周辺の画素（周辺の点）の法線ベクトルと比較して、類似する法線ベクトルを持つ画素（点）を領域に追加する。これを順次行っていくことで、連続的に法線ベクトルが変化する画素（点）の集合を、面の領域として分割（セグメンテーション）することができる。
【００２３】
また、各画素（点群の各点）の３次元座標値と法線ベクトルなどのパラメータ値を用いて、グラフ理論に基づくカット手法を適用して、面の領域を分割（セグメンテーション）してもよい。具体的には、例えば、類似度を座標値間の距離と法線ベクトルの類似度に基づいて画素間（点間）の類似度を算出してグラフを形成し、Ｎｏｒｍａｌｉｚｅｄ  Ｃｕｔなどの手法で、画素（点）の集合を分割してもよい。
【００２４】
そのほかにも、平面を検出する手法には、従来は2次元の画像処理で直線認識に利用されていたHough変換を3次元に拡張した3次元Hough変換利用し、3次元的な直線、すなわち平面を検出する方法がある。デプス画像から得られる3次元座標情報を、3次元Hough変換を通すことで平面の領域の位置姿勢を検出することが可能となる。また、ハフ変換の他にもＲＡＮＳＡＣ（RANdom SAmple Consensus）などのロバスト推定手法を用いてもよい。また、最小二乗法を用いて推定してもよい。
【００２５】
以上のような方法により、面検出部１０２は、デプス画像から面の領域を検出する。面検出部１０２は、検出した面の領域を特定する情報を画像加工部１０３に入力する。ここで、面の領域を特定する情報とは、例えば、その面領域を構成するデプス画像の画素値の集合（点の集合）などである。また例えば、面の領域を特定する情報は、その面領域の輪郭線や、その面領域を含むバウンディング・ボックスなどの情報でもよい。
【００２６】
また、面検出部１０２は、面の領域を特定する情報だけでなく、同時に検出した面の向き示す情報を算出、出力してもよい。面の向きを示す情報は、例えば面が平面の場合は、その法線ベクトル（a,b,c）などでもよい。平面の向きを表す法線ベクトルは、例えば、その面を構成する画素集合（点集合）の各画素（各点）の法線ベクトルの平均として算出してもよい。なお、面の向きを示す情報は、後述する第２実施形態の画像加工部１０３で用いられる。第１実施形態においては、面の向きを示す情報の出力は不要である。
【００２７】
画像取得部１０４で取得された画像は、画像加工部１０３に入力される。
画像加工部１０３では、画像取得部１０４で取得された画像の中から、面検出部１０２で検出された面の領域に対応した画像領域を切り出し、切り出した画像領域を特徴量抽出部１０５に入力する。ここでは、物理的に切り出さなくても、検出された面の領域に対応した画像領域の四隅の座標値を与えるなど、画像中の画像領域を特定する情報を与える方法を用いてもよい。
【００２８】
画像加工部１０３は、例えば面検出部１０２から入力される面領域の情報が、デプス画像の画素値の集合（点の集合）である場合は、例えばその画素値の集合を含む２次元画像上のバウンディング・ボックスを求め、そのバウンディング・ボックスを切り出す画像領域としてもよい。またこのとき、面検出部１０２が検出した面領域に対応しない切り出された画像領域内の画素については、例えば単色で塗りつぶして画像情報を除去してもよい。
【００２９】
特徴量抽出部１０５では、画像加工部１０３から入力された画像領域に対して、特徴量を抽出する。例えばSIFT特徴量を用いて画像の特徴点から局所特徴量を抽出する。特徴量抽出部１０５で抽出した画像領域の特徴量は、照合部１０６に入力される。なお、ここではSIFT特徴量のような局所特徴量を例に挙げたが、それに限らず、グローバル特徴量を抽出してもよい。例えば、国際標準規格ISO/IEC 15938-3(MPEG-7 Visual)に規定されているColor Histogram, Color Layout, Edge Histogram, Image Signature, Video Signatureなどの視覚特徴量などを用いてもよい。
【００３０】
特徴量（被写体）データベース１０７には、あらかじめ識別の対象となる被写体画像から抽出された特徴量が格納されている。なお、特徴量データベース１０７にあらかじめ登録されている画像の特徴量は、特徴量抽出部１０５で用いた特徴量抽出と同じ方法で特徴量抽出されているものである。特徴量データベース１０７に登録されている特徴量は、例えば識別の対象となる被写体を正面から撮影した画像から抽出されたものであってもよい。
【００３１】
照合部１０６では、特徴量抽出部１０５で生成された画像領域の特徴量と、特徴量(被写体)データベース１０７にあらかじめ格納されている被写体画像の特徴量とを照合し、一致するデータがあるか否か（すなわち２つの画像の間で同一の被写体を含むか否か）を判定する。一致するデータがあると判定された場合、照合結果として、そのデータに基づいて、認識した対象物を特定する情報を出力する。
【００３２】
照合の方法としては、例えば、特徴量抽出部１０５から入力された特徴量が、多数の特徴点から抽出された局所特徴量（ＳＩＦＴ特徴量など）である場合、下記の方法で行うことができる。まず、入力された画像領域の特徴点と、特徴量(被写体)データベース１０７にあらかじめ登録されている被写体画像の特徴量データの特徴点との、局所特徴量間距離を用いて対応点を検出する。次に、対応点の位置関係から幾何学的整合性を検証することで、2つの画像間で共通の被写体を含むか否かを判定する。
【００３３】
対応点の検出では、例えば、入力画像の任意の特徴点と、参照画像の全ての特徴点との局所特徴量間のユークリッド距離を算出し、最小の距離値と2番目に小さい距離値との比率が閾値以下ならば、最小距離の特徴点を対応点と判定する方法を用いてもよい。2つの局所特徴量間距離の比率を用いることで、他の特徴点と比較して十分に局所特徴量間距離が小さい対応点のみを検出できるため、誤対応を抑制できる。
【００３４】
幾何学的整合性の判定では，例えば、対応点の位置関係を用いて画像間の幾何変換パラメータを推定する。推定する幾何変換モデルには基礎行列や射影変換行列（ホモグラフィ行列）などが用いられ，幾何変換パラメータの推定方法にはロバストな推定が可能なRANSAC(RANdom SAmple Consensus)を用いる方法がある。
【００３５】
RANSAC で推定した幾何変換パラメータに対して整合する対応点をインライア、それ以外の対応点を アウトライア（外れ値）とする。アウトライアに対してインライアが十分多ければ，推定した幾何変換パラメータの信頼度が高いと判断できるため，画像間で共通の被写体が含まれていると判定する。このように SIFT  特徴量などの局所特徴量とRANSAC を用いることで被写体を識別できる。
【００３６】
被写体を識別した結果、同一の被写体を含む画像を見つけた場合は、識別結果として、識別対象（被写体）を特定する識別情報を出力する。また、SIFT特徴量などの局所特徴量を用いた場合は、照合において幾何学的整合性の検証を行った結果、ホモグラフィ行列などの幾何変換の情報が得られるため、認識した識別対象の識別情報だけでなく、画像加工部１０３で切り取られた画像領域内での識別対象の位置（被写体の正確な位置）や方向を得ることができ、これらの情報（例えばホモグラフィ行列など）を出力することができる。
【００３７】
図２のフローチャートを参照して、上記したような被写体識別の処理方法について説明する。この処理は、例えば、被写体識別装置が有する制御部が、記憶部に記憶されたプログラムをメモリに展開して実行することで制御される。
【００３８】
まず、デプス画像取得部101および画像取得部104により被写体面を撮影する（ステップS201）。次に、面検出部102は、デプス画像取得部101から出力されたデプス画像に対して、面検出処理を行う（ステップS202）。次に、面検出部102により面が検出されたかを判断し（ステップS203）、検出されなかった場合には、処理を終了する。面が検出された場合には、画像加工部103は、画像取得部104により取得された画像の中から、面検出部102により検出された全ての面に対応する画像領域を切り出す処理が行われる（ステップS204）。
【００３９】
次に、特徴量抽出部105は、画像加工部103から出力された画像領域の中から、最大の画像領域に対して、特徴量を抽出する処理を行う（ステップS205）。次に、照合部106は、抽出した特徴量と、特徴量データベース107に登録された特徴量とを照合することによって、画像領域から抽出された特徴量の中に、特徴量データベースに登録されている特徴量データとマッチする特徴量があるかどうかを判定する（ステップS206）。
【００４０】
あると判定された場合には、照合部106は、照合結果として認識した対象物を特定する情報を出力し（ステップS207）、ないと判定された場合には当該情報を出力する処理をスキップする。その後、特徴量抽出していない画像領域が残っているかどうかが判定される（ステップS208）。画像領域が残っている場合には、再び最大の画像領域に対して特徴量抽出を行う処理（ステップS205）に戻り、その後、照合が行われていない画像領域がなくなるまでステップS205〜ステップS208を繰り返す。画像領域がなくなったら、処理を終了する。
【００４１】
以上が本実施形態における被写体識別処理の方法である。なお、上記は画像の処理の場合を記しているが、動画を処理する場合は、上記の処理を毎フレーム繰り返すことで対応できる。
【００４２】
図３のフローチャートを参照して、画像加工部103の処理について説明する。まず、画像加工部103は、画像取得部104から画像を得る（ステップS301）。次に、画像加工部103は、面検出部から面の領域を取得する（ステップS302）。最後に、画像加工部103は、面の領域と対応している画像領域を切り出し（ステップS303）、処理を終了する。
【００４３】
本実施形態によれば、映像中の認識対象物に対して面検出部１０２で検出されていない面に対応する画像領域に対しては特徴量抽出・照合を行わず、面検出されている面に対応する画像領域に対してのみ特徴量抽出・照合を行うことができるため、被写体識別の認識の精度を上げることができる。
【００４４】
また、画面全体が面検出される場合を除き、従来の画像全体の特徴量を抽出して照合を行う場合よりも、特徴量抽出・照合を行う画像領域を限定させることができるため、被写体識別の処理を高速化させることができる。
【００４５】
なお、図２の特徴量抽出していない画像領域が残っているかどうかを判定する（ステップS208）において、あるサイズ以上の画像領域が残っているかを判定するステップに変更することも可能である。画像領域のサイズにある閾値を設け、それより小さいサイズの領域、例えば特徴量抽出や照合処理が困難なほど小さい画像領域に対しては、ステップS205〜ステップS206を行っても結果が得られない、もしくは正確な結果が得られない場合がある。そのような小さなサイズの画像領域に対する特徴量抽出や照合処理をスキップすることで、さらに識別精度を高めることができる。また、無駄な特徴量抽出・照合処理をスキップすることができるため、処理を高速化することができる。
【００４６】
［第２実施形態］
次に、本発明の第２実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、画像加工部１０３において、切り出した画像領域に対して、向き補正を行う。この点で、画像加工部１０３において画像領域を切り出すだけである第１実施形態とは異なる。その他の構成および動作は、第１実施形態と同様であるため、同じ構成および動作については説明を省略する。
【００４７】
面検出部１０２で検出された面の領域に対応した画像領域を切り出し、切り出した画像を、検出した面の向きの情報を用いて幾何補正する。ここで幾何補正とは、例えば拡大・縮小、アフィン変換、射影変換などを含む幾何変換により画像を補正する処理である。例えば、画像加工部１０３は、面検出部１０２で検出した面の向きが正面向きになるように、切り出された画像領域の画像を幾何補正してもよい。ここで正面向きとは、画像取得部１０４で取得する画像面に対して平行になる向き、すなわちカメラの光軸（ｚ軸）に対して垂直になる向き、のことである。
【００４８】
画像加工部１０３が、面検出部１０２で検出した面の向きを用いて、画像を幾何補正する具体例について説明する。検出した面の向きは、例えば、その面の法線ベクトル（a、ｂ、ｃ）として表現することができる。面の法線ベクトルの算出方法については、第１実施形態の面検出部１０２で説明した。第２実施形態においては、面検出部１０２は、面の法線ベクトル（ａ，ｂ，ｃ）などの面の向きを示す情報も画像加工部１０３に供給する。
【００４９】
向きの補正方法に関して、例として下記では面検出部１０２で検出された面が平面である場合、および、画像加工処理１０３において、画像を正面に向ける場合について、説明する。
【００５０】
面検出部１０２が出力した面の向きを表す法線ベクトル（ａ，ｂ，ｃ）を用いて、面に対応する画像領域の画像を、正面から撮影した画像に幾何変換することで画像を補正する（幾何補正）。これにより、面を正面に向けた画像を生成することができる。ここで、幾何補正により補正された画像を補正画像と呼ぶ。
【００５１】
補正画像の生成方法の一例ついて、説明する。ここで、画像取得部１０４のカメラ装置に対するｘｙｚ座標系を定義する。ｘ軸を画像面（画像取得部１０４が取得した画像）の左右方向（右向きを正とする）、ｙ軸を画像面の上下方向（下向きを正とする）、ｚ軸をカメラ装置の光軸方向（撮影された画像面の方向を正とする）とする。また、カメラ装置の光学中心を原点０、焦点距離をｆとする。
【００５２】
まず、ｘｙｚ座標系のｚ軸を、検出した面の法線ベクトル（ａ，ｂ，ｃ）の向きに回転することを考える。すなわち、次の式
【数１】
2014134856.tif 000003
を満たすような回転行列Ｒ（3×3行列）について考える。こうすることで、検出した面に対して正面向きの視点を得ることができる。なお、法線ベクトル（ａ，ｂ，ｃ）は単位ベクトルに正規化されているものとする。ここで回転は、まずｙ軸まわりにφだけ回転し、次にｘ軸まわりにθだけ回転する、という手順で行うものとする。すると、回転角θとφは、ａ，ｂ，ｃを用いると、次式で算出される。
【数２】
2014134856.tif 000004
【数３】
2014134856.tif 000005
【００５３】
従って、回転行列Ｒは、次式として求められる。
【数４】
2014134856.tif 000006
【００５４】
次に、画像座標（ｘ、ｙ）を検出した面上に座標変換することを考える。つまり、画像面の１点に対応する原点０からの３次元ベクトル（ｘ、ｙ、ｆ）を延長した時に、検出した面と交差する点ｐを座標変換後の画像座標とする。ｘｙｚ座標系を基準として、点ｐに対応する３次元ベクトルをＰとすると、Ｐは次式で表される。
【数５】
2014134856.tif 000007
【００５５】
ここでｋはｋ＞０であり、原点０から面までの距離を表す拡大係数である。ここで、検出した平面と正対させたときの３次元ベクトルＰ´は、Ｐに対して回転行列Ｒを用いて座標変換することで、求まる。
【数６】
2014134856.tif 000008
【００５６】
数式６の３次元ベクトルＰ´のｘ座標、ｙ座標を、点（ｘ，ｙ）の座標変換後の画像座標とすることで、幾何補正後の画像座標（ｘ，ｙ）を取得できる。すなわち、整理すると次式となる。
【数７】
2014134856.tif 000009
【００５７】
数式７を用いて画像面上のある座標（ｘ，ｙ）を補正画像の座標（Ｘ，Ｙ）に座標変換することで、補正画像を生成できる。補正画像の画像座標（Ｘ，Ｙ）に対応する変換前の画像座標（ｘ，ｙ）は一般に整数にならないが、最近傍補間、バイリニア補間、バイキュービック補間やB-スプライン補間法などの補間方法を用いればよい。
【００５８】
上記したような画像加工部１０３で行われる画像の切り出し及び向き補正の方法について、図４のフローチャートにより説明する。まず 、画像取得部から画像を得る（ステップS401）。次に、面検出部から面の領域を取得し、面の領域から面の向きを表す ３つのパラメータを求める（ステップS402）。次に、面の領域と対応している画像領域を切り出す（ステップS403）。次に、得られた（ａ，ｂ，ｃ）を基に、先に説明した手順で回転行列Ｒを算出する（ステップS404）。最後に、以上の手順で求めた（ａ，ｂ，ｃ ）及び回転行列Ｒを基に、数式７の座標変換を施すことにより向き補正画像を作成し（ステップS405）、処理を終了する。
【００５９】
なお、上記の例では特徴量（被写体）データベース１０７の特徴量を取得した画像が正面向きで登録されていることが多いため、正面向きに補正と記述したが、必ずしも正面向きに補正する必要はなく、データベース画像と同じ向きに補正すればよい。
【００６０】
本実施形態によれば、画像加工部５０３は、映像中の認識対象物に対して面検出部１０２にて面検出されている面に対応する画像取得部５０４で取得された画像の画像領域に対して、画像の向きを補正して特徴量抽出・照合を行うことができる。そのため、被写体識別の認識の精度を上げることができる。
【００６１】
また、画面全体が面検出される場合を除き、従来の画像全体の特徴量を抽出して照合を行う場合よりも、特徴量抽出・照合を行う画像領域を限定させることができるため、被写体識別の処理を高速化させることができる。
【００６２】
［第３実施形態］
次に、本発明の第３実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、第１実施形態および第２実施形態と比べると、被写体識別を行った後、被写体識別結果とその被写体の位置や面の向きを示す情報を用いて、識別結果に応じた画像を、識別された位置や面の向きに応じて投影する点で異なる。その他の構成および動作は、第１実施形態および第２実施形態と同様であるため、同じ構成および動作については説明を省略する。
【００６３】
照合部５０６は、特徴量抽出部５０５において抽出された特徴量と特徴量（被写体）データベース５０７に登録された特徴量とを照合する。照合部５０６は、照合の結果、特徴量（被写体）データベース５０７に一致するデータがあると判定した場合、照合結果として、そのデータの識別情報（識別結果（ID））と、画像加工部５０３において切り取られた画像領域における被写体の位置や向きの情報（識別結果（位置））とを出力する。識別結果（ID）と識別結果（位置）は、それぞれ投影元画像選択部５０８、投影画像補正部５１１に入力される。
【００６４】
投影元画像選択部５０８では、投影元画像データベース５０９の中から、入力された照合結果（ID）に対応付けられた投影元画像と投影相対位置を選択して投影画像補正部５１１に出力する。投影元画像は、被写体画像に対応づけられて予め投影元画像データベース５０９に登録された画像である。投影相対位置は、後述する画像投影部５１２において投影元画像を投影するときの相対位置である。
【００６５】
投影画像補正部５１１では、前記面検出部５０２から得られた面の向きを示す情報と、照合部５０６で得られた被写体の位置や向きの情報（識別結果（位置））の情報を利用し、投影元画像データベース５０９からの投影元画像に対して補正を行う。また、投影位置に関しては、照合手段からの識別結果（位置）と、投影元画像データベース５０９からの投影相対位置から、投影位置を決定する。なお、画像取得部５０４の撮像エリアと画像投影部５１２の投影エリアはキャリブレーションされ、あらかじめそれぞれの画素単位で対応関係が定まっているものとする。
【００６６】
ここで、局所特徴量（SIFT特徴量など）を用いた被写体識別の場合の投影画像補正部５１１の具体的な処理の方法について、説明する。1つの方法としては、照合において幾何学的整合性の検証を行った際に得られるホモグラフィ行列を用いて補正を行う方法がある。ホモグラフィ行列は、画像領域内での識別対象の位置（被写体の正確な位置）と向きを表現している。
【００６７】
まず、投影元画像の各画素（Ｘ，Ｙ）に対して、それぞれ投影相対位置の分だけ移動させる。その後、ホモグラフィ行列による幾何変換を行い、（Ｘｎ，Ｙｎ）を得る。その後、面の向きを示す情報から得られる、数式７の逆変換である数式８を用いて、ホモグラフィ行列によって幾何変換された投影元画像の各画素の座標（Ｘｎ，Ｙｎ）を２次元画像上の座標（ｘｎ、ｙｎ）に座標変換することで、補正された画像を得ることができる。なお、（ｘｎ、ｙｎ）を求めるための（Ｘｎ，Ｙｎ）は一般に整数にならないが、第２実施形態で例として挙げた最近傍補間、バイリニア補間、バイキュービック補間やB-スプライン補間法などの補間方法を用いればよい。
【数８】
2014134856.tif 000010
補正された画像は、画像投影部５１２に出力される。
【００６８】
画像投影部５１２では、投影画像補正部５１１において補正された画像を投影する。画像投影部５１２は、例えば、プロジェクターなどにより構成される。
【００６９】
本実施形態によれば、被写体識別によって被写体に応じた投影画像を選択し、検出された面に対応する投影画像補正をかけた画像を投影できる。例えば、本実施形態を用いると、紙面に印刷された被写体画像を識別し、被写体画像に対応した投影画像を、同じ紙面上に紙面と同じ角度で投影させることが可能となる。
【００７０】
［他の実施形態］
以上、いくつかの実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００７１】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【００７２】
上述した実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明を以下のように限定するものではない。
【００７３】
（付記１）  対象物のデプス画像を取得するデプス画像取得手段と、
前記対象物の画像を取得する画像取得手段と、
前記デプス画像取得手段により取得されたデプス画像から面を検出する面検出手段と、
前記画像取得手段により取得された画像の中から、前記面検出手段で検出された面に対応する画像領域を切り出す画像加工手段と、
前記加工手段で切り出された画像領域から、特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する照合手段と
を備えることを特徴とする被写体識別装置。
（付記２）  前記画像加工手段は、前記検出した面の向きの情報を用いて、前記切り出された画像領域の画像を幾何補正することを特徴とする、付記１に記載の被写体識別装置。
（付記３）  前記画像加工手段は、前記検出した面の向きが正面向きになるように、前記切り出された画像領域の画像を幾何補正することを特徴とする、付記１に記載の被写体識別装置。
（付記４）  前記照合の結果、一致すると判定された場合、対応する前記照合対象に対応付けられた投影元画像と投影相対位置とをデータベースから選択する投影元画像選択手段と、
前記面の検出により得られる前記面の向きの情報と、前記照合により得られる前記切り出された画像領域における前記対象物の位置および向きと、前記選択された投影相対位置とを用いて、前記投影元画像を補正する補正手段と、
前記補正された画像を投影する投影手段と
を備えることを特徴とする、付記１に記載の被写体識別装置。
（付記５）  前記補正手段による前記投影元画像の補正は、前記照合により得られるホモグラフィ行列を用いることを特徴とする、付記４に記載の被写体識別装置。
（付記６）  対象物を撮影してデプス画像を取得するデプス画像取得ステップと、
前記対象物を撮影して画像を取得する画像取得ステップと、
前記デプス画像から面を検出する面検出ステップと、
前記面検出ステップにおいて面が検出された場合、前記画像取得ステップにおいて取得した画像から、前記検出された面に対応する画像領域を切り出す画像加工ステップと、
前記画像加工ステップにおいて切り出された画像領域から特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する照合ステップと、
前記照合の結果、特徴量が一致すると判断された場合、前記照合対象となる画像の被写体を識別する情報を出力するステップと
を備えることを特徴とする被写体識別方法。
（付記７）  前記特徴量抽出ステップは、前記画像加工ステップにおいて切り出された画像領域のうち、所定のサイズ以上の画像領域から特徴量を抽出することを特徴とする付記６に記載の被写体識別方法。
（付記８）  コンピュータを、
対象物のデプス画像を取得するデプス画像取得手段、
前記対象物の画像を取得する画像取得手段、
前記デプス画像取得手段により取得されたデプス画像から面を検出する面検出手段、
前記画像取得手段により取得された画像の中から、前記面検出手段で検出された面に対応する画像領域を切り出す画像加工手段、
前記加工手段で切り出された画像領域から、特徴量を抽出する特徴量抽出手段、
前記特徴量抽出手段で抽出した特徴量と、照合対象となる画像から抽出された特徴量とを照合する照合手段
として機能させるためのプログラム。
【図１】
2014134856.tif 000011
【図２】
2014134856.tif 000012
【図３】
2014134856.tif 000013
【図４】
2014134856.tif 000014
【図５】
2014134856.tif 000015
【図６】
2014134856.tif 000016