(57)【要約】【課題】観察対象とそのカメラ画像との特徴点マッチングの精度および速度を、計算コストや使用メモリ量を増加させることなく向上させる。【解決手段】観察対象Mを複数の方向から観察して得られた各画像から検出される各第１特徴点の三次元座標と当該観察対象を撮影したカメラ画像Icaから検出される各第２特徴点とを対応付ける画像処理装置において、局所特徴量を所定の分類規則により分類する分類器３２ａと、局所特徴量の分類結果に対して三次元座標および視点の確率分布を与える確率分布のデータベース３２ｂと、第２特徴点の局所特徴量を分類器３２ａに適用して得られる分類結果と前記確率分布とに基づいて、第２特徴点の局所特徴量と三次元座標および視点との対応関係を識別する識別部３２ｄと、第２特徴点の局所特徴量と視点との対応関係に基づいて、第２特徴点の局所特徴量と三次元座標との対応関係を高精度化する高精度化部手段３ｂとを具備した。【選択図】図３
2014106641.tif 000002
【特許請求の範囲】
【請求項１】
観察対象を複数の視点から観察して得られた各画像から検出される各第１特徴点の三次元座標と当該観察対象を撮影したカメラ画像から検出される各第２特徴点とを対応付ける画像処理装置において、
局所特徴量を所定の分類規則により分類する分類手段と、
前記局所特徴量の分類結果に対して三次元座標およびカメラ画像内の観察対象に対する視点の各対応関係を与える各確率分布のデータベースと、
第２特徴点の局所特徴量を前記分類手段に適用して得られる分類結果と前記確率分布とに基づいて、第２特徴点と三次元座標および視点との対応関係を識別する識別手段と、
前記第２特徴点と視点との対応関係に基づいて、前記第２特徴点と三次元座標との対応関係を高精度化する手段とを具備したことを特徴とする画像処理装置。
【請求項２】
前記第２特徴点と視点との対応関係に基づいて前記カメラ画像内の観察対象に対する視点を少なくとも一つ決定する手段をさらに具備し、
前記高精度化する手段は、前記決定された視点では前記観察対象から得られない第１特徴点の三次元座標を対応点候補から除外することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記高精度化する手段は、前記観察対象を複数の視点から観察して得られた各画像から各第１特徴点の三次元座標を検出した際に前記決定された視点の画像からは検出できなかった第１特徴点の三次元座標を対応点候補から除外することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２特徴点と三次元座標との対応関係における各尤度に基づいて、前記第２特徴点と視点との対応関係を閾値処理する手段をさらに具備し、
前記視点を決定する手段は、前記閾値処理後の第２特徴点と視点との対応関係に基づいて前記カメラ画像内の観察対象に対する視点を決定することを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
三次元座標ラベルおよび視点ラベルの付された各第１特徴点の局所特徴量を前記分類器に適用して前記各確率分布を学習する学習手段をさらに具備したことを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記観察対象を複数の視点で観察して得られた各画像から検出される各第１特徴点が、その視点位置に基づいて当該視点数よりも少なく、当該観察対象から略等距離かつ略等間隔に離散化された複数の視点候補の中の最近傍のものに分類され、同一の視点候補に分類された第１特徴点には同一の視点ラベルが付されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１特徴点が検出された各画像は、前記観察対象を複数の方向及び距離から観察することで得られ、
前記各第１特徴点は、その視点位置に基づいて、観察対象からの距離を含めて等間隔に離散化された複数の視点候補の中から最近傍のものに分類され、同一の視点候補に分類された第１特徴点には同一の視点ラベルが付されることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記第１特徴点の中から、カメラ画像において特徴点として検出されやすい三次元座標を選択する手段をさらに具備し、
前記学習手段は、前記検出されやすい三次元座標に対応する特徴点の局所特徴量に基づいて前記三次元座標の確率分布を学習することを特徴とする請求項５ないし７のいずれかに記載の画像処理装置。
【請求項９】
前記第１特徴点の中から、カメラ画像において特徴点として検出されやすい三次元座標を選択する手段をさらに具備し、
前記学習手段は、前記検出されやすい三次元座標に対応する特徴点の局所特徴量に基づいて前記三次元座標および視点の各確率分布を学習することを特徴とする請求項５ないし７のいずれかに記載の画像処理装置。
【請求項１０】
前記局所特徴情報が、各特徴点およびその近傍から切り出されたパッチ画像であることを特徴とする請求項１ないし９のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察対象の三次元座標と当該観察対象をカメラで撮影して得られるカメラ画像の二次元座標とを対応付けてカメラ姿勢の推定等に活用する画像処理装置に係り、特に、計算コストや使用メモリ量を増加させることなく高速かつ高精度での対応付けを可能にする画像処理装置に関する。
【背景技術】
【０００２】
近年、現実空間の映像をコンピュータで処理して更なる情報を付加するAR（拡張現実感）技術が、WEBカメラの接続されたPCや、カメラ付き携帯電話端末上で実現されるようになっている。AR技術では、カメラ画像内の対象物に対するカメラ姿勢（カメラの外部パラメータ）を推定する必要があり、センサや基準マーカを利用した手法等が用いられている。また、形状や画像情報が既知である三次元物体を対象物としてカメラ姿勢を推定する技術が検討されている。
【０００３】
特許文献１には、三次元物体を複数の視点から撮影した記憶画像を用意し、入力画像と記憶画像の間の特徴点マッチングによって最も類似する記憶画像（視点）を特定する技術が開示されている。視点の特定後は、その記憶画像と入力画像との間で対応点が取得されてカメラ姿勢が算出される。
【０００４】
非特許文献１には、特徴点のクラス分類によって、特徴点を対象物に対する視点の候補に分類することで視点を推定する技術が開示されている。特許文献２には、対象物に対する視点の情報を利用して、高精度な対応点を取得する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−８３８５５号公報
【特許文献２】特願２０１２−１７４３２０号
【非特許文献】
【０００６】
【非特許文献１】平井 悠貴, 鈴木 覚, 藤吉 弘亘, "2段階のRandomized Treesによる高速3次元物体認識", 画像センシングシンポジウム, IS1-15, 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１，２では、視点推定の精度が記憶画像の撮影角度に依存するため、特定の方向から撮影された対象物に対しては十分な視点推定の精度が得られないという問題点があった。
【０００８】
非特許文献１では、限られた姿勢の範囲で撮影された三次元物体に対しては十分な視点推定精度が得られるものの、推定する視点の候補が増えた場合に推定精度が劣化する。そのため、対象とする三次元物体が任意の方向から撮影された入力画像に対しては十分な視点推定精度が得られないという問題点があった。
【０００９】
さらに、特許文献１および非特許文献１の従来技術をカメラ姿勢推定問題に適用した場合、視点の推定と対応点の取得の２段階のマッチング処理を行う必要があることで、カメラ姿勢推定処理全体の計算量が増加するという問題点があった。
【００１０】
本発明の目的は、上述の技術課題を解決し、観察対象とそのカメラ画像との特徴点マッチングの精度および速度を、計算コストや使用メモリ量を増加させることなく向上させることを可能にした画像処理装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、観察対象を複数の視点から観察して得られた各画像から検出される各第１特徴点の三次元座標と当該観察対象を撮影したカメラ画像から検出される各第２特徴点とを対応付ける画像処理装置において、局所特徴量を所定の分類規則により分類する分類手段と、局所特徴量の分類結果に対して三次元座標および視点の各対応関係を与える各確率分布のデータベースと、第２特徴点の局所特徴量を前記分類手段に適用し得られる分類結果と前記確率分布とに基づいて、第２特徴点の局所特徴量と三次元座標および視点との対応関係を識別する識別手段と、第２特徴点の局所特徴量と視点との対応関係に基づいて、前記第２特徴点の局所特徴量と三次元座標との対応関係を高精度化する手段とを具備した点に特徴がある。
【発明の効果】
【００１２】
本発明によれば、カメラ画像から検出された特徴点の局所特徴量を分類器に一度適用するだけで、この局所特徴量に対応した3D座標および視点の双方が同時に求まるので、観察対象とそのカメラ画像との特徴点マッチングの精度および速度を、計算コストや使用メモリ量を増加させることなく向上させることが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明が適用されるARシステムの構成を示した機能ブロック図である。
【図２】カメラ視点推定部３ａの機能を模式的に示した図である。
【図３】カメラ視点推定部３ａの第１実施形態の機能ブロック図である。
【図４】第１実施形態におけるFerns分類器を用いたパッチ画像の分類方法を示した図である。
【図５】学習処理のフローチャートである。
【図６】学習処理の模式図である。
【図７】教師データに用いる特徴点の選択方法を示した図である。
【図８】視点候補の設定方法を示した図である。
【図９】カメラの焦点位置の計算方法を示した図である。
【図１０】識別処理のフローチャートである。
【図１１】3D座標および視点の求め方を示した図である。
【図１２】カメラ視点推定部３ａの第２実施形態の機能ブロック図である。
【図１３】第２実施形態におけるFerns分類器を用いたパッチ画像の分類方法を示した図である。
【図１４】距離方向への離散化に対応した視点候補の設定方法を示した図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明が適用されるARシステムの主要部の構成を示した機能ブロック図であり、携帯電話、スマートフォン、タブレット端末、PDAあるいはノートPCなどの情報端末に実装して使用される。
【００１５】
撮像装置（カメラ）１は、携帯端末等に搭載されているデジタルカメラモジュールやWEBカメラ装置であり、観察対象Mを撮影して、そのカメラ画像Icaを表示装置２およびカメラ姿勢推定装置３に出力する。前記カメラ姿勢推定装置３は、観察対象Mを撮影した際の当該観察対象Mに対するカメラ１の相対的な視点（カメラ視点）を推定するカメラ視点推定部３ａ、カメラ視点の推定結果に基づいて、観察対象Mの三次元(3D)座標とカメラ画像の二次元(2D)座標との対応関係を高精度化する高精度化部３ｂおよび当該高精度化された2D-3D座標の対応関係に基づいてカメラ姿勢を算出するカメラ姿勢算出部３ｃを主要な構成とする。
【００１６】
付加情報データベース(DB)４は、ハードディスクドライブや半導体メモリモジュール等により構成された記憶装置であり、観察対象Mの位置をARシステム１が認識した際に、表示装置２上で観察対象Mに重畳表示するCG、二次元画像あるいはテキスト情報を保持しており、カメラ姿勢推定装置３が推定したカメラ姿勢に対応する観察対象Mの付加情報を表示装置２へ提供する。
【００１７】
前記表示装置２は、カメラ１が連続的に取得するカメラ画像Icaをユーザに掲示できるモニタ装置であり、携帯端末のディスプレイでも良い。また、ヘッドマウントディスプレイ(HMD)のような形態でも良く、特にシースルー型のHMDの場合はカメラ画像Icaを表示せず、視界に付加情報のみを重畳して表示することも可能である。表示装置２がディスプレイの場合、カメラ画像Icaに付加情報DB４から入力された付加情報を、カメラ姿勢推定装置から入力されたカメラ姿勢によって補正された位置に重畳表示する。
【００１８】
前記カメラ姿勢推定装置３において、カメラ視点推定部３ａは、後に詳述するように、観察対象Mを撮影したカメラ画像Icaが入力されると、このカメラ画像Icaから検出される特徴点の二次元座標と観察対象Mの3D座標との対応関係およびその尤度（3D座標対応関係）、ならびに前記特徴点と視点との対応関係およびその尤度（視点対応関係）を推定して高精度化部３ｂへ出力する。高精度化部３ｂは、前記視点の推定結果に基づいて、当該推定された視点において前記観察対象から得ることのできなかった特徴点の三次元座標を対応点候補から除外することで3D座標対応関係を高精度化する。
【００１９】
カメラ姿勢算出部３ｃは、前記高精度化された対応関係（2D-3D対応関係）、ならびにカメラの内部および外部パラメータに基づいて、観察対象Mに対するARシステム１の姿勢を推定する。
【００２０】
従来から、3D座標と2D座標とのマッチから、その関係を説明するカメラ姿勢（カメラの外部パラメータ）を推定する手法が検討されており、3D座標と2D座標との関係は、一般的に次式(1)で表される。
【００２１】
[u,v,1]^T=sAW[X,Y,Z,1]^T  …  (1)
【００２２】
ここで、[u,v]，[X,Y,Z]は、それぞれ２次元ピクセル座標値および3D座標値を表し、[・]^Tは転置行列を表す。また、Ａ、Ｗは、それぞれカメラの内部パラメータおよび外部パラメータ（カメラ姿勢）を表す。カメラの内部パラメータは予めカメラキャリブレーションによって求めておく。カメラ姿勢W=[R,t]=[r1,r2,r3,t]であり、回転行列Rと並進ベクトルtとで表される。3D座標[X,Y,Z,1]^Tと2D座標[u,v,1]^Tとのマッチおよびカメラの内部パラメータを用いて、カメラ姿勢Wを推定できる。
【００２３】
なお、図１では観察対象Mの例として地球儀を扱っているが、直方体形状、円柱形状、球形状等のプリミティブな構造を持つ三次元物体や、より複雑な三次元構造を持つ物体が観察対象である場合でも、その三次元モデルが与えられれば同様のARシステムが構築可能である。そして、このようなARシステムによれば、観察対象に応じた重畳表示を行うことで、ユーザに直観的な情報掲示を実現することが可能である。地球儀の例では、高度を視覚表示するように地表を重畳表示することや、過去の大陸形状の重畳表示、国境や国名に変更があった際に更新した情報を重畳表示、ジェスチャー認識と組み合わせて指差した国名を表示するといった利用例が想定される。
【００２４】
図２は、前記カメラ視点推定部３ａの機能を模式的に示した図であり、観察対象Mを撮影したカメラ画像Icaから特徴点を検出し、各特徴点から抽出した局所特徴量を分類器に適応する。この分類器には、観察対象Mの3Dモデルを多数の視点から観察して取得された多数の特徴点の局所特徴量とその3D座標との関係（3D座標確率分布）が、座標マッチング用として予め学習されると共に、前記局所特徴量と視点との関係（視点確率分布）も、視点分類用に予め学習されている。
【００２５】
本実施形態では、後に詳述するように、座標マッチング用の規則と視点分類用の規則とが共通化され、この共通規則に局所特徴量を適用することにより、一回の適用のみで、特徴点の局所特徴量に対応する3D座標および視点を、その尤度と共に出力できる。視点については、後に詳述するように、観察対象Mを中心部に収容できる多面体Uを仮想し、その頂点が視点の候補として定義される。
【００２６】
[第１実施形態]
図３は、前記カメラ視点推定部３ａの第１実施形態の機能ブロック図であり、図４は、その動作を模式的に表現した図である。特徴点検出部３１は、カメラ１が出力するカメラ画像Icaから特徴点検出器３１ａを用いて多数の特徴点を検出し、各特徴点およびその近傍の局所特徴情報をマッチング部３２へ出力する。
【００２７】
前記特徴点検出器３１ａとしては、Harrisコーナー検出器、Hessianキーポイント検出器あるいはFASTコーナー検出器など、特徴を持つ二次元座標を特定できるものであれば、あらゆる種類のものが使用可能である。本実施形態では、特許文献２の手法で採用されているFASTコーナー検出器を利用する。
【００２８】
前記局所特徴情報は、例えばSIFTディスクリプタやSURFディスクリプタ等、特徴点を識別するための情報であり、一般的な局所特徴情報であれば、あらゆる種類のものが使用可能である。本実施形態では、特許文献２で採用されているパッチ画像が局所特徴情報として用いられる。
【００２９】
ここで、パッチ画像とは原画像から特定の大きさで切り出された画像であり、本実施形態においては特徴点を中心とした任意の幅と高さ（例えば幅３２ピクセル、高さ３２ピクセル）の画像のことである。特徴点が大きさ（スケール）の情報も持つ場合、その大きさに応じてパッチ画像の幅と高さを変更することが可能である。パッチ画像の取得は一般的な局所特徴情報と比較して画像の切り出しのみで済むため、非常に高速であるという特徴がある。
【００３０】
マッチング部３２において、3D座標DB３２ｅには、観察対象Mの3Dモデルを様々な視点から観察して得られた多数の画像のそれぞれから検出された多数の特徴点のパッチ画像が、その3D座標を表すラベルおよび視点を表すラベルと共に予め格納されている。本実施形態では、マッチング部３２が学習機能および識別機能を備え、カメラ画像Icaから検出された各特徴点のパッチ画像と観察対象Mの3D座標および視点との対応付けが、大きく以下の２段階で行われる。
【００３１】
(1)学習段階では、学習部３２ｃが主導的に機能し、前記3D座標DB３２ｅに格納されている多数の特徴点の中から、その3D座標がカメラ画像において特徴点として検出されやすい特徴点を選択部３２ｆにより予め選択し、当該選択されたパッチ画像に、その3D座標および視点の各ラベルを付して分類器３２ａに適用する。
分類器３２ａは、各パッチ画像の分類結果とその3D座標ラベルおよび視点ラベルとの対応関係をそれぞれ集計することにより、各パッチ画像（特徴点）とその3D座標との確率分布、および各パッチ画像とその視点との確率分布を求め、これを学習モデル（3D座標確率分布および視点確率分布）として確率分布DB３２ｂへ予め登録する。
【００３２】
(2)識別段階では、識別部３２ｄが主導的に機能し、前記学習モデルの登録後、観察対象Mを撮影したカメラ画像Icaから検出された特徴点のパッチ画像を前記分類器３２ａに適用し、その分類結果と前記確率分布DB３２ｂに学習済みの確率分布とに基づいて、カメラ画像Icaの各特徴点と観察対象Mの3D座標との対応関係X1およびその尤度X2、ならびにカメラ画像Icaの各特徴点と視点との対応関係Y1およびその尤度Y2を識別する。視点決定部３３は、カメラ画像Icaの各特徴点（パッチ画像）と視点との対応関係Y1およびその尤度Y2に基づいて、尤度の高い少なくとも一つの視点を当該カメラ画像Icaの視点候補に決定する。
【００３３】
このようなマッチング部３２としては、パッチ画像をクラス分類可能なFerns分類器を利用できる。Ferns分類器は、図４に示したように、複数の決定木（Fern）から構成され、各Fernはパッチ画像を分岐させる決定規則を持つ多段構成の分岐点（ノード）とノードの末端（リーフ）から構成される。決定規則は、パッチ画像からランダムに選択した２点のピクセルの輝度の大小関係によって左右に分岐させるというものである。後段のノードは、パッチ画像を別の決定規則によってさらに分岐させるが、同じ段数のノードは同じ決定規則を持つ。そのためにノードの種類はノードの段数と等しい。最終的にパッチ画像が到達するノード（リーフノード）がパッチ画像の分類結果となる。
【００３４】
各リーフノードは学習によって獲得したパッチ画像に対応するクラスの確率分布を保持している。Ferns分類器は複数のFernを持っているため、パッチ画像を各Fernに入力し、それぞれの到達したリーフノードに対応する確率分布を取得し、単純ベイズ分類器を用いてその確率を乗算して最終的なパッチ画像に対応するクラスの確率分布を決定する。
【００３５】
各リーフノードは分類候補となる各クラスに対応する離散的な確率分布を保持しており、区間の総数は分類候補となるクラスの総数である。確率分布の学習は予め教師ラベル（正解のクラス）の付与されたパッチ画像を分類することで行い、本実施形態では特許文献２と同様にして観察対象Mの3Dモデルを利用して行う。
【００３６】
このように、本実施形態における分類結果は、3D座標ラベルおよび視点ラベルの付された各パッチ画像がどのリーフに到達したかという情報であり、3D座標ラベルおよび視点ラベルごとに確率分布が得られる。
【００３７】
本実施形態では、特徴点のパッチ画像と3D座標との対応関係およびその尤度[X1，X2]、ならびに前記パッチ画像と視点との対応関係およびその尤度[Y1，Y2]という、２つの対応関係が予め学習され、カメラ画像Icaの各特徴点から切り出されたパッチ画像をマッチング部３２に１回だけ適用するのみで、各特徴点のパッチ画像に対応する3D座標および視点を得られるようにした点に特徴がある。
【００３８】
次いで、前記学習段階の処理を、図５のフローチャートおよび図６の模式図を参照しながら説明する。ここでは、観察対象Mの形状、模様、色彩、大きさおよび各部の3D座標が忠実に表現された3Dモデルが、予め既知の手法により構築、用意されているものとして説明する。
【００３９】
また、3Dモデルを様々な視点から観察して得られた画像から多数の特徴点が検出され、各特徴点から切り出されたパッチ画像が、その3D座標を一意に識別できる3D座標ラベルおよび視点を一意に識別できる視点ラベルと紐付けられて予めデータベースに記憶されているものとする。本実施形態では、観察対象Mが約一万の視点から撮影され、視点ごとに各特徴点の3D座標およびそのパッチ画像が記憶される。
【００４０】
なお、クラスとして扱う3D座標や視点は離散的である必要があり、かつクラス数が多過ぎると分類精度が劣化するため、学習する3D座標や視点は適切な数に抑える必要がある。そこで、3D座標については、カメラ画像Icaとして写った際に特徴点として検出されやすい順に一定数が選択される。本実施形態では、図７に一例を示したように、視点ごとに得られる画像から検出される全ての特徴点を、その3D座標で分類し、検出回数の多い上位Nベスト、すなわち視点にかかわらず検出されやすい特徴点が教師データとして選択される。
【００４１】
視点については、3Dモデルの中心から均等な距離にあり、かつ互いに均等に離れるように配置する必要があることから、図８に一例を示したように、3Dモデルを中心部に収容できる多面体（本実施形態では、８０面体）を仮想し、その頂点（本実施形態では、４２個）が視点候補として定義される。
そして、前記約一万の視点を、その焦点位置に基づいて最近傍のいずれかの頂点候補に関連づけて同一グループに分類し、同一グループの視点には、その視点候補を代表する同一の視点ラベルが付される。すなわち、本実施形態では約一万個の視点が４２個の視点候補のいずれかと同一のグループに分類され、同一グループの視点には同一の視点ラベルが付される。前記カメラの焦点位置Pは、図９に示したように、カメラの外部パラメータ行列Wを用いて計算できる。
本実施形態では、多面体の頂点を用いることで、観察対象Mに対する視点をその方向に関して略等間隔に離散化しているが、視点を距離に関しても略等距離に離散化するのであれば、図１４に示したように、大きさの異なる多面体を階層的に複数配置し、各視点を最近傍のいずれかの多面体の頂点に分類すれば良い。
このような距離に関する離散化は、3Dモデルの中心からの距離を段階的に大きくした８０面体を、例えば図１４に示したように３つ配置し、これらの頂点１２６個（42個×3）を視点候補とすることで実現される。
【００４２】
図５を参照し、ステップＳ１では、４２個の視点候補の中から未選択の視点候補の一つが今回の注目視点候補として選択される。ステップＳ２では、注目視点候補のグループに属する未選択の視点の一つが今回の注目視点として選択される。ステップＳ３では、今回の注目視点の画像から検出された未選択の特徴点の一つが今回の注目特徴点として選択される。
【００４３】
ステップＳ４では、図６に示したように、今回の注目特徴点から切り出されたパッチ画像が、その視点ラベルおよび3D座標ラベルと共に分類器３２ａに適応され、分類結果がいずれかのリーフへ投票される。ステップＳ５では、今回の注目視点に関して、検出されている全ての特徴点のパッチ画像について、その投票が終了したか否かが判定される。終了していなければステップＳ３へ戻り、未選択の特徴点を選択し直して上記の各処理が繰り返される。
【００４４】
ステップＳ６では、今回の注目視点について、同一グループに所属する全ての視点の画像から切り出されたパッチ画像に関して投票が終了したか否かが判定される。終了していなければステップＳ２へ戻り、未選択の視点を選択し直して上記の各処理が繰り返される。ステップＳ７では、全ての視点候補について上記の各処理が終了したか否かが判定される。終了していなければステップＳ１へ戻り、未選択の視点候補を選択し直して上記の各処理が繰り返される。
【００４５】
以上のようにして、全ての視点候補について、各視点候補のグループに属する全ての視点の全ての特徴点のパッチ画像に基づく3D座標ラベルおよび視点ラベルの投票が完了すると、各投票結果が「3D座標確率分布」および「視点確率分布」として確率分布DB３２ｂに登録される。
【００４６】
次いで、前記識別段階の処理を、図１０のフローチャートおよび図１１の模式図を参照して説明する。ステップＳ３１では、入力されたカメラ画像Icaから全ての特徴点が検出され、その2D座標が判別される。ステップＳ３２では、前記各特徴点からパッチ画像が切り出される。
【００４７】
ステップＳ３３では、各特徴点のパッチ画像が、前記分類器３２ａの各Fern(Fern1〜FernN)に順次に適用されてノードの分岐がFernごとに進行し、到達先のリーフが判別される。ステップＳ３４では、図１１に示したように、到達先の各リーフに登録されている確率分布が集計され、特徴点ごとに3D座標および視点の確率（尤度）の対数和が算出される。
【００４８】
ステップＳ３５では、前記識別部３２ｄにおいて、対数和が最大値を示したクラスIDに基づいて、今回の特徴点に対応する3D座標および視点が識別される。ステップＳ３６では、カメラ画像Icaから検出されている全ての特徴点について、その識別が完了したか否かが判定される。完了していなければステップＳ３３へ戻り、残り全ての特徴点に関して同様の識別手順が繰り返される。
【００４９】
以上のようにして、観察対象Mのカメラ画像Icaから検出された各特徴点のパッチ画像と観察対象Mの3D座標との対応関係、および各パッチ画像と視点との対応関係が取得されると、前記視点決定部３３は、それらを総合的に評価して最終的な視点の推定値を決定する。
【００５０】
本実施形態では、各対応関係に結び付けられた各視点の確率分布を、単純ベイズ分類器を用いて乗算若しくは対数和を計算することで総合的な視点の確率分布とする。ここで、各視点の確率分布を平均することで、総合的な視点の確率分布とすることも可能である。そして、この確率分布（カメラ画像Ica内の対象物に対する各視点の確率）に基づいて、最尤の一つの視点または尤度が上位Nベストの複数の視点を識別し、これを視点の決定結果として出力する。
【００５１】
図１へ戻り、前記高精度化部３ｂは、前記決定された１ないし尤度が上位N個の視点に対応する3D座標対応関係のみを残し、他の3D座標対応関係を削除することにより3D座標対応関係を高精度化する。すなわち、前記3D座標対応関係には、観察対象Mを予め様々な視点で観察して得られた各画像から検出された特徴点の三次元座標が対応点候補として含まれるが、ここでは、前記事前の学習段階において、前記決定された視点で観察対象Mを観察したときには得られなかった特徴点の三次元座標が対応点候補から除外される。これにより、前記事前の学習段階において例えば前記決定された視点とは正反対の視点で観察対象Mを観察したとき得られた特徴点のように、今回の対応点としてあり得ない特徴点の三次元座標が対応点候補から除外される。前記カメラ姿勢算出部３ｃは、前記高精度化された3D座標対応関係に基づいてカメラ姿勢を推定する。
【００５２】
本実施形態よれば、学習段階においては、観察対象Mの各特徴点から切り出されたパッチ画像を、その3D座標ラベルおよび視点ラベルと共に分類器３２ａの共通規則に一回適用するだけで学習モデルを構築できる。
【００５３】
また、認識段階においても、観察対象Mのカメラ画像Icaから検出された各特徴点のパッチ画像を前記分類器の共通規則に一回適用するだけで、各パッチ画像と観察対象Mの3D座標との対応関係、および各パッチ画像と視点との対応関係を取得できる。したがって、観察対象の3D座標とそのカメラ画像の2D座標とを、計算コストを増加させることなく高速かつ高精度で対応付けられるようになる。
【００５４】
[第２実施形態]
図１２は、前記カメラ視点推定部３ａの第２実施形態の機能ブロック図であり、図１３は、本実施形態の動作を模式的に表現した図である。いずれの図でも、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。
【００５５】
本実施形態では、マッチング部３２から出力される各特徴点（パッチ画像）とその視点との対応関係[Y1，Y2]に対して、同じくマッチング部３２から出力される各特徴点とその3D座標との対応関係[X1，X2]に基づいて閾値処理を施す閾値処理部３４を設けた点に特徴がある。
【００５６】
前記閾値処理部３４は、カメラ画像Icaから検出された各特徴点のパッチ画像とその3D座標との対応関係[X1，X2]から、尤度X2が所定の閾値を下回る対応関係、すなわち尤度の低い対応関係を選別し、その特徴点に対応する視点対応関係[Y1，Y2]を削除する。すなわち、3D座標対応関係[X1，X2]において尤度の低いパッチ画像の分類結果として求まる視点対応関係[Y1，Y2]を、その尤度Y2とは無関係に削除する。
【００５７】
発明者等の実験結果によれば、3D座標対応関係[X1，X2]および視点対応関係[Y1，Y2]の対応点精度と各尤度X2，Y2との関係を比較したところ、3D座標対応関係[X1，X2]については、その対応点精度と尤度X2とが高い相関を示し、尤度X2が高いほど対応点精度も高くなることが確認された。これに対して、視点対応関係[Y1，Y2]については、その対応点精度と尤度X2との相関が低く、尤度Y2が対応点精度を正確に代表できない場合のあることが確認された。
【００５８】
一般的に、3D座標対応関係の尤度X2は視点対応関係の尤度Y2と異なるが、尤度X2が低い場合、その特徴点は、背景から検出されたものやクラスとして選択されなかったモデル表面の点など、学習に用いられていない特徴点である可能性が高い。そこで、本実施形態では3D座標対応関係に基づいて視点対応関係を閾値処理することにより、視点対応関係[Y1，Y2]から、対応点精度が低いと推定される対応関係を省くことにより、確率分布の学習に使用された特徴点の割合を高めるようにした。
【００５９】
そして、前記視点決定部３３は、前記閾値処理後の視点対応関係に結び付けられた各視点の確率分布を用いて総合的な視点の確率分布とする。そして、この確率分布（カメラ画像Ica内の対象物に対する各視点の確率）に基づいて、最尤の一つの視点または尤度が上位Nベストの複数の視点を識別し、これを視点の決定結果とする。高精度化部３ｂは、前記決定された１ないし尤度が上位N個の視点に対応する3D座標対応関係のみを残し、他の3D座標対応関係を削除することにより3D座標対応関係を高精度化する。
【００６０】
本実施形態によれば、対応点精度と尤度との相関が高い3D座標対応関係に基づいて、対応点精度と尤度とが相関が低い場合がある視点対応関係が閾値処理され、この閾値処理後の視点対応関係の尤度に基づいて視点が決定されるので、視点の推定精度を向上させることができるようになる。
【００６１】
[第３実施形態]
上記の各実施形態では、認識時のみならず学習時もマッチング部３２による分類が１回しか行われないものとして説明したが、認証時に較べて事前の学習時には時間的な余裕があるので、3D座標確率分布の学習と視点学習とは別々に行うようにしても良い。本実施形態では、3D座標確率分布と視点確率分布とを別々に学習することで、より確度の高い3D座標推定を可能としている。
【００６２】
すなわち、上記の各実施形態では、3D座標確率分布および視点確率分布の学習に際して、特徴点として検出されやすい3D座標（特徴点）に関するパッチ画像のみを学習部３２ｃの選択部３２ｆにより予め選択し、これを教師データ（第１教師データ）として、3D座標および視点の教師ラベルを付して分類器に適用することで、3D座標確率分布および視点確率分布が一挙に求められた。
これに対して、本実施形態では前記第１教師データに基づいて、先に3D座標確率分布のみが求められる。次いで、視点確率分布が学習されるが、ここでは前記選択部３２ｆにより選択されなかったパッチ画像を含む全てのパッチ画像、すなわち前記3D座標DB３２ｅに格納されている全てのパッチ画像を教師データ（第２教師データ）とし、視点のラベルを付して分類器に適用することにより視点確率分布が学習される。
認識段階では、特徴点として検出されやすい3D座標以外からも一部特徴点が検出され、そのパッチ画像がマッチング部３２に適用されることが起こり得る。しかしながら、上記の手順によって、視点確率分布の学習に用いる教師データを認識段階に入力され得るものに近付けることができるので、より高精度な視点推定が可能となる。結果として高精度化部３ｂの精度が向上し、より確度の高い3D座標推定が可能となる。
さらに、認識段階で上記第２実施形態に記載した閾値処理部３４を用いる場合においては、学習段階でもこれを活用することでより高精度な視点推定が可能になる。
前記視点確率分布を学習する際に、初めに第２教師データのパッチ画像を前記マッチング部３２に適用し、各パッチ画像と3D座標との対応関係[X1，X2]が求められる。次いで、これに閾値処理部３４が適用され、尤度の低いパッチ画像が第２教師データから削除される。
以上の処理によって第２教師データが修正され、修正後の第２教師データを用いて視点確率分布が学習される。認識段階では閾値処理部３４を適用することで、3D座標との対応関係[X1，X2]の尤度が低いパッチ画像は、実際には視点推定に使用されないことになる。
本実施形態では、上記の教師データの修正を行うことで視点確率分布の学習に用いる教師データを認識段階に入力され得るものに近づけることができ、より高精度な視点推定が可能になる。結果として高精度化部３ｂの精度が向上され、より確度の高い3D座標推定が可能になる。
【００６３】
なお、上記の各実施形態では、ARシステム１のカメラ視点推定部３ａが、観察対象Mを模した三次元モデルの投影画像から検出された特徴点のパッチ画像に基づいて、自ら確率分布の学習モデルを構築して予め確率分布DB３２ｂに登録しておくものとして説明したが、本発明はこれのみに限定されるものではない。
【００６４】
すなわち、学習部３２ｃと同一または同様の方法で学習モデルを構築できる専用システムを別途に用意し、当該専用システムにおいて上記と同様の方法、手順で確率分布を予め確立し、これをARシステム１のデータベースに登録して利用するようにしてもよい。このように、学習モデルを別途に構築してARシステム１のデータベースに登録するようにすれば、ユーザ側での学習操作が不要になる。
【符号の説明】
【００６５】
１…撮像装置（カメラ），２…表示装置，３…カメラ姿勢推定装置，３ａ…カメラ視点推定部，３ｂ…高精度化部，３ｃ…カメラ姿勢算出部，４…付加情報データベース(DB)，３１…特徴点検出部，３１ａ…特徴点検出器，３２…マッチング部，３２ａ…分類器，３２ｂ…確率分布DB，３２ｃ…学習部，３２ｄ…識別部，３２ｅ…3D座標DB，３３…視点決定部，３４…閾値処理部
【図１】
2014106641.tif 000003
【図２】
2014106641.tif 000004
【図３】
2014106641.tif 000005
【図４】
2014106641.tif 000006
【図５】
2014106641.tif 000007
【図６】
2014106641.tif 000008
【図７】
2014106641.tif 000009
【図８】
2014106641.tif 000010
【図９】
2014106641.tif 000011
【図１０】
2014106641.tif 000012
【図１１】
2014106641.tif 000013
【図１２】
2014106641.tif 000014
【図１３】
2014106641.tif 000015
【図１４】
2014106641.tif 000016