(57)【要約】【課題】カメラの取得画像に基づいて撮影画像に含まれる特徴点の三次元位置を算出する構成を実現する。【解決手段】カメラの取得画像に基づいて正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成し、さらに、カメラの取得画像に基づいて正規分布に従った特徴点追跡誤差分布を生成し、これらの正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出する。本構成によりカメラの取得画像に含まれる特徴点の三次元位置をより正確に解析すること可能となる。【選択図】図１
2008304269.tif 000002
【特許請求の範囲】
【請求項１】
カメラの撮影画像に含まれる特徴点の三次元存在確率分布を算出する情報処理装置であり、
画像を撮影するカメラと、
前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出するカメラ位置姿勢検出部と、
前記カメラの取得した画像から抽出した特徴点を追跡する特徴点追跡部と、
前記カメラ位置姿勢検出部の検出したカメラ位置姿勢情報と、前記特徴点追跡部の取得した特徴点軌跡情報を入力して、特徴点の三次元存在確率分布を算出する特徴点三次元位置検出部を有し、
前記カメラは位置または姿勢の少なくともいずれかを変更して複数の画像フレームを順次撮影する構成であるともにピンホールカメラモデル構成を有し、
前記カメラ位置姿勢検出部は、正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成する構成であり、
前記特徴点追跡部は、正規分布に従った特徴点追跡誤差分布を生成する構成であり、
前記三次元位置検出部は、前記カメラ位置姿勢検出部の生成する正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、前記特徴点追跡部の生成する正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出する構成であることを特徴とする情報処理装置。
【請求項２】
前記カメラ位置姿勢検出部は、カメラ位置（ｃ）とカメラ姿勢（Ｒ）の各々について、正規分布に従った存在確率分布を持つ情報を生成する構成であり、
前記特徴点追跡部は、画像内の特徴点位置（ｍ）に対応する正規分布に従った特徴点追跡誤差分布を生成する構成であり、
前記三次元位置検出部は、
正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）とを入力として、特徴点の三次元空間における存在確率分布を算出する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記三次元位置検出部は、
正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）とを入力パラメータとして設定される特徴点の三次元位置算出式の一次編微分による線形近似を用いて、特徴点の三次元空間における存在確率分布を算出する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記特徴点追跡部は、
前記カメラの撮像素子の画素設定に基づいて決定される量子化誤差を反映した特徴点追跡誤差分布を生成する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記三次元位置検出部は、
前記カメラの撮影画像に含まれる同一の特徴点を含む複数の画像中、カメラと特徴点とを結ぶ光線のなす角度（内角）が、予め定めた閾値角度より大きい内角を有する画像に基づいて得られたデータを特徴点存在確率分布算出に適用するデータとして選択するサンプリング部と、
前記サンプリング部によって選択されたデータを適用して特徴点の三次元空間における存在確率分布を算出する存在確率分布算出部と、
を有する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記カメラ位置姿勢検出部は、
前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ）を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記特徴点追跡部は、
前記カメラの撮影した前フレームの局所領域画像とのウインドウマッチングを実行して局所領域（特徴点）のフレーム間の移動量を求める処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
情報処理装置において、カメラの撮影画像に含まれる特徴点の三次元存在確率分布を算出する情報処理方法であり、
カメラが、画像を撮影する画像撮影ステップと、
カメラ位置姿勢検出部が、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出するカメラ位置姿勢検出ステップと、
特徴点追跡部が、前記カメラの取得した画像から抽出した特徴点を追跡する特徴点追跡ステップと、
三次元位置検出部が、前記カメラ位置姿勢検出部の検出したカメラ位置姿勢情報と、前記特徴点追跡部の取得した特徴点軌跡情報を入力して、特徴点の三次元存在確率分布を算出する特徴点三次元位置検出ステップを有し、
前記画像撮影ステップは、ピンホールカメラモデル構成を持つカメラにより、位置または姿勢の少なくともいずれかを変更して複数の画像フレームを順次撮影するステップであり、
前記カメラ位置姿勢検出ステップは、正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成するステップであり、
前記特徴点追跡ステップは、正規分布に従った特徴点追跡誤差分布を生成するステップであり、
前記三次元位置検出ステップは、前記カメラ位置姿勢検出部の生成する正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、前記特徴点追跡部の生成する正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出するステップであることを特徴とする情報処理方法。
【請求項９】
前記カメラ位置姿勢検出ステップは、カメラ位置（ｃ）とカメラ姿勢（Ｒ）の各々について、正規分布に従った存在確率分布を持つ情報を生成するステップであり、
前記特徴点追跡ステップは、画像内の特徴点位置（ｍ）に対応する正規分布に従った特徴点追跡誤差分布を生成するステップであり、
前記三次元位置検出ステップは、
正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）とを入力として、特徴点の三次元空間における存在確率分布を算出するステップであることを特徴とする請求項８に記載の情報処理方法。
【請求項１０】
前記三次元位置検出ステップは、
正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）とを入力パラメータとして設定される特徴点の三次元位置算出式の一次編微分による線形近似を用いて、特徴点の三次元空間における存在確率分布を算出するステップであることを特徴とする請求項８に記載の情報処理方法。
【請求項１１】
前記特徴点追跡ステップは、
前記カメラの撮像素子の画素設定に基づいて決定される量子化誤差を反映した特徴点追跡誤差分布を生成するステップであることを特徴とする請求項８に記載の情報処理方法。
【請求項１２】
前記三次元位置検出ステップは、
前記カメラの撮影画像に含まれる同一の特徴点を含む複数の画像中、カメラと特徴点とを結ぶ光線のなす角度（内角）が、予め定めた閾値角度より大きい内角を有する画像に基づいて得られたデータを特徴点存在確率分布算出に適用するデータとして選択するサンプリングステップと、
前記サンプリングステップにおいて選択されたデータを適用して特徴点の三次元空間における存在確率分布を算出する存在確率分布算出ステップと、
を有することを特徴とする請求項８に記載の情報処理方法。
【請求項１３】
前記カメラ位置姿勢検出ステップは、
前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ）を実行するステップであることを特徴とする請求項８に記載の情報処理方法。
【請求項１４】
前記特徴点追跡ステップは、
前記カメラの撮影した前フレームの局所領域画像とのウインドウマッチングを実行して局所領域（特徴点）のフレーム間の移動量を求める処理を実行するステップであることを特徴とする請求項８に記載の情報処理方法。
【請求項１５】
情報処理装置に、カメラの撮影画像に含まれる特徴点の三次元存在確率分布を算出させるコンピュータ・プログラムであり、
カメラに、画像を撮影させる画像撮影ステップと、
カメラ位置姿勢検出部に、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出させるカメラ位置姿勢検出ステップと、
特徴点追跡部に、前記カメラの取得した画像から抽出した特徴点を追跡させる特徴点追跡ステップと、
三次元位置検出部に、前記カメラ位置姿勢検出部の検出したカメラ位置姿勢情報と、前記特徴点追跡部の取得した特徴点軌跡情報を入力して、特徴点の三次元存在確率分布を算出させる特徴点三次元位置検出ステップを有し、
前記画像撮影ステップは、ピンホールカメラモデル構成を持つカメラにより、位置または姿勢の少なくともいずれかを変更して複数の画像フレームを順次撮影させるステップであり、
前記カメラ位置姿勢検出ステップは、正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成させるステップであり、
前記特徴点追跡ステップは、正規分布に従った特徴点追跡誤差分布を生成するステップであり、
前記三次元位置検出ステップは、前記カメラ位置姿勢検出部の生成する正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、前記特徴点追跡部の生成する正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出させるステップであることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、カメラによって撮影された画像に基づいて画像に含まれる特徴点等の三次元位置を求める情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
カメラの撮影画像を解析して撮影画像に含まれるオブジェクトの三次元位置を求める処理が様々な分野で利用されている。例えばカメラを備えたロボットなどのエージェント(移動体)が、カメラの撮影画像を解析して移動環境を観測し、観測状況に応じてエージェント周囲の環境を把握しながら移動を行う処理や、撮影画像に基づいて周囲環境の地図（環境地図）を作成する環境マップ構築処理に利用される。
【０００３】
カメラの撮影する動画像の複数のフレームから同一の特徴点の追跡を行うことで、カメラ位置と特徴点位置を算出することができる。非特許文献１には、特徴点位置の追跡を全フレームで行い、全フレームのデータが得られた後、バッチ処理により特徴点の位置とカメラ位置を算出する方法を開示している。
【０００４】
しかし、この非特許文献１に示された手法では特徴点の位置の存在確率分布は得られないという問題点があり、収束しているかの判断、すなわち解析結果のみから正しい特徴点位置が得られているか否かの判定が難しい。また、追跡しようとする全特徴点が全フレームに写っていないと正しい解析が困難になるという問題点もある．
【０００５】
また、非特許文献２は、パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒ）により特徴点の三次元位置を見積る方法を提案している。パーティクル・フィルタを適用した三次元位置検出処理は、多数のパーティクル（サンプリング点）を用いて状態分布を近似する同定処理手法である。
【０００６】
このパーティクル・フィルタを適用した三次元位置検出処理では，新規の特徴点の存在確率分布の算出は行われるが存在確率分布算出に用いる情報は、新規特徴点の出現するフレーム以前のフレーム情報としてのカメラの位置姿勢情報や特徴点追跡誤差であり、新規特徴点の出現フレームからの情報が適用されず正しい特徴点の三次元位置にはならないという問題がある。
【非特許文献１】"Ｓｈａｐｅ  ａｎｄ  ｍｏｔｉｏｎ  ｆｒｏｍ  ｉｍａｇｅ  ｓｔｒｅａｍｓ  ｕｎｄｅｒ  ｏｒｔｈｏｇｒａｐｈｙ：  ａ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ"，Ｃ．Ｔｏｍａｓｉ  ａｎｄ  Ｔ．Ｋａｎａｄｅ，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌｕｍｅ  ９，  Ｎｕｍｂｅｒ  ２，  ｐｐ．１３７−１５４，（１９９２）．
【非特許文献２】"Ｒｅａｌ−ｔｉｍｅ  Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｓａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ  ｗｉｔｈ  ａ  Ｓｉｎｇｌｅ  Ｃａｍｅｒａ"，  Ａｎｄｒｅｗ  Ｊ．  Ｄａｖｉｓｏｎ，Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｐｒｏｃｅｅｄｉｎｇｓ．９ｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ，（２００３）．
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上述の問題点に鑑みてなされたものであり、カメラによって撮影された画像に基づいて求めたカメラの三次元位置姿勢存在確率分布と、特徴点の追跡結果を元に特徴点の三次元位置存在確率分布を正確に求めることを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の側面は、
カメラの撮影画像に含まれる特徴点の三次元存在確率分布を算出する情報処理装置であり、
画像を撮影するカメラと、
前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出するカメラ位置姿勢検出部と、
前記カメラの取得した画像から抽出した特徴点を追跡する特徴点追跡部と、
前記カメラ位置姿勢検出部の検出したカメラ位置姿勢情報と、前記特徴点追跡部の取得した特徴点軌跡情報を入力して、特徴点の三次元存在確率分布を算出する特徴点三次元位置検出部を有し、
前記カメラは位置または姿勢の少なくともいずれかを変更して複数の画像フレームを順次撮影する構成であるともにピンホールカメラモデル構成を有し、
前記カメラ位置姿勢検出部は、正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成する構成であり、
前記特徴点追跡部は、正規分布に従った特徴点追跡誤差分布を生成する構成であり、
前記三次元位置検出部は、前記カメラ位置姿勢検出部の生成する正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、前記特徴点追跡部の生成する正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出する構成であることを特徴とする情報処理装置にある。
【０００９】
さらに、本発明の情報処理装置の一実施態様において、前記カメラ位置姿勢検出部は、カメラ位置（ｃ）とカメラ姿勢（Ｒ）の各々について、正規分布に従った存在確率分布を持つ情報を生成する構成であり、前記特徴点追跡部は、画像内の特徴点位置（ｍ）に対応する正規分布に従った特徴点追跡誤差分布を生成する構成であり、前記三次元位置検出部は、正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）とを入力として、特徴点の三次元空間における存在確率分布を算出する構成であることを特徴とする。
【００１０】
さらに、本発明の情報処理装置の一実施態様において、前記三次元位置検出部は、正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）とを入力パラメータとして設定される特徴点の三次元位置算出式の一次編微分による線形近似を用いて、特徴点の三次元空間における存在確率分布を算出する構成であることを特徴とする。
【００１１】
さらに、本発明の情報処理装置の一実施態様において、前記特徴点追跡部は、前記カメラの撮像素子の画素設定に基づいて決定される量子化誤差を反映した特徴点追跡誤差分布を生成する構成であることを特徴とする。
【００１２】
さらに、本発明の情報処理装置の一実施態様において、前記三次元位置検出部は、前記カメラの撮影画像に含まれる同一の特徴点を含む複数の画像中、カメラと特徴点とを結ぶ光線のなす角度（内角）が、予め定めた閾値角度より大きい内角を有する画像に基づいて得られたデータを特徴点存在確率分布算出に適用するデータとして選択するサンプリング部と、前記サンプリング部によって選択されたデータを適用して特徴点の三次元空間における存在確率分布を算出する存在確率分布算出部と、を有する構成であることを特徴とする。
【００１３】
さらに、本発明の情報処理装置の一実施態様において、前記カメラ位置姿勢検出部は、前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ）を実行する構成であることを特徴とする。
【００１４】
さらに、本発明の情報処理装置の一実施態様において、前記特徴点追跡部は、前記カメラの撮影した前フレームの局所領域画像とのウインドウマッチングを実行して局所領域（特徴点）のフレーム間の移動量を求める処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の第２の側面は、
情報処理装置において、カメラの撮影画像に含まれる特徴点の三次元存在確率分布を算出する情報処理方法であり、
カメラが、画像を撮影する画像撮影ステップと、
カメラ位置姿勢検出部が、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出するカメラ位置姿勢検出ステップと、
特徴点追跡部が、前記カメラの取得した画像から抽出した特徴点を追跡する特徴点追跡ステップと、
三次元位置検出部が、前記カメラ位置姿勢検出部の検出したカメラ位置姿勢情報と、前記特徴点追跡部の取得した特徴点軌跡情報を入力して、特徴点の三次元存在確率分布を算出する特徴点三次元位置検出ステップを有し、
前記画像撮影ステップは、ピンホールカメラモデル構成を持つカメラにより、位置または姿勢の少なくともいずれかを変更して複数の画像フレームを順次撮影するステップであり、
前記カメラ位置姿勢検出ステップは、正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成するステップであり、
前記特徴点追跡ステップは、正規分布に従った特徴点追跡誤差分布を生成するステップであり、
前記三次元位置検出ステップは、前記カメラ位置姿勢検出部の生成する正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、前記特徴点追跡部の生成する正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出するステップであることを特徴とする情報処理方法にある。
【００１６】
さらに、本発明の情報処理方法の一実施態様において、前記カメラ位置姿勢検出ステップは、カメラ位置（ｃ）とカメラ姿勢（Ｒ）の各々について、正規分布に従った存在確率分布を持つ情報を生成するステップであり、前記特徴点追跡ステップは、画像内の特徴点位置（ｍ）に対応する正規分布に従った特徴点追跡誤差分布を生成するステップであり、前記三次元位置検出ステップは、正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）とを入力として、特徴点の三次元空間における存在確率分布を算出するステップであることを特徴とする。
【００１７】
さらに、本発明の情報処理方法の一実施態様において、前記三次元位置検出ステップは、正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）とを入力パラメータとして設定される特徴点の三次元位置算出式の一次編微分による線形近似を用いて、特徴点の三次元空間における存在確率分布を算出するステップであることを特徴とする。
【００１８】
さらに、本発明の情報処理方法の一実施態様において、前記特徴点追跡ステップは、前記カメラの撮像素子の画素設定に基づいて決定される量子化誤差を反映した特徴点追跡誤差分布を生成するステップであることを特徴とする。
【００１９】
さらに、本発明の情報処理方法の一実施態様において、前記三次元位置検出ステップは、前記カメラの撮影画像に含まれる同一の特徴点を含む複数の画像中、カメラと特徴点とを結ぶ光線のなす角度（内角）が、予め定めた閾値角度より大きい内角を有する画像に基づいて得られたデータを特徴点存在確率分布算出に適用するデータとして選択するサンプリングステップと、前記サンプリングステップにおいて選択されたデータを適用して特徴点の三次元空間における存在確率分布を算出する存在確率分布算出ステップと、を有することを特徴とする。
【００２０】
さらに、本発明の情報処理方法の一実施態様において、前記カメラ位置姿勢検出ステップは、前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ）を実行するステップであることを特徴とする。
【００２１】
さらに、本発明の情報処理方法の一実施態様において、前記特徴点追跡ステップは、前記カメラの撮影した前フレームの局所領域画像とのウインドウマッチングを実行して局所領域（特徴点）のフレーム間の移動量を求める処理を実行するステップであることを特徴とする。
【００２２】
さらに、本発明の第３の側面は、
情報処理装置に、カメラの撮影画像に含まれる特徴点の三次元存在確率分布を算出させるコンピュータ・プログラムであり、
カメラに、画像を撮影させる画像撮影ステップと、
カメラ位置姿勢検出部に、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出させるカメラ位置姿勢検出ステップと、
特徴点追跡部に、前記カメラの取得した画像から抽出した特徴点を追跡させる特徴点追跡ステップと、
三次元位置検出部に、前記カメラ位置姿勢検出部の検出したカメラ位置姿勢情報と、前記特徴点追跡部の取得した特徴点軌跡情報を入力して、特徴点の三次元存在確率分布を算出させる特徴点三次元位置検出ステップを有し、
前記画像撮影ステップは、ピンホールカメラモデル構成を持つカメラにより、位置または姿勢の少なくともいずれかを変更して複数の画像フレームを順次撮影させるステップであり、
前記カメラ位置姿勢検出ステップは、正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成させるステップであり、
前記特徴点追跡ステップは、正規分布に従った特徴点追跡誤差分布を生成するステップであり、
前記三次元位置検出ステップは、前記カメラ位置姿勢検出部の生成する正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、前記特徴点追跡部の生成する正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出させるステップであることを特徴とするコンピュータ・プログラムにある。
【００２３】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２５】
本発明の一実施例の構成によれば、カメラの取得した画像に基づいて正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成し、さらに、カメラの取得画像に基づいて正規分布に従った特徴点追跡誤差分布を生成し、これらの正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出する構成とした。本構成によれば、カメラの取得画像に含まれる特徴点の三次元位置をより正確に解析すること可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照しながら本発明の実施形態に係る情報処理装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００２７】
本発明の一実施形態にかかる情報処理装置の構成について図１を参照して説明する。本発明の情報処理装置１００は、カメラ１０１によって撮影された画像データに基づいて撮影画像に含まれるオブジェクトなどの特徴点の三次元位置情報である特徴点存在確率分布１０７を生成して出力する。
【００２８】
本発明の一実施形態にかかる情報処理装置は図１に示すように、周囲環境を撮影するカメラ１０１と、カメラ１０１の撮影画像を入力してカメラの位置姿勢を推定するカメラ位置姿勢検出部１０２と、カメラ１０１の撮影画像を入力して、撮影画像に含まれる特徴点の追跡処理を実行する特徴点追跡部１０３と、カメラ位置姿勢検出部１０２において検出されたカメラ位置姿勢情報を記憶するカメラ位置姿勢記憶部１０４、特徴点追跡部１０３の検出した特徴点の軌跡情報を記憶する特徴点軌跡情報記憶部１０５と、カメラ位置姿勢記憶部１０４に格納されたカメラ位置姿勢情報と、特徴点軌跡情報記憶部１０５に格納された特徴点軌跡情報を入力して、これらの入力情報に基づいて特徴点の三次元位置情報としての特徴点存在確率分布１０７を生成する特徴点三次元位置検出部１０７とを有する。
【００２９】
カメラ１０１は、例えば移動するロボットに装着され、あるいはユーザ（人）によって適宜、移動される。すなわちカメラ１０１の位置や姿勢は固定されたものではなく、変更された位置姿勢からの撮影画像、すなわち連続フレームからなる動画像を入力する。カメラ１０１はピンホールカメラモデルに合うものを用いている。ピンホールカメラモデルは、三次元空間の点の位置とカメラ像平面の画素位置との射影変換を表しており、以下の式で表される。
【数１】
2008304269.tif 000003
【００３０】
上記式の意味について、図２、図３を参照して説明する。上記式は、カメラの撮影画像２１０に含まれるオブジェクト２１１の点（ｍ）のカメラ像平面の画素位置２１２、すなわち、カメラ座標系によって表現されている位置と、世界座標系におけるオブジェクト２００の三次元位置（Ｍ）２０１との対応関係を示す式である。
【００３１】
カメラ像平面の画素位置２１２はカメラ座標系によって表現されている。カメラ座費用系は、カメラの焦点を原点Ｃとして、像平面がＸｃ，Ｙｃの二次元平面、奥行きをＺｃとした座標系であり、カメラの動きによって原点Ｃは移動する。
【００３２】
一方、オブジェクト２００の三次元位置（Ｍ）２０１は、カメラの動きによって移動しない原点Ｏを有するＸＹＺ三軸からなる世界座標系によって示される。この異なる座標系でのオブジェクトの位置の対応関係を示す式が上述のピンホールカメラモデルとして定義される。
【００３３】
この式に含まれるλ，Ａ，Ｃｗ，Ｒｗは、図３に示すように、
λ：正規化パラメータ
Ａ：カメラ内部パラメータ、
Ｃｗ：カメラ位置、
Ｒｗ：カメラ回転行列、
を意味している。
【００３４】
カメラ内部パラメータＡには、以下の値が含まれる。
f：焦点距離
θ：画像軸の直交性（理想値は９０°）
ｋｕ：縦軸のスケール（三次元位置のスケールから二次元画像のスケールへの変換）
ｋｖ：横軸のスケール（三次元位置のスケールから二次元画像のスケールへの変換）
（ｕ０，ｖ０）：画像中心位置
【００３５】
このピンホールカメラモデル、すなわち、三次元空間の点の位置とカメラ像平面の画素位置との射影変換を表す式を用いて、図１に示すカメラ位置姿勢検出部１０２は、カメラ１０１から入力する映像内の特徴点を利用して、特徴点の位置とカメラ位置を毎フレーム修正し、カメラ位置姿勢検出部１０２で決めた世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラの位置（Ｃｗ）およびカメラの回転行列（Ｒｗ）を生成してカメラ位置姿勢記憶部１０４に格納する。
【００３６】
なお、この処理は、前述の論文［Ａｎｄｒｅｗ  Ｊ．Ｄａｖｉｓｏｎ，"Ｒｅａｌ−ｔｉｍｅ  ｓｉｍｕｌｔａｎｅｏｕｓ  ｌｏｃａｌｉｓａｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ  ｗｉｔｈ  ａ  ｓｉｎｇｌｅ  ｃａｍｅｒａ"，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ９ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｎｉｎｔｈ，（２００３）］に記載された方法を用いることができる。
【００３７】
なお、カメラ位置姿勢検出部１０２では、カメラの位置（Ｃｗ）およびカメラの回転行列（Ｒｗ）の各々について、正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成してカメラ位置姿勢記憶部１０４に格納する。
【００３８】
なお、カメラの位置や方向などのポーズ（位置姿勢）の確認として実行される自己ポーズ（位置姿勢）同定（ローカリゼーション）に併せて周囲の地図（環境地図）の作成（ｍａｐｐｉｎｇ）、すなわち環境マップの作成を行なう処理はＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ）と呼ばれる。カメラ位置姿勢検出部１０２では、このＳＬＡＭ技法により、カメラ位置姿勢に併せて撮影画像に含まれる特徴点情報に基づくマッピング処理を行い、これらの結果をカメラ位置姿勢記憶部１０４に格納する構成としてもよい。
【００３９】
カメラ１０１の撮影画像は特徴点追跡部１０３にも入力される。特徴点追跡部１０３の詳細構成および処理について図４を参照して説明する。特徴点追跡部１０３は、図４に示すように、特徴点追跡部３０１と特徴点抽出部３０２と先行フレームの追跡情報を格納する先行フレーム追跡情報格納部３０３を有する。
【００４０】
特徴点追跡部３０１は、カメラ１０１によって取得されるフレーム画像内から選択される局所領域（特徴点）のフレーム間の移動量を求める。例えば、特徴点追跡部３０１は前フレームの局所領域画像とのウインドウマッチングを実行して局所領域（特徴点）のフレーム間の移動量を求める。なお、算出した追跡結果には移動量の誤差も含まれこの誤差についても考慮した処理を行う。すなわち、本例では移動量算出において画像を用いており画素位置による量子化誤差を考慮して処理を行う。
【００４１】
特徴点追跡部３０１は、カメラ１０１の撮像素子の画素設定に基づいて決定される量子化誤差を反映した特徴点追跡誤差分布を生成する。特徴点追跡結果に対する定数の誤差分布を
誤差分布Σとして、誤差分布を持つ特徴点追跡結果を生成する。特徴点追跡部３０１は、正規分布に従った特徴点追跡誤差分布を生成する。
【００４２】
特徴点追跡部３０１で得られる特徴点追跡結果は、特徴点追跡情報３２１として出力され図１に示す特徴点追跡情報記憶部１０５に記録される。さらに、この特徴点追跡結果は、特徴点抽出部３０２に入力され、また後続フレームに対する特徴点追跡処理に適用するため先行フレーム追跡情報格納部３０３にも格納される。
【００４３】
特徴点抽出部３０２では、特徴点追跡部３０１から入力する特徴点追跡結果から特徴点の追跡がなされなかった画像領域を抽出し、ハリスコーナーディテクター（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）を用いた新規の特徴点の抽出処理を実行する。すなわち、特徴点を持たない画像領域に新たな特徴点を抽出し、抽出した特徴点情報を先行フレーム追跡情報格納部３０３に格納する。なお、特徴点を検出する最小画像領域区分は予め設定し、その区分領域内に１つ以上の特徴点が常に検出される設定とすることが好ましい。
【００４４】
ハリスコーナーディテクター（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）を用いた特徴点抽出処理について図５を参照して説明する。情報処理装置のデータ処理部は、特徴点抽出に際して図５に示すようにカメラによって撮影された取得イメージ４００から複数のハリスコーナーイメージ４１０〜４１２と、ラプラシアンイメージ４２０〜４２２を生成する。
【００４５】
ハリスコーナーイメージは、取得イメージに対してハリスコーナーディテクター（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）を適用して生成されるイメージデータである。これらのハリスコーナーイメージ４１０〜４１２から、例えば周囲８画素に比較して値の高い画素ポイント（ｍａｘｉｍａ  ｐｏｉｎｔ）４１５を検出点として抽出する。さらに、取得イメージ４００に対して、ＬｏＧ（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）フィルタを適用して複数レベル（解像度）のラプラシアンイメージ４２０〜４２２を生成する。ＬｏＧ（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）フィルタは、画像の輪郭強調のために用いられる２次微分フィルタの一種であり、人間の視覚系で網膜からの情報が外側膝状体で中継されるまでに行われている処理の近似モデルとして用いられるものである。
【００４６】
特徴点抽出処理は、ＬｏＧフィルタ出力画像であるラプラシアンイメージ４２０〜４２２の所定のレベル範囲内の解像度変化によって位置の変化がないかハリスコーナーイメージ４１０〜４１２から得られた検出点の位置に対応する箇所に対して調べ、変化がない点を特徴点とする。これにより、画像の拡大縮小操作に対してロバストな特徴点間のマッチングが実現できる。なお、これらの特徴点抽出処理の詳細については、例えば、特開２００４−３２６６９３号公報（特願２００３−１２４２２５）に記載されており、特徴点抽出部３０２における特徴点抽出処理としてこの手法の適用が可能である。
【００４７】
図１のカメラ位置姿勢記憶部１０４と特徴点軌跡情報記憶部１０５は、それぞれカメラ位置姿勢検出部１０２の検出したカメラ位置姿勢情報と、特徴点追跡部１０３の検出した特徴点軌跡情報について、全フレームの出力結果を保持している。なお、それぞれのデータのフレーム時間の同期はとれているものとする。
【００４８】
図１の特徴点三次元位置検出部１０６の詳細構成および処理について図６を参照して説明する。特徴点三次元位置検出部１０６は、図６に示すようにサンプリング部５０１、存在確率分布算出部５０２を有する。
【００４９】
サンプリング部５０１では、カメラ位置姿勢記憶部１０４に記録された全フレーム画像に対応する、各フレーム画像対応のカメラ位置姿勢情報と、特徴点軌跡情報記憶部１０５に格納された各フレーム対応の特徴点軌跡情報から、特徴点の存在確率分布データを生成するために適用する情報を選択する。
【００５０】
例えば、カメラ１０１の撮影画像における連続フレームでは、撮影画像がほとんど変化していない類似画像である可能性が高く、これらの類似画像から得られるカメラ位置姿勢情報や特徴点軌跡情報もあまり変化がない。このような変化の乏しい情報を用いても処理が非効率的となり、また特徴点の三次元位置の算出には不適当となる。従って、サンプリング部５０１では、特徴点の三次元位置の正確な算出が可能となる情報を選択する処理を行う。
【００５１】
サンプリング部５０１で実行するサンプリング方法について、図７を参照して説明する。カメラ１０１は、その位置、姿勢が時間とともに変更される。図７には、
ｉ番目のフレームを撮影する位置のカメラ１０１−ｉ、
ｊ番目のフレームを撮影する位置のカメラ１０１−ｊ、
を示している。これらのカメラは同一のカメラであり、時間経過に伴って移動した位置で画像を撮影していることを意味している。
【００５２】
このようにカメラ１０１は異なる位置から画像を撮影し、その異なるフレーム画像に同一の特徴点Ｍ６０１が撮影されているとする。このように、さまざまな方向からカメラは特徴点を観測することになる。カメラと特徴点を結ぶ線を光線と呼ぶが、光線方向が違うものをサンプリングすれば、異なる情報を持つデータのサンプリングを実行することになり特徴点の三次元位置情報の算出精度を高くすることができる。従って、光線方向が異なるデータをサンプリングすることが好ましい。
【００５３】
方向が大きく異なる光線同士は光線同士の内角θが大きい。逆に似たような方向の光線同士の内角θは小さい。本例では内角θを参考としてサンプリングを行う。内角θは、ベクトルの内積の公式、すなわち、以下の数式を利用して求めることが可能である。
【数２】
2008304269.tif 000004
【００５４】
但し、上記（数式２）において、
ＲＴｉ・ｘｉ：カメラ１０１−ｉから特徴点Ｍ６０１へ向かう光線の単位ベクトル、
ＲＴｊ・ｘｊ：カメラ１０１−ｊから特徴点Ｍ６０１へ向かう光線の単位ベクトル、
である。
このように、内角θを算出する場合、異なる位置・姿勢のカメラから観測された光線（カメラと特徴点とを結ぶ線）の単位ベクトルが必要である。以下、光線の単位ベクトルの導出方法について説明する。
【００５５】
図７に示すカメラ１０１−ｉから特徴点Ｍ６０１へ向かう光線の単位ベクトルの算出処理について説明する。
カメラ１０１−ｉのカメラの位置をｃｉ、姿勢（回転行列）をＲｉとして、カメラ１０１−ｉの撮影画像から得られる観測情報ｍｉを用いて単位ベクトル［ＲＴｉ・ｘｉ］を算出する。
【００５６】
カメラ１０１−ｉの焦点と特徴点Ｍ６０１とを結ぶ光線方向の単位ベクトルは、以下の数式（数式３）によって示される。
【数３】
2008304269.tif 000005
【００５７】
特徴点Ｍ６０１とカメラ１０１−ｉの焦点とを結ぶ光線の単位ベクトルは、先に図２、図３を参照して説明したピンホールカメラの公式から、図８に示す（ａ）〜（ｃ）の展開、すなわち、以下の数式４〜数式６の展開によって求めることができる。
【数４】
2008304269.tif 000006
【００５８】
【数５】
2008304269.tif 000007
【００５９】
【数６】
2008304269.tif 000008
【００６０】
まず、ピンホールカメラの公式（数式４）から（数式５）が得られる。（数式５）の右辺は「カメラの位置が原点で姿勢が各軸を表すカメラ座標系での、特徴点の位置」を示しており、右辺のｄｉは「特徴点とカメラとの距離」、ｘｉは「カメラ座標系での、光線の単位ベクトル」を表す。カメラ座標系での、光線の単位ベクトル：ｘｉは、以下の式（数式７）によって求められる。
【数７】
2008304269.tif 000009
【００６１】
なお、上記式において、ｘｉはカメラ座標系で表されているため、上記式（数式６）のように変形して、世界座標系での光線のベクトルを求める。但し、上記式（数式６）の左辺は「世界座標系での、カメラから特徴点へ引いたベクトル」を表し、ｄｉは「特徴点とカメラとの距離」、ｘｉは「カメラ座標系での、光線の単位ベクトル」を表す。上記式（数式６）中のＲＴｘが「世界座標系での、カメラから観測された光線（カメラと特徴点とを結ぶ線）の単位ベクトル」である。
【００６２】
得られたＲＴｘを内角θを求める前述した式（数式２）に代入すれば、内角θを求めることができる。図６に示す特徴点三次元位置検出部１０６のサンプリング部５０１は、上記式（数式２）によって算出される内角θが小さくないフレームデータ（カメラ位置・姿勢情報と特徴点追跡情報）をサンプリングするようにする。具体的には、例えば予め設定した閾値以上の内角θを持つフレームデータに基づいて得られたカメラ位置・姿勢情報と特徴点追跡情報をサンプリングデータとして取得する。
【００６３】
図６に示す特徴点三次元位置検出部１０６のサンプリング部５０１のサンプルデータは、存在確率分布算出部５０２に入力され、存在確率分布算出部５０２では入力したサンプルデータに基づいて、特徴点に対応する三次元位置情報としての特徴点存在確率分布を算出する。
【００６４】
先に説明したように、カメラ位置姿勢検出部１０２は、カメラ位置（ｃ）とカメラ姿勢（Ｒ）の各々について、各撮影画像フレーム対応の正規分布に従った存在確率分布を持つ情報を生成してカメラ位置姿勢記憶部１０４に格納し、特徴点追跡部１０３は、各撮影画像フレーム対応の画像内の特徴点位置（ｍ）に対応する正規分布に従った特徴点追跡誤差分布を生成して特徴点軌跡情報記憶部１０５に記憶しており、特徴点三次元位置検出部１０６のサンプリング部５０１では、図７を参照して説明したように、例えば予め設定した閾値以上の内角θを持つフレームデータに基づいて得られたカメラ位置・姿勢情報と特徴点追跡情報をサンプリングデータとして取得して存在確率分布算出部５０２に入力する。存在確率分布算出部５０２では入力したサンプルデータに基づいて、特徴点に対応する三次元位置情報としての特徴点存在確率分布を算出する。
【００６５】
存在確率分布算出部５０２では、サンプルデータとして選択された正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）とを入力として、特徴点の三次元空間における存在確率分布を算出する。以下、存在確率分布算出部５０２で実行する特徴点存在確率分布の算出処理について説明する。
【００６６】
ピンホールカメラモデルの式を用いて、特徴点の位置Ｍ求める。但し、カメラ位置はｃ、カメラ姿勢（回転行列）はＲ、カメラ内部パラメータはＡ、特徴点の画像内の位置はｍである。
以下にピンホールカメラモデルの式（数式８）を示す。
【数８】
2008304269.tif 000010
【００６７】
上記（数式８）から、特徴点の位置Ｍに関する式、以下の（数式９）に変形する。
【数９】
2008304269.tif 000011
【００６８】
但し、上記（数式９）において、小文字で書かれているベクトルｘは、以下の数式１０で定義したものを利用した。
【数１０】
2008304269.tif 000012
【００６９】
また、ｄはカメラ位置ｃと特徴点Ｍとの距離を表す。上記（数式９）は正値にのみ成り立つので、計測値に対しては、特徴点の位置Ｍに関する以下の数式（数式１１）が成り立つ。
【数１１】
2008304269.tif 000013
【００７０】
但し、記号［＾］は計測値を意味し、εは計測誤差により発生する左辺・右辺同士の誤差を表す。また、上記（数式１１）において、
【数１２】
2008304269.tif 000014
である。また、下付き文字ｉはフレーム番号を表す。
【００７１】
入力フレームは１フレーム分のデータではなくｎフレーム分のデータ、すなわち、前述したサンプリング処理によって選択された複数のフレーム対応のデータ（カメラ位置姿勢ｃ、Ｒと特徴点の画像内の位置ｍ）を含むので、複数フレーム対応のデータに対応するために、上記の（数式１１）を拡張し、以下の数式（数式１３）を得る。
【数１３】
2008304269.tif 000015
【００７２】
ｃ＾ｉ：カメラ位置の計測値（サンプルデータとして選択されたｉフレームの正規分布に従った存在確率分布を持つカメラ位置（ｃ））、
Ｒ＾ｉ：カメラ姿勢（回転行列）の計測値（サンプルデータとして選択されたｉフレームの正規分布に従った存在確率分布を持つカメラ姿勢（Ｒ））、
Ｍｘ，Ｍｙ，Ｍｚ：特徴点の三次元位置（サンプルデータとして選択されたｉフレームの正規分布に従った特徴点追跡誤差分布を持つ特徴点位置）、
ｄｉ：カメラと特徴点間の距離（ｉフレーム撮影時点）＝未知、
ｘ＾ｉ：カメラから特徴点へ向かう光線の単位ベクトル（ｉフレーム撮影時点）＝未知、
εｉ：計測誤差により発生する誤差（数式１１の左辺・右辺同士の誤差）（ｉフレーム対応）
【００７３】
さらに、以下に示す数式（数式１４）の各行列・ベクトル、すなわち、
【数１４】
2008304269.tif 000016
【００７４】
上記の各行列・ベクトルを以下の（数式１５）に示すように定義する。但し、行列eqＡは前記ピンホールカメラのＡとは異なる。
【数１５】
2008304269.tif 000017
【００７５】
上記（数式１５）の左辺のεのノルム（ベクトルの長さ）が最小（誤差最小）になるようなベクトルＸを計算すれば、所望のベクトルＸ（特徴点の三次元位置Ｍと、各フレームデータのカメラ位置と特徴点との間の距離ｄｉ）が求まる。
【００７６】
εのノルムの二乗の式は、以下の（数式１６）になる。
【数１６】
2008304269.tif 000018
【００７７】
ベクトルＸを変数、他を全て定数とみなしたとき、上記の（数式１６）は、ベクトルＸに関する二次関数なので、左辺が最小になるＸは、（数式１６）のベクトルＸに関する偏微分式、すなわち、
【数１７】
2008304269.tif 000019
【００７８】
上記（数式１７）の偏微分値が０となるＸとなる。上記（数式１７）に含まれるεｔεと、偏微分［（δ（εｔε）／δＸ）］の関係を図９に示す。ベクトルＸは、以下の数式（数式１８）となる。
【数１８】
2008304269.tif 000020
【００７９】
上記数式（数式１８）のベクトル項を全て展開すると、以下の数式（数式１９）が得られる。
【数１９】
2008304269.tif 000021
【００８０】
数式（数式１９）内の"カメラと特徴点との間の距離［ｄｉ］"の項を消して再構築すると、以下の数式（数式２０）が得られる。
【数２０】
2008304269.tif 000022
【００８１】
但し、上記式（数式２０）において、
【数２１】
2008304269.tif 000023
【００８２】
【数２２】
2008304269.tif 000024
である。
【００８３】
上記の（数式２０）は、カメラ位置姿勢と特徴点の画像位置が求まれば、特徴点の三次元位置が求まることを意味する。上記の（数式２０）に含まれる２つの行列を、
［ｎｅｗＡ］、［ｎｅｗＢ］と設定して以下のように変形する。
【数２３】
2008304269.tif 000025
【００８４】
この式変形に基づいて、以下のような関係式（数式２４）が得られる。
【数２４】
2008304269.tif 000026
【００８５】
但し、上記（数式２４）の関数Ｇは、図６に示すサンプリング部５０１から存在確率分布算出部５０２に対する入力データ、すなわち画像内の特徴点の位置（ｍ＾）、カメラ位置（ｃ＾）、カメラ姿勢（Ｒ＾）情報によって構成される。
【００８６】
具体的には、サンプリング部５０１においてサンプルデータとして選択された画像フレームに対応する特徴点の位置（ｍ＾）、カメラ位置（ｃ＾）、カメラ姿勢（Ｒ＾）情報であり、正規分布に従った存在確率分布を持つカメラ位置（ｃ）とカメラ姿勢（Ｒ）と特徴点位置（ｍ）に対応する正規分布に従った特徴点追跡誤差分布データである。
【００８７】
存在確率分布算出部５０２では、上記（数式２４）を用いて、特徴点の位置の存在確率分布を求める。入力の画像内の特徴点の位置（ｍ＾）、カメラ位置（ｃ＾）、カメラ姿勢（Ｒ＾）は正規分布に従った存在確率分布を有しており、上記（数式２４）の関数Ｇは、入力値に対して非線型関数であるため、存在確率分布は非常に複雑なものとなる。しかし、関数Ｇを以下の（数式２５）に示すように、１次編微分∇Ｇを用いて線形近似すれば正規分布同士の掛け合わせで、特徴点位置Ｍを近似で求めることが出来ることが知られており、存在確率分布算出部５０２ではこの線形近似により特徴点の存在確率分布を算出することができる。
【数２５】
2008304269.tif 000027
【００８８】
なお、この展開についての詳細は、「Ｇｒｅｇ  Ｗｅｌｃｈ  ａｎｄ  Ｇａｒｙ  Ｂｉｓｈｏｐ，"Ａｎ  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｋａｌｍａｎ  Ｆｉｌｔｅｒ"，Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ９５−０４１  ｉｎ  Ｄｅｐａｒｔｍｅｎｔ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｎｏｒｔｈ  Ｃａｒｏｌｉｎａ  （  ２００６  ）（ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｕｎｃ．ｅｄｕ／〜ｗｅｌｃｈ／ｍｅｄｉａ／ｐｄｆ／ｋａｌｍａｎ＿ｉｎｔｒｏ．ｐｄｆ）」に記載されている。
【００８９】
特徴点の位置の存在確率分布の平均値は、入力値として正規分布の平均値を用いて、上述の数式（数式２４）より得ることができる。また、特徴点の位置の存在確率分布の分散は以下に示す数式（数式２６）で求める。
【数２６】
2008304269.tif 000028
【００９０】
但し、上記（数式２６）において、Σｇは関数Ｇの線形近似モデル誤差を表し、定数で設定する。また、関数Ｇの１次編微分∇Ｇは、３ｘ３の対角行列の逆行列の以下の式（数式２７）を利用して求める。
【数２７】
2008304269.tif 000029
【００９１】
以上で、特徴点位置の三次元空間上の存在確率分布を求める。
【００９２】
上記手法において求めた特徴点の三次元空間上の存在確率分布の利用例について図１０、図１１を参照して説明する。図１０の処理例は、特徴点位置の存在確率分布の精度が高くなるまで待って、その収束した存在確率分布情報を出力する構成例である。
【００９３】
「特徴点位置の存在確率分布の精度が高い」というのは、存在確率分布が正規分布であることを用いている本例では、正規分布の標準偏差（共分散行列のノルム）の値が小さい場合を指す。図１０に示すように、特徴点三次元位置検出部が生成したと朽ちよう点の存在確率分布情報は、収束判定部７０１に入力される。
【００９４】
収束判定部７０１は、特徴点位置の三次元空間上の存在確率分布が収束しているか否かの判断を行う。その評価式として、例えば以下に示す（数式２８）を用いる。
【数２８】
2008304269.tif 000030
【００９５】
ただし、上記（数式２８）において、関数［ｄｉａｇｏｎａｌ］は、特徴点の正規分布に従う存在確率分布の共分散行列ΣＭの対角成分を抽出し、関数［ｓｕｍ］は全入力の合計を計算する。
【００９６】
本発明の情報処理装置における処理の１つの利点は、「入力値の誤差分布（存在確率分布）を考慮し、出力の特徴点位置の存在確率分布を計算している」ことにある。したがって、入力値の誤差分布が正しければ、たとえ入力値の誤差分布が大きいとしてもロバストに特徴点の三次元位置分布を求めることが可能となることである。
【００９７】
図１１は、特徴点位置の三次元空間上の存在確率分布情報をカメラ位置姿勢検出部１０２へフィードバックして、より正確なカメラ位置姿勢検出を可能とする処理例である。
【００９８】
「特徴点位置の精度が高くなるまで待つ」例であった結果を、カメラ位置姿勢検出部へフィードバックさせる。前述のとおり、ロバストに求めた特徴点の三次元位置分布をカメラ位置姿勢検出部のフィードバック値として扱うため、カメラ位置姿勢検出部もロバストになる。
【００９９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１００】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０１】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０２】
以上、説明したように、本発明の一実施例の構成によれば、カメラの取得した画像に基づいて正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成し、さらに、カメラの取得画像に基づいて正規分布に従った特徴点追跡誤差分布を生成し、これらの正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出する構成とした。本構成によれば、カメラの取得画像に含まれる特徴点の三次元位置をより正確に解析すること可能となる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の一実施例に係る情報処理装置の構成および処理について説明する図である。
【図２】ピンホールカメラモデル、すなわちカメラ座標系によって表現されている位置と、世界座標系におけるオブジェクトの三次元位置との対応関係を示す式の意味について説明する図である。
【図３】ピンホールカメラモデル、すなわちカメラ座標系によって表現されている位置と、世界座標系におけるオブジェクトの三次元位置との対応関係を示す式の意味について説明する図である。
【図４】本発明の一実施例に係る情報処理装置の特徴点追跡部の構成および処理について説明する図である。
【図５】ハリスコーナーディテクター（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）を用いた特徴点抽出処理について説明する図である。
【図６】本発明の一実施例に係る情報処理装置の特徴点三次元位置検出部の構成および処理について説明する図である。
【図７】本発明の一実施例に係る情報処理装置の特徴点三次元位置検出部のサンプリング部におけるサンプリング処理について説明する図である。
【図８】本発明の一実施例に係る情報処理装置の特徴点三次元位置検出部のサンプリング部におけるサンプリング処理について説明する図である。
【図９】数式１７に含まれるεｔεと、偏微分［（δ（εｔε）／δＸ）］の関係を示す図である。
【図１０】本発明の一実施例に係る情報処理装置の特徴点存在確率分布情報の利用例について説明する図である。
【図１１】本発明の一実施例に係る情報処理装置の特徴点存在確率分布情報の利用例について説明する図である。
【符号の説明】
【０１０４】
１００  情報処理装置
１０１  カメラ
１０２  カメラ位置姿勢検出部
１０３  特徴点追跡部
１０４  カメラ位置姿勢記憶部
１０５  特徴点軌跡情報記憶部
１０６  特徴点三次元位置検出部
１０７  特徴点存在確率分布情報
３０１  特徴点追跡部
３０２  特徴点抽出部
３０３  先行フレーム追跡情報記憶部
３２１  特徴点追跡情報
４００  取得イメージ
４１０〜４１２  ハリスコーナーイメージ
４２０〜４２２  ラプラシアンイメージ
５０１  サンプリング部
５０２  存在確率分布算出部
６０１  特徴点
７０１  収束判定部
【図１】
2008304269.tif 000031
【図２】
2008304269.tif 000032
【図３】
2008304269.tif 000033
【図４】
2008304269.tif 000034
【図６】
2008304269.tif 000035
【図８】
2008304269.tif 000036
【図９】
2008304269.tif 000037
【図１０】
2008304269.tif 000038
【図１１】
2008304269.tif 000039
【図５】
2008304269.tif 000040
【図７】
2008304269.tif 000041