(57)【要約】【課題】撮影画像を用いた情報処理を高精度に行うための条件を効率的に見出す。【解決手段】  撮像装置１２は評価用チャート２００を撮影し、運用時と同様の手法で撮影画像データを生成して情報処理装置１０に送信する。情報処理装置１０は評価用チャート２００中、チェス盤状の大矩形のコーナー検出を行い、それとの相対位置により、内部に表されたグレーの小矩形のコーナーの座標を正解座標として取得する。さらに運用時と同様のアルゴリズムで特徴点を抽出し、正解座標と比較することで、特徴点抽出の観点での性能を表す指標を算出する。当該指標が目標値に達していない場合、情報処理装置１０は、撮像装置１２における各種処理の設定のうち調整対象の設定を更新して調整する。【選択図】図１
2017130794.tif 000002
【特許請求の範囲】
【請求項１】
所定のパターンが表された評価用チャートの撮影画像のデータを撮像装置から取得し画像としてメモリに展開するチャート画像取得部と、
前記撮影画像から特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部とは異なる手法で、前記撮影画像から抽出されるべき特徴点の位置座標を正解座標として取得する正解座標取得部と、
前記特徴点抽出部が抽出した特徴点と前記正解座標に基づき、特徴点抽出に適した画像を得る性能を数値化した性能指標を算出し出力する性能指標算出部と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記評価用チャートのパターンは、前記正解座標取得部が用いる抽出アルゴリズムが抽出対象とするモノトーンの図形と、それと所定の位置関係を有するグレーの図形を含み、
前記正解座標取得部は、当該位置関係を利用して、前記グレーの図形が有する特徴点の座標を前記正解座標として取得することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記評価用チャートのパターンは、チェス盤状の黒および白の大矩形と、各大矩形の内部に表されたグレーの図形とを含むことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記評価用チャートのパターンは、上下左右に１つ分の空きを形成するように配置された複数の黒い円と、各円の内部および前記空きに表されたグレーの図形とを含むことを特徴とする請求項１または２に記載の情報処理装置。
【請求項５】
前記評価用チャートのパターンにおける複数のグレーの図形は、複数のグレー濃度を有することを特徴とする請求項２から４のいずれかに記載の情報処理装置。
【請求項６】
前記性能指標があらかじめ設定された目標値に達していないとき、撮像から特徴点抽出までに実行される、撮影画像に係る処理に用いる設定のいずれかを調整する調整部をさらに備えたことを特徴とする請求項１から５のいずれかに記載の情報処理装置。
【請求項７】
前記目標値は、抽出された特徴点を利用した情報処理を規定するアプリケーションに応じて異なることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記性能指標算出部は、前記特徴点抽出部が誤抽出した点の数と、抽出漏れした特徴点の数に基づき、前記性能指標を算出することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
【請求項９】
前記性能指標算出部は、前記特徴点抽出部が抽出した特徴点のうち、正解座標に対応するものとそれ以外とを区別して撮影画像上に表した画像を表示装置に表示させることを特徴とする請求項１から８のいずれかに記載の情報処理装置。
【請求項１０】
情報処理装置が特徴点抽出に適した画像を得る性能を評価するための評価用チャートであって、
その撮影画像からコーナーを検出するためのチェス盤状の黒および白の矩形と、前記コーナーの検出結果に基づいて座標が取得され、別途行う特徴点抽出処理の結果と比較するための特徴点を有する、各矩形の内部に表されたグレーの図形と、を含むことを特徴とする評価用チャート。
【請求項１１】
情報処理装置が特徴点抽出に適した画像を得る性能を評価するための評価用チャートであって、
その撮影画像から検出される、上下左右に１つ分の空きを形成するように配置された複数の黒い円と、前記円の検出結果に基づいて座標が取得され、別途行う特徴点抽出処理の結果と比較するための特徴点を有する、各円の内部および前記空きに表されたグレーの図形と、を含むことを特徴とする評価用チャート。
【請求項１２】
所定のパターンが表された評価用チャートを撮影する撮像装置と、その撮影画像のデータを取得し、特徴点抽出に適した画像を得る性能を評価する情報処理装置と、を含み、
前記情報処理装置は、
前記撮影画像のデータを前記撮像装置から取得し画像としてメモリに展開するチャート画像取得部と、
前記撮影画像から特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部とは異なる手法で、前記撮影画像から抽出されるべき特徴点の位置座標を正解座標として取得する正解座標取得部と、
前記特徴点抽出部が抽出した特徴点と前記正解座標に基づき、前記性能を数値化した性能指標を算出する性能指標算出部と、
前記性能指標があらかじめ設定された目標値に達していないとき、前記撮像装置における処理に用いる設定のいずれかを調整する調整部と、を備え、
前記撮像装置は、
前記調整部によって調整された設定を格納するパラメータ記憶部と、
前記パラメータ記憶部が格納する設定に従い撮影画像のデータを生成し前記情報処理装置に送信するデータ形成部と、
を備えることを特徴とする評価システム。
【請求項１３】
所定のパターンが表された評価用チャートの撮影画像のデータを撮像装置から取得し画像としてメモリに展開するステップと、
前記撮影画像から特徴点を抽出するステップと、
前記特徴点を抽出するステップとは異なる手法で、前記撮影画像から抽出されるべき特徴点の位置座標を正解座標として取得するステップと、
前記特徴点を抽出するステップで抽出した特徴点と前記正解座標に基づき、特徴点抽出に適した画像を得る性能を数値化した性能指標を算出し出力するステップと、
を含むことを特徴とする、情報処理装置による性能評価方法。
【請求項１４】
所定のパターンが表された評価用チャートの撮影画像のデータを撮像装置から取得し画像としてメモリに展開する機能と、
前記撮影画像から特徴点を抽出する機能と、
前記特徴点を抽出する機能とは異なる手法で、前記撮影画像から抽出されるべき特徴点の位置座標を正解座標として取得する機能と、
前記特徴点を抽出する機能で抽出した特徴点と前記正解座標に基づき、特徴点抽出に適した画像を得る性能を数値化した性能指標を算出し出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を用いた実物体の認識を含む情報処理を行う情報処理システム、それに含まれる撮像装置、マット、および用いられる画像生成方法に関する。
【背景技術】
【０００２】
ユーザの体やマーカーをカメラで撮影し、その像の領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。撮影画像における像を検出し解析することにより、被写体やカメラ自身の位置や動きを取得したり被写体が何であるかを認識したりする技術は、ゲーム装置や情報端末に搭載されたカメラのみならず、防犯カメラ、車載カメラ、ロボット搭載カメラなどを利用した情報処理においても広く導入されている。
【０００３】
上記のような技術において、対象物の像やその造形的な特徴をいかに正確に取得するかは常に重要な課題である。そのため撮影画像における物体の輪郭や特徴的な箇所を正確に抽出する様々な技術が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】欧州特許出願公開第０９９９５１８号明細書
【特許文献２】特開２０１０−１８２０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影画像上の特徴的な箇所は、明るさなどの撮影環境、イメージセンサなど用いるデバイスの性能、撮像から特徴検出までにデータに施される様々な処理、具体的にはデモザイク処理、補正処理、圧縮符号化処理、通信処理などにおける条件や手法に依存して、その抽出されやすさが変動する。このように多数の要因が複雑に関連した結果として、検出された特徴を用いた情報処理がなされるため、システムの製造コストや処理コストの観点での制約を満足させつつ、十分な処理精度を得るための最適な条件を見出すのは容易でない。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いた情報処理を高精度に行うための処理条件を効率的に見出すことのできる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、所定のパターンが表された評価用チャートの撮影画像のデータを撮像装置から取得し画像としてメモリに展開するチャート画像取得部と、撮影画像から特徴点を抽出する特徴点抽出部と、特徴点抽出部とは異なる手法で、撮影画像から抽出されるべき特徴点の位置座標を正解座標として取得する正解座標取得部と、特徴点抽出部が抽出した特徴点と正解座標に基づき、特徴点抽出に適した画像を得る性能を数値化した性能指標を算出し出力する性能指標算出部と、を備えたことを特徴とする。
【０００８】
本発明の別の態様は評価用チャートに関する。この評価用チャートは、情報処理装置が特徴点抽出に適した画像を得る性能を評価するための評価用チャートであって、その撮影画像からコーナーを検出するためのチェス盤状の黒および白の矩形と、コーナーの検出結果に基づいて座標が取得され、別途行う特徴点抽出処理の結果と比較するための特徴点を有する、各矩形の内部に表されたグレーの図形と、を含むことを特徴とする。
【０００９】
本発明のさらに別の態様も評価用チャートに関する。この評価用チャートは、情報処理装置が特徴点抽出に適した画像を得る性能を評価するための評価用チャートであって、その撮影画像から検出される、上下左右に１つ分の空きを形成するように配置された複数の黒い円と、当該円の検出結果に基づいて座標が取得され、別途行う特徴点抽出処理の結果と比較するための特徴点を有する、各円の内部および空きに表されたグレーの図形と、を含むことを特徴とする。
【００１０】
本発明のさらに別の態様は評価システムに関する。この評価システムは、所定のパターンが表された評価用チャートを撮影する撮像装置と、その撮影画像のデータを取得し、特徴点抽出に適した画像を得る性能を評価する情報処理装置と、を含み、情報処理装置は、撮影画像のデータを撮像装置から取得し画像としてメモリに展開するチャート画像取得部と、撮影画像から特徴点を抽出する特徴点抽出部と、特徴点抽出部とは異なる手法で、撮影画像から抽出されるべき特徴点の位置座標を正解座標として取得する正解座標取得部と、特徴点抽出部が抽出した特徴点と正解座標に基づき、性能を数値化した性能指標を算出する性能指標算出部と、性能指標があらかじめ設定された目標値に達していないとき、撮像装置における処理に用いる設定のいずれかを調整する調整部と、を備え、撮像装置は、調整部によって調整された設定を格納するパラメータ記憶部と、パラメータ記憶部が格納する設定に従い撮影画像のデータを生成し情報処理装置に送信するデータ形成部と、を備えることを特徴とする。
【００１１】
本発明のさらに別の態様は性能評価方法に関する。この性能評価方法は、所定のパターンが表された評価用チャートの撮影画像のデータを撮像装置から取得し画像としてメモリに展開するステップと、撮影画像から特徴点を抽出するステップと、特徴点を抽出するステップとは異なる手法で、撮影画像から抽出されるべき特徴点の位置座標を正解座標として取得するステップと、特徴点を抽出するステップで抽出した特徴点と正解座標に基づき、特徴点抽出に適した画像を得る性能を数値化した性能指標を算出し出力するステップと、を含むことを特徴とする。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によると、撮影画像を用いた情報処理を高精度に行うための条件を効率的に見出せる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態を適用できる評価システムの構成例を示す図である。
【図２】本実施の形態における情報処理装置の内部回路構成を示す図である。
【図３】本実施の形態において調整の対象として想定される要因を例示す図である。
【図４】本実施の形態の評価時における情報処理装置および撮像装置の機能ブロックの構成を示す図である。
【図５】本実施の形態における評価用チャートを例示する図である。
【図６】本実施の形態における正解座標取得部が、図５の評価用チャートの撮影画像から正解座標を取得する方法を説明するための図である。
【図７】本実施の形態において正解座標取得部が座標を取得した小矩形のコーナーと、特徴点抽出部が抽出した特徴点を比較する図である。
【図８】本実施の形態において、評価用チャートを撮影した画像に対し抽出された特徴点の分布と、算出されたＦ値を例示する図である。
【図９】本実施の形態において、評価用チャートを撮影した画像に対し抽出された特徴点の分布と、算出されたＦ値を例示する図である。
【図１０】本実施の形態において、評価用チャートを撮影した画像に対し抽出された特徴点の分布と、算出されたＦ値を例示する図である。
【図１１】本実施の形態において、評価用チャートを撮影した画像に対し抽出された特徴点の分布と、算出されたＦ値を例示する図である。
【図１２】セルサイズの変化に対するＳ／Ｎ比の変化を例示する図である。
【図１３】本実施の形態において、目標値記憶部に格納される目標値の設定情報のデータ構造例を示す図である。
【図１４】本実施の形態において情報処理装置が特徴点抽出性能を評価したうえ調整対象パラメータを調整する処理手順を示すフローチャートである。
【図１５】本実施の形態における評価用チャートの別の例を示す図である。
【発明を実施するための形態】
【００１５】
本実施の形態は、撮影画像から抽出した特徴点を用いた情報処理を高精度に行うため、事前に行う性能評価および必要に応じた調整に係る。この性能評価や調整は、情報処理システムを開発、製造する段階でメーカーなどが行ってもよいし、製品を購入したユーザが実際の使用環境において行ってもよい。特徴点を用いて行うゲームなどの情報処理の内容は特に限定されない。以後、抽出された特徴点を利用して何らかの情報処理を行う段階を「運用時」、その前に性能評価や調整を行う段階を「評価時」と呼ぶ。
【００１６】
図１は本実施の形態を適用できる評価システムの構成例を示す。評価システム８は、評価用チャート２００を撮影する撮像装置１２、撮影された画像から特徴点を抽出し、その結果を評価する情報処理装置１０、評価結果等の情報を画像として出力する表示装置１６を含む。なお同図に示すシステム構成は評価時のものであり、運用時には、撮像装置１２は用途に応じた被写空間を撮影し、情報処理装置１０はユーザが要求するなどした情報処理を行ってよい。また表示装置１６は当該情報処理の結果を表示してよい。
【００１７】
撮像装置１２は、対象物を撮影するカメラと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像の出力データを生成し、情報処理装置１０に送出する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。撮像装置１２が備えるカメラは１つのみでもよいし、２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラでもよい。
【００１８】
情報処理装置１０は、たとえばゲーム装置やパーソナルコンピュータであってよく、評価や運用に必要なプログラムをロードすることで情報処理機能を実現する。あるいは情報処理装置１０を、性能評価や調整を行うのに特化した装置としてもよい。この場合、運用時にはゲーム装置やパーソナルコンピュータなど用途に応じた装置に入れ替えればよい。
【００１９】
表示装置１６は液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなど一般的なディスプレイでよい。評価時には表示装置１６は、情報処理装置１０が行った評価の結果や抽出された特徴点などの情報を表示する。このような情報の提示が必要ない場合、評価時においては表示装置１６がなくてもよい。
【００２０】
撮像装置１２、情報処理装置１０、表示装置１６の接続は有線であっても無線であってもよい。本実施の形態では特に、撮像装置１２が撮影した画像から、十分な精度で特徴点が抽出されているかどうかを評価する。そして必要に応じて、撮像装置１２内部での処理、撮像装置１２から情報処理装置１０へのデータ送信、特徴点の抽出処理などの条件を調整する。そのようにして適切な条件を決定し運用に活用することが目的のため、撮像装置１２や通信手段は運用時に想定される構成を踏襲する。
【００２１】
図２は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。ＣＰＵ２２は、オペレーティングシステムやアプリケーションなどのプログラムに基づいて、情報処理装置１０内部の構成要素における処理や信号伝送を制御する。ＧＰＵ２４は画像処理を行う。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【００２２】
これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６やスピーカーなどの出力装置へデータを出力する出力部３６、撮像装置１２からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
【００２３】
ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。
【００２４】
評価時において情報処理装置１０は、評価用のチャートを撮影した画像から特徴点を抽出し、後に述べる手法でその性能を表す数値を性能指標として算出する。そして抽出結果や性能指標を表示装置１６に表示させたり、それに基づき撮影条件や処理条件を調整したりする。ただしそれらを全て実施する必要はなく、結果の表示のみを行い、それを見た開発者やユーザが人手により条件を変化させてもよいし、情報表示を行わず処理条件を自動で調整するのみでもよい。いずれにしろ、良好な性能が得られるまで調整を繰り返すことにより、最終的には、特徴点抽出の観点で最適な画像を取得するための条件が得られることになる。
【００２５】
ここで調整対象とする「条件」は、撮像から特徴点抽出処理までの間で、抽出精度に影響を与え得る要因のいずれでもよく、１つであっても複数の組み合わせであってもよい。図３は、調整の対象として想定される要因を例示している。図示するように、撮像装置１２が有するイメージセンサの種類、撮影条件、センサの出力値から画像データを生成する際に用いるアルゴリズムや用いるフィルタ、画像データを圧縮符号化する際の方式や設定値、情報処理装置１０へデータを送信する際の無線方式など様々な要因が、撮影画像、ひいては特徴点の抽出精度に影響を与えると考えられる。
【００２６】
例示されるような要素は従来、画像を表示したときに人が見て好適に認識される方向で追求がなされてきた。しかしながらそのようにして決定された条件は、必ずしも特徴点抽出に対して有利とは限らない。そのため、そのような条件で取得した撮影画像から抽出された特徴点を利用して情報処理を行っても、満足な処理精度が得られなかったり、さらなる精度向上が容易に見込めることに気づかなかったりすることが考えられる。
【００２７】
そこで本実施の形態では、特徴点の抽出までの段階で、抽出性能の観点から画像を評価することにより、処理精度に与える影響の原因を後段の情報処理と切り分ける。また性能指標を数値化し、容易な比較を可能とすることで、図示したような多くの要因から影響の大きい要因を特定したり、最適な条件を効率的に、さらには自動的に、決定したりできるようにする。なお調整対象とする要因は図示するように、イメージセンサの種類やアルゴリズムなど個別に実体があるものと、露光時間やガンマ値などの数値とが含まれる。以後の説明ではそれらを総括して「調整対象パラメータ」と呼ぶ。
【００２８】
図４は、評価時における情報処理装置１０および撮像装置１２の機能ブロックの構成を示している。図４に示す各機能ブロックは、ハードウェア的には、ＣＰＵ、ＧＰＵ、メインメモリなどで実現でき、ソフトウェア的にはハードディスクや記録媒体からメインメモリにロードされたコンピュータプログラムなどで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２９】
撮像装置１２は、イメージセンサからなる撮像部６２のほか、情報処理装置１０に送信すべき撮影画像のデータを形成するデータ形成部６０、撮影条件やデータ形成に用いるパラメータの設定値を格納するパラメータ記憶部６４を含む。このパラメータには、調整対象パラメータが含まれる。撮像部６２はＣＣＤやＣＭＯＳなどのイメージセンサを含み、評価用チャートを撮影する。この際、パラメータ記憶部６４に格納された露光時間、絞り値、ゲイン値などの設定値に従った条件で撮像を行う。
【００３０】
データ形成部６０は、撮像部６２から出力された画素ごとの電気信号から撮影画像のデータを生成する。具体的には、デモザイク処理、欠陥画素の補正処理、ガンマ補正などを行う。またデータ形成部６０は、生成した画像のデータを圧縮符号化し、所定の通信プロトコルで情報処理装置１０に送信する。これらの各種処理に用いるアルゴリズムやフィルタなどについても、パラメータ記憶部６４に格納された設定に従う。
【００３１】
情報処理装置１０は、評価用チャートを撮影した画像のデータを取得するチャート画像取得部７０、撮影画像のデータを格納する画像格納部７１、運用時と同じ手法で撮影画像から特徴点を抽出する特徴点抽出部７２、評価用チャートに適した手法で正しい特徴点の座標を取得する正解座標取得部７４、特徴点抽出の性能指標を算出する性能指標算出部７６、あらかじめ設定した目標値と性能指標を比較する比較部７８、当該目標値を格納する目標値記憶部８０、比較結果に基づき調整対象パラメータを調整する調整部８２、および調整対象パラメータの設定候補を格納するパラメータ候補記憶部８４を含む。
【００３２】
チャート画像取得部７０は、撮像装置１２からチャートを撮影した画像のデータを取得し、採用されている圧縮符号化形式に則り復号、伸張して画像格納部７１に展開する。特徴点抽出部７２は、画像格納部７１から画像のデータを読み出し、運用時と同じアルゴリズムで特徴点を抽出する。画像認識などの目的で特徴点を抽出する技術としては、Harris、Eigen、Fast（Features from Accelerated Segment Test）、SIFT(Scale-Invariant Feature Transform）、SURF（Speeded Up Robust Features）など様々なアルゴリズムが実用化されている。
【００３３】
本実施の形態ではそのいずれを採用してもよく、情報処理の目的などに応じて適宜選択しておく。あるいはアルゴリズム自体を調整対象パラメータとすることもできる。個々のアルゴリズムは一般的なものであるためここでは説明を省略する。
【００３４】
正解座標取得部７４は、画像格納部７１からチャートの撮影画像のデータを読み出し、評価用チャートに適した所定のアルゴリズムを用いて、本来抽出すべき特徴点の画像平面における位置座標（以後、「正解座標」と呼ぶ）を取得する。すなわち特徴点抽出部７２が特徴点を抽出するのとは異なる、評価用チャートに特化した手法で正解座標を取得する。具体例は後に述べる。
【００３５】
性能指標算出部７６は、評価用チャートの同じ撮影画像から、特徴点抽出部７２が抽出した特徴点と、正解座標取得部７４が取得した正解座標とを照合することにより、特徴点の抽出性能を数値として表す。性能指標算出部７６はさらに、特徴点抽出部７２が抽出した特徴点と、正解座標取得部７４が取得した正解座標とを、撮影画像上に図形などで表した画像を生成して、表示装置１６に表示させてもよい。これにより開発者やユーザは、特徴点の抽出がどの程度正しくなされているかを感覚的に理解できる。
【００３６】
比較部７８は、あらかじめ設定された性能指標の目標値を目標値記憶部８０から読み出し、性能指標算出部７６が算出した実際の性能指標と比較する。性能指標の目標値は、抽出された特徴点を用いて情報処理を行った結果、十分な処理精度が得られることが保証されるような値を実験などにより求めておく。目標値は情報処理の内容、検出対象の被写体などによって複数の設定があってもよい。この場合、それらの要素ごとに、最適な調整対象パラメータが得られることになる。
【００３７】
調整部８２は、性能指標が目標値に達しているか否かによって調整の必要の有無を判定する。判定結果は表示装置１６に表示させてもよい。また調整を必要と判定したとき、調整部８２は、調整対象パラメータの新たな設定を決定する。上述のとおり調整対象パラメータには、露光時間、絞り値、圧縮率など連続的に数値を変化させられるものと、アルゴリズムやフィルタなど個別の実体から選択するものが考えられる。
【００３８】
パラメータ候補記憶部８４には、数値を変化させられる調整対象パラメータについては調整可能な数値範囲とその変化のさせ方に係る規則を、候補から選択する調整対象パラメータについては選択可能な候補とその選択規則を格納しておく。調整部８２は、設定された規則に従い新たな設定を決定し、撮像装置１２のパラメータ記憶部６４に格納された設定を更新する。調整にあたっては、実際の性能指標と目標値との差分を反映させてもよい。すなわち差分が大きいほど調整対象パラメータの調整幅を大きくする。
【００３９】
なお一度の評価によって調整するパラメータは１つでもよいし、複数の組み合わせでもよい。その対象を開発者やユーザが事前に指定できるようにしてもよい。またイメージセンサの種類など自動調整が困難なパラメータについては、表示装置１６に判定結果等を表示させることにより開発者などの検討材料とすることができる。撮像装置１２が、更新された設定で新たに撮影し送信した評価用チャートの撮像画像を用いて、再度、性能評価や調整を行うループを繰り返すようにすると、最適な条件を効率的に特定できることになる。
【００４０】
図５は、評価用チャートを例示している。評価用チャート２００はボードやマットなどの物体の表面にチャートパターンを描画したものでもよいし、電子データとして作成したものを表示装置１６に表示させたものでもよい。そのような評価用チャート２００を所定の距離で正面から撮影することにより、図示したようなパターンが撮影画像として得られる。図示する評価用チャート２００は、隣同士で白黒が反転したチェス盤状の複数の大矩形（例えば大矩形２０２）と、各大矩形の内部に表されたグレーの小矩形（例えば小矩形２０４）で構成される。
【００４１】
評価用チャート２００において小矩形のグレー濃度はグラデーションを有することが望ましい。この例では、小矩形の四隅（コーナー）を特徴点として正確かつ無駄なく抽出できているか否かの観点で特徴点抽出性能の評価を行う。すなわち運用時の被写体の像を疑似的に小矩形で表して抽出性能を評価する。したがって小矩形が表すグレーの階調を多くするほど、実際の撮影画像における像の多様性を表すことになり、正しい評価が行える。
【００４２】
図６は、正解座標取得部７４が、図５で示した評価用チャートの撮影画像から正解座標を取得する方法を説明するための図である。なお同図（ａ）、（ｂ）は、評価用チャート２００の像のうち、一部を抜粋して示している。正解座標取得部７４はまず、同図の（ａ）において白抜きバツ印で示すように、大矩形のコーナーを特徴点として抽出し、その位置座標を取得する。チェス盤状のパターンチャートの撮影画像から矩形のコーナーを特徴点として抽出する手法は、カメラキャリブレーションにおいては広く知られており（例えば特開２０１４−９２４６０号公報参照）、抽出アルゴリズムも一般的なものを用いて高精度に実施できる。
【００４３】
例えばコンピュータビジョンの分野で広く用いられるオープンソースであるｏｐｅｎＣＶにおける、cornerSubPix関数（http://docs.opencv.org/2.4/modules/imgproc/doc/feature_detection.html）を利用できる。正解座標取得部７４は、このように精度が保証されている手法を用いて、撮影画像における大矩形のコーナーの位置座標を取得する。そして同図の（ｂ）において白丸で示すように、大矩形のコーナーとの相対位置に基づき小矩形のコーナーを抽出する。
【００４４】
具体的には、同図右側に示すように、大矩形の像の一つのコーナーの位置座標（ｘ０，ｙ０）と、横方向、縦方向の辺の長さΔｘ、Δｙに基づき、対応する小矩形の像のコーナーの位置座標（ｘ，ｙ）を求める。元の評価用チャートにおいて、大矩形をｎ％（ｎ＜１００）に縮小したサイズの小矩形を大矩形の中心に配置しているとすると、小矩形のコーナーの位置座標（ｘ，ｙ）は次のように表される。
【００４５】
【数１】
2017130794.tif 000003
【００４６】
ここで右辺における正負の符号は、大矩形と小矩形の対応するコーナーの位置関係によって切り替える。なお正解座標をより精度よく求めるためには、評価用チャートを撮影した画像に対し、レンズなどによる歪みを除去する補正処理を施しておくことが望ましい。このような補正処理も、チェス盤状のパターンチャートを用いた一般的な手法、例えば上述のｏｐｅｎＣＶで提供されている関数を、本実施の形態の評価用チャートにもそのまま適用できる。
【００４７】
このように、従来カメラキャリブレーションで用いられてきたパターンを評価用チャートの一部に含めることにより、特徴点の抽出性能評価以外のキャリブレーション処理を同時に達成することができる。また小矩形の少なくとも１つを、露出やホワイトバランスを調整するグレーカードと同色とすることで、それらの調整も同時に行える。
【００４８】
一方、特徴点抽出部７２は上述のとおり、同じ撮影画像から運用時と同じアルゴリズムで小矩形のコーナーを抽出する。すなわち正解座標取得部７４が、チェス盤状のパターンに特化したアルゴリズムを用いるのに対し、特徴点抽出部７２は任意の被写体であっても特徴点を抽出できるようなアルゴリズムを用いる。
【００４９】
例示する評価用チャートはそのうち、コーナーを抽出できるアルゴリズムを想定しているため、大矩形の内部に小さい矩形を表している。ただし、運用時に用いる特徴点抽出アルゴリズムによっては、大矩形の内部に表す図形の形状を矩形以外としてもよい。大矩形のコーナーとの位置関係が既知であれば、図形によらず正解座標を取得できるため、矩形と同様に抽出性能を評価できる。
【００５０】
図７は、正解座標取得部７４が座標を取得した小矩形のコーナーと、特徴点抽出部７２が抽出した特徴点を比較している。（ａ）、（ｂ）に示す評価用チャートの撮影画像のうち、（ａ）は正解座標取得部７４が取得したコーナーの位置を、（ｂ）は特徴点抽出部７２が抽出した特徴点を、それぞれ四角形で囲んで示している。
【００５１】
（ａ）に示されるように、正解座標取得部７４は上述の手法により小矩形のコーナーを正確に抽出できる。一方、特徴点抽出部７２は小矩形のコーナーを抽出できなかったり、コーナー以外の箇所を誤抽出したりしている。なお（ｂ）では、誤抽出された特徴点を囲む四角形を、より濃い線で表している。
【００５２】
評価用チャートの一方向において大矩形と小矩形のコントラストが徐々に強くなるように小矩形のグレー濃度を変化させると、コントラストと誤抽出の頻度との関係を把握しやすくできる。性能指標算出部７６が、特徴点抽出部７２が抽出した特徴点を（ｂ）に示すように表示させることにより、ユーザは誤抽出や抽出漏れの傾向を目視で確認し、対策の検討を行える。
【００５３】
性能指標算出部７６は、このような誤抽出や抽出漏れの観点で抽出性能を数値化することにより、複数の条件での結果比較を容易にしたり、調整対象パラメータの調整を自動で行ったりできるようにする。具体的には、情報検索の性能などを表すのに用いられる尺度であるＦ値（F-measure）を次のように算出する。
【００５４】
【数２】
2017130794.tif 000004
【００５５】
すなわちＦ値はPrecision（適合率)とRecall(再現率)の調和平均である。ここでPrecision（適合率)は、特徴点抽出部７２が抽出した特徴点の個数Ｎのうち正解の個数Ｒの割合、Recall(再現率)は、抽出すべきであった正解の個数、すなわち正解座標取得部７４が取得した正解座標の個数Ｃうち特徴点抽出部７２が特徴点として抽出した個数Ｒの割合であり、それぞれ次のように与えられる。
【００５６】
【数３】
2017130794.tif 000005
【００５７】
Ｆ値を利用することにより、抽出された特徴点における誤りの少なさ、といった意味での「精度」のほか、抽出漏れの少なさの観点を含んだ包括的な抽出性能を表せる。図８〜１１は、様々な条件で評価用チャートを撮影した画像に対し抽出された特徴点の分布と、算出されたＦ値を例示している。各図において、４種類の異なる撮像素子を有するカメラで撮影した結果を比較しており、Ａ、Ｂ、Ｃはセルサイズが大、中、小のＲＧＢ（赤緑青）センサ、ＤはＲＧＢ・ＩＲ（赤外線）センサを有する。
【００５８】
ただしどのセンサであっても、ＲＧＢの信号から最終的に生成された輝度画像から特徴点を抽出している。図８は、７００ルクスの比較的明るい場所で撮影し、通常のゲイン調整をした場合の結果を示している。このような好条件での撮影では、セルサイズや赤外線センサの有無による影響は少なく、安定的に良好なＦ値が得られる。
【００５９】
図９は、図８と同じ明るさの場所で撮影し、ゲイン調整をしなかった場合の結果を示している。ゲイン調整をした場合と比較すると、いずれのセンサでもＦ値が悪化するが、悪化の度合いは一律ではなく、セルサイズが小さいＣのセンサと赤外線も検出するＤのセンサで悪化が顕著となる。
【００６０】
図１０は、図８、９より暗い１００ルクスの場所で撮影し、通常のゲイン調整をした場合の結果を示している。この場合、セルサイズが小さいＣのセンサでＦ値が一段と悪化する。またセルサイズが大きいＡやＢのセンサでは、この程度の照度の変化に対し頑健性を有していることがわかる。
【００６１】
図１１は、図１０よりさらに暗い１０ルクスの場所で撮影し、通常のゲイン調整をした場合の結果を示している。ただし赤外線も検出するＤのセンサで撮影した画像は、ノイズにより正常な特徴点抽出がなされなかったため不図示としている。この場合、セルサイズが中程度のＢのセンサでも、Ｆ値が顕著に悪化する。
【００６２】
すなわちこのような暗所を想定した場合、特徴点を用いた情報処理に耐え得るには、セルサイズが所定値以上のセンサを用いる必要があることがわかる。なおＢやＣのセンサでの画像の下方において抽出された特徴点が示されていないのは、上方から積算した誤検出の個数が所定値を超えたとき、以後の特徴点を表示対象から除外する、というソフトウェア上の規則によるものである。
【００６３】
図１２は、セルサイズの変化に対するＳ／Ｎ比の変化を例示している。図示するようにＳ／Ｎ比は、セルサイズの増加に対し線形に増加する特性を有する。一方、図８〜１１の結果において、セルサイズに対するＦ値の変化は線形とはいえず、また撮影環境の照度によってその関係が大きく変化している。例えば同じセルサイズでも、ある照度を境にＦ値が急激に悪化し、その境界となる照度はセルサイズによって異なる。
【００６４】
したがって特徴点抽出処理の性能の悪化はノイズのみに依存するものではなく、様々な要因が複雑に関係していると考えられる。本実施の形態で説明した手法によれば、そのような性能を数値化することにより様々な条件での比較を容易にする。これにより多数の要因を切り分けて性能を評価できるため、最適なパラメータの組み合わせを決定したり、特徴点の情報が運用時の使用に耐えうるだけの精度を維持できるか確認したりすることを、効率的かつ容易に行える。
【００６５】
図１３は、目標値記憶部８０に格納される目標値の設定情報のデータ構造例を示している。目標値設定テーブル２６０は、アプリケーション欄２６２および目標値欄２６４を含む。アプリケーション欄２６２は、個々のゲームなど運用時にユーザが選択して情報処理を行わせる単位としてのアプリケーションの識別情報を設定する。目標値欄２６４には、各アプリケーションに対応させて、特徴点抽出性能指標の目標値を設定する。
【００６６】
アプリケーションによっては、高い抽出性能を求められる場合がある一方、特徴点の抽出性能をそれほど追求せずとも処理が破綻しない場合もある。また検出対象や想定される動きも様々であり、それにより特徴点の抽出しやすさも異なってくる。したがってアプリケーションごとに目標値を設定することにより、状況に見合った調整対象パラメータを求めたり切り替えたりすることができ、無駄に処理コストを増大させることがなくなる。
【００６７】
次に、上記の構成によって実現できる情報処理装置１０の動作について説明する。図１４は、情報処理装置１０が特徴点抽出性能を評価したうえ調整対象パラメータを調整する処理手順を示すフローチャートである。このフローチャートは、撮像装置１２が評価用チャートを撮影したときに開始される。まず情報処理装置１０のチャート画像取得部７０は、当該評価表チャートの撮影画像のデータを取得する（Ｓ１０）。
【００６８】
撮像装置１２による撮像から情報処理装置１０がデータを取得するまでになされる各種処理は、運用時と同様とする。すなわち調整対象パラメータについても、運用時に想定される初期値が与えられている。チャート画像取得部７０は、取得したデータを適宜復号、伸張するなどして画像格納部７１に格納する。次に特徴点抽出部７２は、当該画像のデータを読み出し、運用時に想定されるアルゴリズムで特徴点を抽出する（Ｓ１２）。
【００６９】
このとき、抽出された特徴点の数が所定のしきい値Ｔｈを超えていなければ（Ｓ１４のＮ）、性能評価を行うことなく調整対象パラメータの調整が必要であると判定し、調整部８２にパラメータの調整を行わせる（Ｓ２２）。具体的には調整部８２は、パラメータ候補記憶部８４から次の設定候補を読み出し、撮像装置１２のパラメータ記憶部６４における設定を更新する。ここでしきい値Ｔｈは、性能指標を算出するまでもなく、特徴点抽出が適性になされていないことが明らかであるような低めの値を設定しておく。
【００７０】
抽出された特徴点の数が所定のしきい値Ｔｈを超えていたら（Ｓ１４のＹ）、正解座標取得部７４は正解座標を取得し（Ｓ１６）、性能指標算出部７６は性能評価の指標を算出する（Ｓ１８）。具体的には、正解座標の個数や、特徴点抽出部７２が抽出した特徴点のうち正解の個数、不正解の個数に従いＦ値を算出する。この際、性能指標算出部７６は、抽出された特徴点を正解、不正解で異なる色や形状で撮影画像上に表した画像を表示装置１６に表示させてもよい。
【００７１】
比較部７８が、算出された性能指標と目標値記憶部８０から読み出した目標値を比較した結果、性能指標が目標値に達していなかったら（Ｓ２０のＹ）、調整部８２は調整対象パラメータを調整する（Ｓ２２）。具体的には、パラメータ候補記憶部８４から次の設定候補を読み出し、撮像装置１２のパラメータ記憶部６４における設定を更新する。パラメータの調整を行ったら、それを反映させて撮影、送信された新たな撮影画像のデータを取得し直し（Ｓ１０）、Ｓ１２〜Ｓ２０の処理を行う。
【００７２】
これを繰り返し、Ｓ２０において特徴点抽出性能の指標が目標値に達したら処理を終了する（Ｓ２０のＮ）。これにより撮像装置１２のパラメータ記憶部６４には、十分な特徴点抽出性能が得られるような処理条件が設定されていることになる。
【００７３】
図１５は、評価用チャートの別の例を示している。評価用チャート３００は、所定サイズの黒い円（例えば円３０２）を、上下左右に１つ分の空きを形成したうえで並べ、その内部および空き部分に所定サイズのグレーの三角形（例えば三角形３０４）を表したパターンを有する。この場合、まず円形モデルによるフィッティングによって撮影画像から黒い円の像を検出する。そして同図右側に示すように、各円の中心座標（ｘ０，ｙ０）、（ｘ１，ｙ１）および、それらを通る縦方向、横方向の直線の交点の座標（ｘ１，ｙ０）、（ｘ０，ｙ１）を求め、それらの座標を重心とする所定サイズの三関係の頂点座標を正解座標として求める。
【００７４】
そして別途、運用時のアルゴリズムで三角形の頂点を特徴点として抽出することにより、図５の評価用チャートを用いた場合と同様に性能指標を求めることができる。このように、評価用チャートのパターンは、ある箇所の座標が正確に求められるアルゴリズムが存在する、基準となるモノトーンの図形と、当該図形と所定の位置関係を有するように表された、運用時の対象物の像を疑似的に表すような特徴点を有する形状のグレーの図形との組み合わせであればよく、形状や配置は限定されない。
【００７５】
例えば図５の評価用チャート２００における小矩形を三角形としてもよいし、図１５の評価用チャート３００における三角形を矩形としてもよい。また両者の評価用チャートにおける大矩形や円に代えて格子状の直線などでもよい。小矩形や三角形の代わりに直線、星形、多角形などとしてもよい。
【００７６】
以上、述べた本実施の形態によれば、評価用チャートを撮影した画像を用いて、特徴点を抽出する段階での画像が抽出処理の観点から適切に得られているかを評価する。一般的に撮像から情報処理装置でのデータ展開までの画像に係る処理は、人の目で見て良好な画像となるように条件が最適化される。一方、そのような条件が特徴点抽出の観点で好適とは限らない。したがって特徴点抽出の観点から、それらの処理や用いるデバイスに調整の余地を与えることにより、より高精度に特徴点を抽出でき、ひいてはそれを用いた情報処理の精度も向上させることができる。
【００７７】
特徴点の抽出に対するシステム構成の適性は、抽出性能指標として数値化する。このとき、運用時に用いる特徴点抽出アルゴリズムとは異なる手法を用いて、本来抽出されるべき特徴点の座標を求めておき、誤抽出および抽出漏れの両者を加味した尺度を求める。評価用チャートは、本来抽出されるべき特徴点の座標を正確に求めることができるようなアルゴリズムに対応するパターンとする。例えば、チェス盤状のパターンの各矩形の内部にグレーの小矩形を表す。そして一般的なアルゴリズムを用いてまずチェス盤状のパターンのコーナーを高精度に検出し、それとの相対位置に基づき小矩形のコーナー座標を求める。これを運用時のアルゴリズムで抽出した特徴点と比較することにより、上記のような尺度を求めることができる。
【００７８】
特徴点抽出処理に影響を与え得る要因が多数あり、条件が多様化しても、抽出性能指標を数値として算出することにより、容易な比較が可能となる。また装置がそれを認識し、調整が必要か否かを判定したり、性能を改善させるために調整を行ったりすることもできる。結果として、撮影画像から抽出した特徴点を用いて行う情報処理の精度向上のための処理条件を、効率的に取得することができる。
【００７９】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００８０】
例えば本実施の形態では、特徴点が適性に得られるように、撮像装置による撮像から情報処理装置での画像データの展開までになされる処理を調整したが、本発明の用途はそれに限らない。例えばＲＧＢ・ＩＲセンサを有するカメラで撮影する場合、ＲＧＢ信号にＩＲ信号が漏れ込んだ結果、ＲＧＢ画像にノイズが発生する場合がある。本発明によれば、評価用チャートを撮影した画像から抽出した特徴点のうち誤抽出されたものが明確に特定できるため、当該誤抽出の発生量によりＩＲ信号の漏れ込みの度合いを評価できる。
【００８１】
この場合、イメージセンサからのＲＧＢ信号に対する処理ができるだけ少ない段階での画像を用いて指標を算出することにより、後段の処理に起因した誤抽出と切り分けることができる。またＩＲ信号による画像を用いて指標を算出すれば、ＩＲセンサに発生するノイズの量を評価することもできる。
【符号の説明】
【００８２】
８  評価システム、  １０  情報処理装置、  １２  撮像装置、    １６  表示装置、  ２２  ＣＰＵ、  ２４  ＧＰＵ、  ２６  メインメモリ、  ６０  データ形成部、  ６２  撮像部、  ６４  パラメータ記憶部、  ７０  チャート画像取得部、  ７１  画像格納部、  ７２  特徴点抽出部、  ７４  正解座標取得部、  ７６  性能指標算出部、  ７８  比較部、  ８０  目標値記憶部、  ８２  調整部、  ８４  パラメータ候補記憶部、  ２００  評価用チャート、  ３００  評価用チャート。
【図１】
2017130794.tif 000006
【図２】
2017130794.tif 000007
【図３】
2017130794.tif 000008
【図４】
2017130794.tif 000009
【図５】
2017130794.tif 000010
【図６】
2017130794.tif 000011
【図７】
2017130794.tif 000012
【図８】
2017130794.tif 000013
【図９】
2017130794.tif 000014
【図１０】
2017130794.tif 000015
【図１１】
2017130794.tif 000016
【図１２】
2017130794.tif 000017
【図１３】
2017130794.tif 000018
【図１４】
2017130794.tif 000019
【図１５】
2017130794.tif 000020