(57)【要約】  本撮像装置は、画像データを生成し、データ格納部に格納する撮像部と、データ格納部に格納された画像データから画像の特徴を表す特徴ベクトルＴＶを抽出し、特徴ベクトル格納部に格納する特徴ベクトル抽出部と、画像の特徴についての基準となる基準ベクトルＲＶを格納している基準ベクトル格納部と、特徴ベクトル格納部に格納され且つ第１の時刻に生成された第１画像データに係るＴＶと基準ベクトル格納部に格納されているＲＶとの第１距離と、特徴ベクトル格納部に格納され且つ第１の時刻より前の第２の時刻に生成された第２画像データに係るＴＶと基準ベクトル格納部に格納されているＲＶとの第２距離とを比較することで、撮像部が生成した画像データがＲＶに相当する画像データに近づいているか否かを判定する判定部と、判定部の判定結果を表示する表示部とを有する。
2012114464.tif 000002
【特許請求の範囲】
【請求項１】
画像データを生成し、データ格納部に格納する撮像部と、
前記データ格納部に格納された前記画像データから画像の特徴を表す特徴ベクトルを抽出し、特徴ベクトル格納部に格納する特徴ベクトル抽出部と、
前記画像の特徴についての基準となる基準ベクトルを格納している基準ベクトル格納部と、
前記特徴ベクトル格納部に格納され且つ第１の時刻に生成された第１の画像データに係る特徴ベクトルと前記基準ベクトル格納部に格納されている前記基準ベクトルとの第１の距離と、前記特徴ベクトル格納部に格納され且つ前記第１の時刻より前の第２の時刻に生成された第２の画像データに係る特徴ベクトルと前記基準ベクトル格納部に格納されている前記基準ベクトルとの第２の距離とを比較することで、前記撮像部が生成した画像データが前記基準ベクトルに相当する画像データに近づいているか否かを判定する判定部と、
前記判定部の判定結果を表示する表示部と、
を有する撮像装置。
【請求項２】
前記基準ベクトル格納部が、
前記基準ベクトルからの所定の距離として表される閾値をさらに格納しており、
前記判定部は、
前記第１の距離が前記基準ベクトル格納部に格納されている前記閾値よりも小さい場合、前記第１の画像データを予め定められた適切な状態であるとさらに判定する
請求項１記載の撮像装置。
【請求項３】
前記基準ベクトル格納部が、
複数の基準ベクトルを格納しており、
前記判定部は、
前記複数の基準ベクトルを用いて求められた複数の第１の距離と複数の第２の距離とのうち、前記第１の距離の最小値と前記第２の距離の最小値とを用いて判定を行う
請求項１又は２記載の撮像装置。
【請求項４】
前記基準ベクトルは、カテゴリ毎に用意され、当該カテゴリに属する各画像の画像データについて抽出される特徴ベクトルの重心ベクトルである
請求項１乃至３のいずれか１つ記載の撮像装置。
【請求項５】
前記判定部は、
前記第１の画像データに係る特徴ベクトルと前記基準ベクトルとの距離の大きさを表す距離データを生成し、
前記表示部は、
生成した前記距離データをさらに表示する
請求項１乃至４のいずれか１つ記載の撮像装置。
【請求項６】
撮像部により生成された画像データを格納しているデータ格納部に格納されており且つ第１の時刻に生成された画像データから画像の特徴を表す第１の特徴ベクトルを抽出して特徴ベクトル格納部に格納するステップと、
前記データ格納部に格納されており且つ前記第１の時刻より後の第２の時刻に生成された画像データから第２の特徴ベクトルを抽出して前記特徴ベクトル格納部に格納するステップと、
前記特徴ベクトル格納部に格納された第１の特徴ベクトルと前記画像の特徴についての基準となる基準ベクトルを格納している基準ベクトル格納部に格納されている前記基準ベクトルとの第１の距離と、前記特徴ベクトル格納部に格納された第２の特徴ベクトルと前記基準ベクトル格納部に格納されている前記基準ベクトルとの第２の距離とを比較することで、前記撮像部により生成された画像データが前記基準ベクトルに相当する画像データに近づいているか否かを判定する判定ステップと、
前記判定ステップにおける判定結果を表示部に表示するステップと、
をコンピュータに実行させるためのプログラム。
【請求項７】
前記基準ベクトル格納部が、
前記基準ベクトルからの所定の距離として表される閾値をさらに格納しており、
前記判定ステップにおいて、
前記第１の距離が前記基準ベクトル格納部に格納されている前記閾値よりも小さい場合、前記第１の画像データを予め定められた適切な状態であるとさらに判定する
請求項６記載のプログラム。
【請求項８】
前記基準ベクトル格納部が、
複数の基準ベクトルを格納しており、
前記判定ステップにおいて、
前記複数の基準ベクトルを用いて求められた複数の第１の距離と複数の第２の距離とのうち、前記第１の距離の最小値と前記第２の距離の最小値とを用いて判定を行う
請求項６又は７記載のプログラム。
【請求項９】
前記判定ステップにおいて、
前記第１の画像データに係る特徴ベクトルと前記基準ベクトルとの距離の大きさを表す距離データを生成し、
前記表示部は、
生成した前記距離データをさらに表示する
請求項６乃至８のいずれか１つ記載のプログラム。
【請求項１０】
撮像部により生成された画像データを格納しているデータ格納部に格納されており且つ第１の時刻に生成された画像データから画像の特徴を表す第１の特徴ベクトルを抽出して特徴ベクトル格納部に格納するステップと、
前記データ格納部に格納されており且つ前記第１の時刻より後の第２の時刻に生成された画像データから第２の特徴ベクトルを抽出して前記特徴ベクトル格納部に格納するステップと、
前記特徴ベクトル格納部に格納された第１の特徴ベクトルと前記画像の特徴についての基準となる基準ベクトルを格納している基準ベクトル格納部に格納されている前記基準ベクトルとの第１の距離と、前記特徴ベクトル格納部に格納された第２の特徴ベクトルと前記基準ベクトル格納部に格納されている前記基準ベクトルとの第２の距離とを比較することで、前記撮像部により生成された画像データが前記基準ベクトルに相当する画像データに近づいているか否かを判定する判定ステップと、
前記判定ステップにおける判定結果を表示部に表示するステップと、
を含み、コンピュータに実行される撮像支援方法。
【請求項１１】
前記基準ベクトル格納部が、
前記基準ベクトルからの所定の距離として表される閾値をさらに格納しており、
前記判定ステップにおいて、
前記第１の距離が前記基準ベクトル格納部に格納されている前記閾値よりも小さい場合、前記第１の画像データを予め定められた適切な状態であるとさらに判定する
請求項１０記載の撮像支援方法。
【請求項１２】
前記基準ベクトル格納部が、
複数の基準ベクトルを格納しており、
前記判定ステップにおいて、
前記複数の基準ベクトルを用いて求められた複数の第１の距離と複数の第２の距離とのうち、前記第１の距離の最小値と前記第２の距離の最小値とを用いて判定を行う
請求項１０又は１１記載の撮像支援方法。
【請求項１３】
前記判定ステップにおいて、
前記第１の画像データに係る特徴ベクトルと前記基準ベクトルとの距離の大きさを表す距離データを生成し、
前記表示部は、
生成した前記距離データをさらに表示する
請求項１０乃至１２のいずれか１つ記載の撮像支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像の撮影を支援するための技術に関する。
【背景技術】
【０００２】
何らかの被写体を撮影した画像からその被写体を認識する技術が存在している。例えば、画像から被写体の属するカテゴリを認識する技術では、まず、カテゴリが既知である画像の集合を用意し、各画像に表れた色、模様又は形状等の特徴をベクトルとして数量化した特徴ベクトルを抽出する。そして、ベクトル空間における各カテゴリの特徴ベクトル群の分布に基づいて、認識対象の画像の被写体が属するカテゴリを特定する。【０００３】
一方、写真撮影時に推奨する構図を案内する技術としては、例えば、ユーザによる撮影対象の種類選択に応じて、画像圧縮の観点から推奨される構図をガイドする技術がある。他には、連続的に撮像された画像について空間周波数成分をもとに良否評価する技術や、過去に撮影した写真と同じ構図及びパースで撮影できるようにガイドとなる情報を表示する技術も存在している。また、構図を自動的に調整する技術として、ナンバープレートを撮影する際に、モデル画像における大きさとほぼ一致させるように画角を調整する技術も存在している。【０００４】
ここで、特徴ベクトルを用いた画像認識では、単純に被写体が大きく写っているとかピントがぼけていないといった条件だけでは、認識精度が十分に上がらない場合がある。しかし、特徴ベクトルを用いた画像認識において認識精度が向上するように画像の撮影を支援するための技術は存在していない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２７０７６号公報
【特許文献２】特開２００５−５１７７６号公報
【特許文献３】特開２０００−２０９４６８号公報
【特許文献４】特開２０００−２８５１９８号公報
【非特許文献】
【０００６】
【非特許文献１】Ｃ．Ｍ．ビショップ（著）、元田浩、栗田多喜夫、樋口知之、松本裕治、村田昇（翻訳）、パターン認識と機械学習  上（下）−ベイズ理論による統計的予測、シュプリンガー・ジャパン株式会社、ISBN：978-4431100133(下：978-4431100317)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従って、本技術の目的は、一側面として、画像認識において認識精度が向上するような画像の撮影を支援するための技術を提供することである。
【課題を解決するための手段】
【０００８】
本実施の形態に係る撮像装置は、（Ａ）画像データを生成し、データ格納部に格納する撮像部と、（Ｂ）データ格納部に格納された画像データから画像の特徴を表す特徴ベクトルを抽出し、特徴ベクトル格納部に格納する特徴ベクトル抽出部と、（Ｃ）画像の特徴についての基準となる基準ベクトルを格納している基準ベクトル格納部と、（Ｄ）特徴ベクトル格納部に格納され且つ第１の時刻に生成された第１の画像データに係る特徴ベクトルと基準ベクトル格納部に格納されている基準ベクトルとの第１の距離と、特徴ベクトル格納部に格納され且つ第１の時刻より前の第２の時刻に生成された第２の画像データに係る特徴ベクトルと基準ベクトル格納部に格納されている基準ベクトルとの第２の距離とを比較することで、撮像部が生成した画像データが基準ベクトルに相当する画像データに近づいているか否かを判定する判定部と、（Ｅ）判定部の判定結果を表示する表示部とを有する。
【発明の効果】
【０００９】
画像認識において認識精度が向上するような画像の撮影を支援するための技術を提供することができるようになる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態に係る撮像装置の機能ブロック図である。
【図２】図２は、基準データ格納部に格納されるデータの一例を示す図である。
【図３】図３は、前処理を行うコンピュータの機能ブロック図である。
【図４】図４は、前処理の処理フローを示す図である。
【図５】図５は、参照特徴ベクトル格納部に格納されるデータの一例を示す図である。
【図６】図６は、参照特徴ベクトルの分布を模式的に表した図である。
【図７】図７は、基準データ格納部に格納されるデータの一例を示す図である。
【図８】図８は、カテゴリの重心ベクトルを模式的に表した図である。
【図９】図９は、基準距離の特定を説明するための図である。
【図１０】図１０は、基準距離を説明するための図である。
【図１１】図１１は、メインの処理フローを示す図である。
【図１２】図１２は、適切な撮影位置を説明するための図である。
【図１３】図１３は、ガイド情報の一例を示す図である。
【図１４】図１４は、適切な撮影位置である場合のガイド情報の一例を示す図である。
【図１５】図１５は、適切な撮影位置に近づいているかの判断を説明するための図である。
【図１６】図１６は、適切な撮影位置に近づいている場合の表示の一例を示す図である。
【図１７】図１７は、適切な撮影位置に近づいていない場合の表示の一例を示す図である。
【図１８】図１８は、メインの処理フローを示す図である。
【図１９】図１９は、適切な撮影位置に近づいている場合の表示の一例を示す図である。
【図２０】図２０は、適切な撮影位置に近づいていない場合の表示の一例を示す図である。
【図２１】図２１は、実施の形態の変形例に係る撮像装置の機能ブロック図である。
【図２２】図２２は、認識結果に応じた情報の表示の一例を示す図である。
【図２３】図２３は、認識結果に応じた情報の表示の一例を示す図である。
【図２４】図２４は、コンピュータの機能ブロック図である。
【発明を実施するための形態】
【００１１】
図１に、本実施の形態に係る撮像装置の機能ブロック図を示す。本実施の形態に係る撮像装置１は、デジタルカメラとしての機能を有する撮像部１０１と、画像データ格納部１０３と、特徴ベクトル抽出部１０５と、特徴ベクトル格納部１０７と、本実施の形態の処理において基準値として用いられる基準ベクトル及び基準距離をカテゴリ毎に格納している基準データ格納部１０９と、判定部１１１と、表示データ格納部１１３と、表示部１１５と、撮影データ格納部１１７とを有する。
【００１２】
撮像部１０１は、レンズ及びＣＣＤセンサ又はＣＭＯＳセンサ等を介して被写体の画像データを生成し、画像データ格納部１０３又は撮影データ格納部１１７に格納する。特徴ベクトル抽出部１０５は、画像データ格納部１０３に格納されたデータから特徴ベクトルを抽出し、特徴ベクトル格納部１０７に格納する。判定部１１１は、特徴ベクトル格納部１０７及び基準データ格納部１０９に格納されたデータを用いて、生成された画像データの特徴ベクトルが基準ベクトルに近づいたか、及び基準ベクトルに十分近いか判断し、判断結果を表示するためのデータを生成して表示データ格納部１１３に格納する。また、判定部１１１は、中間的に生成したデータを特徴ベクトル格納部１０７に格納する。表示部１１５は、画像データ格納部１０３及び表示データ格納部１１３に格納されたデータを表示する。
【００１３】
撮像装置１の基準データ格納部１０９には、例えば図２に示すような基準データテーブルが予め格納されているものとする。図２の基準データテーブルには、カテゴリ名の列と、基準ベクトルの列と、基準距離の列とが含まれている。本実施の形態において、基準ベクトルは、例えば、サンプル集合に含まれる、カテゴリが既知の画像データから抽出された参照特徴ベクトルの重心ベクトルである。また、基準距離は、サンプル集合の画像データに係る参照特徴ベクトルの分布に基づき設定される所定の距離である。そして、基準ベクトルの列及び基準距離の列にはこれらの値を登録しておく。なお、本実施の形態では、撮影しようとしている画像の特徴ベクトルとあるカテゴリに係る基準ベクトルとの距離が基準距離よりも短い場合、撮影しようとしている画像は、そのカテゴリに属する画像であると認識するのに十分な認識精度を得られるものと判断する。
【００１４】
ここで、基準データ格納部１０９に格納されるデータを事前に準備する処理について、図３乃至図１０を用いて説明しておく。なお、本処理は、例えば一般的なコンピュータにより実施され、得られたデータが撮像装置１の基準データ格納部１０９に格納されるものとする。
【００１５】
まず、図３に、前処理を行うコンピュータの機能ブロック図を示す。本実施の形態に係るコンピュータ３は、カテゴリと関連付けて画像データを格納しているサンプル格納部３０１と、参照特徴ベクトル抽出部３０３と、参照特徴ベクトル格納部３０５と、基準値算出部３０７と、基準データ格納部３０９とを有する。
【００１６】
参照特徴ベクトル抽出部３０３は、サンプル格納部３０１に格納された画像データから特徴ベクトルを抽出し、参照特徴ベクトル格納部３０５に格納する。また、基準値算出部３０７は、参照特徴ベクトル格納部３０５に格納されたデータを用いて、カテゴリ毎に、重心ベクトル及び所定の距離を求め、基準データ格納部３０９に格納する。また、基準値算出部３０７は、中間的に生成したデータを基準データ格納部３０９に格納する。
【００１７】
次に、図４乃至図１０を用いて、図３に示したコンピュータ３の処理について説明する。なお、サンプル格納部３０１には、特定のカテゴリと関連付けられた画像データが予め格納されているものとする。例えば、カテゴリ「豚カツ」に関連付けられて、豚カツを撮影した画像データが格納されており、カテゴリ「焼き魚」に関連付けられて、焼き魚を撮影した画像データが格納されている。また、画像データには画像ＩＤが付されているものとする。
【００１８】
まず、参照特徴ベクトル抽出部３０３は、サンプル格納部３０１に格納された画像データから未処理の画像データを１つ特定し、画像データ、画像ＩＤ及びカテゴリ名を取得する（図４：ステップＳ１）。そして、参照特徴ベクトル抽出部３０３は、取得した画像データから特徴ベクトルを抽出し、画像ＩＤ及びカテゴリ名と関連付けて参照特徴ベクトル格納部３０５に格納する（ステップＳ３）。
【００１９】
特徴ベクトルは、画像データに含まれる色、模様又は形状等の特徴を数値化したベクトルである。本実施の形態では、画像データに含まれる色の特徴を表す特徴ベクトルを例に説明する。例えばＲＧＢ色空間をＲ、Ｇ及びＢについてそれぞれ８等分することで５１２の部分空間に分割する。そして、取得した画像データの各画素の色値を取得し、５１２の部分空間のいずれに含まれるか判断する。例えば、総画素数をＮ、ｉ（１≦ｉ≦５１２）番目の部分空間に含まれる画素数をＮＰiとすると、特徴ベクトルは、次の式（１）で算出される値をｉ番目の要素ｘiとする５１２次元ベクトルとして抽出される。
【００２０】
【数１】
2012114464.tif 000003
【００２１】
また、図５に、参照特徴ベクトル格納部３０５に格納される参照特徴ベクトルテーブルの一例を示す。図５の参照特徴ベクトルテーブルは、画像ＩＤの列と、カテゴリ名の列と、特徴ベクトルの列とを有する。ステップＳ３では、ステップＳ１で取得した画像データから特徴ベクトルが抽出され、予め画像データに関連付けられていた画像ＩＤ及びカテゴリ名と共に登録される。
【００２２】
その後、参照特徴ベクトル抽出部３０３は、サンプル格納部３０１に未処理の画像データが存在するか判断する（ステップＳ５）。未処理の画像データが存在すると判断された場合、ステップＳ１へ戻る。その後、ステップＳ３の処理が繰り返されて、複数の参照特徴ベクトルが登録される。ここで、図６に、参照特徴ベクトルの分布を模式的に表した図を示す。なお、参照特徴ベクトルは、便宜上２次元ベクトルとしている。図６には、カテゴリ「豚カツ」に関連付けられた画像データから抽出された参照特徴ベクトルと、カテゴリ「焼き魚」に関連付けられた画像データから抽出された参照特徴ベクトルとが、平面上に×印又は○印で表されている。このように、参照特徴ベクトルの集合は、平面上においてある範囲にカテゴリ毎にまとまっている。
【００２３】
一方、ステップＳ５において未処理の画像データが存在しないと判断された場合、基準値算出部３０７は、参照特徴ベクトルテーブルに格納された参照特徴ベクトルを用いて、カテゴリ毎に参照特徴ベクトルの重心ベクトルを算出し、基準データ格納部３０９の基準データテーブルに基準ベクトルとして格納する（ステップＳ７）。本実施の形態に係る重心ベクトルは、次の式（２）を用いて算出される値をｉ番目の要素ｃiとする５１２次元ベクトルとして求められる。
【数２】
2012114464.tif 000004
なお、ＮＶｃは、カテゴリｃに含まれる参照特徴ベクトルの数であり、ｘｍiはカテゴリｃに含まれるｍ番目の参照特徴ベクトルに係るｉ番目の要素である。また、本ステップでは、図７に示すようなデータが基準データテーブルに格納される。図７の基準データテーブルには、カテゴリ毎に算出された重心ベクトルが基準ベクトルの列に登録されている。
【００２４】
また、図８に、各カテゴリと当該カテゴリの重心ベクトルを模式的に表した図を示す。図８には、カテゴリ「豚カツ」に属する参照特徴ベクトルの重心ベクトルと、カテゴリ「焼き魚」に属する参照特徴ベクトルの重心ベクトルとが示されている。
【００２５】
その後、基準値算出部３０７は、参照特徴ベクトルテーブルに格納されている参照特徴ベクトルと基準データテーブルに格納されている基準ベクトルとを用いて、カテゴリ毎に基準距離を算出し、基準データテーブルに格納する（ステップＳ９）。本ステップでは、図９に示すように、例えば参照特徴ベクトル格納部３０５に格納されているレコード毎に参照特徴ベクトルと基準ベクトルとの距離を算出し、当該距離の昇順に対応するレコードをソートする。そして、例えば上位８割のレコードのうち最後のレコードの距離を特定し、基準距離として格納する。図９の例では、画像ＩＤが０００００８０のレコードにおける距離Ｄ80が基準距離として特定される。
【００２６】
ここで、距離ｄ（ｃ，ｘ）は、ベクトル間のユークリッド距離であり、例えば次の式（３）を用いて算出される。
【数３】
2012114464.tif 000005
なお、ＮＩは要素の数であり、本実施の形態では５１２である。また、本実施の形態では距離の大小を判定することができれば十分であるため、ルートの内部のみを求めるようにしてもよい。
【００２７】
また、図８の平面上において重心ベクトルからの基準距離を示すと、例えば図１０のようになる。図１０には、各カテゴリにおいて、重心ベクトルに近いものから上位８割の参照特徴ベクトルが含まれるような基準距離が示されている。なお、８割という境界は一例であり、他の条件を基に基準距離を決めるようにしてもよい。
【００２８】
以上のような処理により、基準データ格納部３０９の基準データテーブルには、図２に示したようにカテゴリ毎の基準ベクトル及び基準距離が登録される。そして、このようなデータが撮像装置１の基準データ格納部１０９に予め格納され、撮像装置１の処理に用いられる。
【００２９】
次に、図１１乃至図２３を用いて、図１に示した撮像装置１の処理について説明する。まず、撮像部１０１は、所定の時間間隔で画像データを生成し、画像データ格納部１０３に格納する（図１１：ステップＳ１１）。本ステップでは、例えば、時刻ｔ1の画像データとして一時的に画像データ格納部１０３に格納する。格納された画像データは、ファインダの機能を兼ねた液晶ディスプレイ等である表示部１１５にも表示される。
【００３０】
次に、特徴ベクトル抽出部１０５は、画像データ格納部１０３に格納された画像データから特徴ベクトルＴＶ（ｔ1）を抽出し、特徴ベクトル格納部１０７に格納する（ステップＳ１３）。特徴ベクトルＴＶ（ｔ1）は、上で述べた式（１）を用いて算出される値をｉ番目の要素ｘiとする５１２次元ベクトルとして抽出される。また、判定部１１１は、特徴ベクトル格納部１０７に格納されている特徴ベクトルＴＶ（ｔ1）と基準データ格納部１０９の基準データテーブルに登録されている各基準ベクトルＲＶjとの距離Ｄj（ｔ1）を算出し、距離Ｄj（ｔ1）の最小値Ｄmin（ｔ1）と当該最小値Ｄmin（ｔ1）を算出するために用いられた基準ベクトルＲＶjに関連付けられたカテゴリｊを特定する（ステップＳ１５）。また、距離Ｄj（ｔ1）の最小値Ｄmin（ｔ1）を特徴ベクトル格納部１０７に格納しておく。ここで、本ステップにおける距離Ｄj（ｔ1）は、上で述べた式（３）を用いて算出される。なお、本実施の形態では、ステップＳ１で生成された画像データは、本ステップで特定されたカテゴリに属するものと想定する。また、本実施の形態に係る処理が繰り返される中で、生成された画像データが属すると想定されるカテゴリは変化することもあり得る。なお、説明の便宜上、本ステップで特定されたカテゴリを以降は候補カテゴリと呼ぶこととする。
【００３１】
そして、判定部１１１は、基準データテーブルから、候補カテゴリに関連付けられている基準距離を読み出し、最小値Ｄmin（ｔ1）と比較することにより、現在の撮影位置が適切であるか判断する（ステップＳ１７）。本ステップでは、最小値Ｄmin（ｔ1）が基準距離よりも小さい場合に、撮影位置は適切であると判断する。図１０で示した平面上に特徴ベクトルＴＶ（ｔ1）をプロットした図を、図１２に示す。図１２において、候補カテゴリの基準ベクトルＣから基準距離の範囲内に存在する点Ａが特徴ベクトルＴＶ（ｔ1）である場合、現在の撮影位置は適切であると判断する。一方、候補カテゴリの基準ベクトルＣから基準距離の範囲内に存在しない点Ｂが特徴ベクトルＴＶ（ｔ1）である場合、現在の撮影位置は適切でないと判断する。
【００３２】
撮影位置が適切であると判断された場合、判定部１１１は、撮影位置が適切である旨を表示するためのデータを生成し、表示データ格納部１１３に格納する（ステップＳ１９）。本実施の形態では、例えば図１３に示すようなガイド情報を、表示部１１５に表示するためのデータとして生成する。図１３のガイド情報は、適切な撮影位置であることを示す領域１００１と、適切な撮影位置に近づいていることを示す領域１００３と、適切な撮影位置に近づいていないことを示す領域１００５と、距離を示す領域１００７とを含む。ステップＳ１７において撮影位置が適切であると判断された場合には、撮影位置が適切である旨を表示するためのデータとして、例えば図１４に示すような、適切な撮影位置であることを示す領域１００１を青で塗りつぶした画像を表示するためのデータを生成する。また、距離を示す領域１００７に、例えば、特徴ベクトルＴＶ（ｔ1）から候補カテゴリの基準ベクトルＲＶjまでの距離である最小値Ｄmin（ｔ1）を所定の長さに換算して示すバーを表示するためのデータを生成する。この場合、初回に得られた最小値Ｄmin（ｔ1）が領域１００７の長さとなるような換算率に基づいて距離の増減をバーの長さの変化で表すようにする。すなわち、本ステップでは、ステップＳ１５で算出された最小値Ｄmin（ｔ1）に対し、（領域１００７の長さ／初回に得られた最小値Ｄmin（ｔ1））を乗じることにより、表示すべきバーの長さを算出するようにする。このバーからも、ユーザは距離の増減を認識することができるようになる。なお、このような換算率も例えば表示データ格納部１１３に格納しておく。そして、ステップＳ３１へ移行する。
【００３３】
なお、初回に得られた最小値Ｄmin（ｔ1）が、例えば領域１００７の５割の長さになるようにしてもよい。このようにすれば、初回に得られた最小値Ｄmin（ｔ1）より距離が増加した場合にも長さの変化を表すことができるようになる。さらに、領域１００７には基準距離に相当する目盛を示すようにしてもよい。このようにすれば、適切な撮影位置までの距離を把握することができる。また、領域１００７に、基準ベクトルまでの距離に相当する長さを有するバーではなく、ベクトル空間における重心から基準距離離れた超曲面までの距離に相当する長さを有するバーを示すようにしてもよい。その場合は、最小値Ｄmin（ｔ1）から候補カテゴリについての基準距離を引いた値を換算してバーの長さを決定する。
【００３４】
また、後に説明する処理において、時刻ｔ1に算出された最小値Ｄmin（ｔ1）とそれ以前の時刻ｔ0に算出された最小値Ｄmin（ｔ0）とを比較し、適切な撮影位置に近づいていると判断された場合には、例えば図１３の適切な撮影位置に近づいていることを示す領域１００３を緑色で塗りつぶした画像を表示する。また、適切な撮影位置に近づいていないと判断された場合には、例えば適切な撮影位置に近づいていないことを示す領域１００５を赤で塗りつぶした画像を表示する。
【００３５】
ステップＳ１７において現在の撮影位置が適切でないと判断された場合、判定部１１１は、特徴ベクトル格納部１０７の特徴ベクトルテーブルに時刻ｔ0のデータが存在するか判断する（ステップＳ２１）。時刻ｔ0のデータが存在しない場合、判定部１１１は、時刻ｔ1における最小値Ｄmin（ｔ1）を、時刻ｔ0のデータ（最小値Ｄmin（ｔ0））として特徴ベクトル格納部１０７に保持しておく（ステップＳ２３）。そして、ステップＳ１１に戻る。
【００３６】
一方、ステップＳ２１において時刻ｔ0のデータが存在すると判断された場合、判定部１１１は、特徴ベクトル格納部１０７から時刻ｔ0における最小値Ｄmin（ｔ0）及び時刻ｔ1における最小値Ｄmin（ｔ1）を読み出し、Ｄmin（ｔ0）とＤmin（ｔ1）とを比較することにより適切な撮影位置に近づいているか判断する（ステップＳ２５）。本ステップでは、Ｄmin（ｔ0）よりもＤmin（ｔ1）の方が小さい場合、適切な撮影位置に近づいていると判断する。図１０の平面上に特徴ベクトルＴＶ（ｔ0）及び特徴ベクトルＴＶ（ｔ1）をプロットした図を、図１５に示す。図１５において、例えば、候補カテゴリの基準ベクトルＦから遠い点Ｄが特徴ベクトルＴＶ（ｔ0）であり、基準ベクトルＦに近い点Ｅが特徴ベクトルＴＶ（ｔ1）である場合、Ｄmin（ｔ0）よりもＤmin（ｔ1）が小さくなるため、適切な撮影位置に近づいていると判断する。一方、例えば、候補カテゴリの基準ベクトルＦから遠い点Ｄが特徴ベクトルＴＶ（ｔ1）であり、基準ベクトルＦに近い点Ｅが特徴ベクトルＴＶ（ｔ0）である場合、Ｄmin（ｔ0）よりもＤmin（ｔ1）が小さくならないため、適切な撮影位置に近づいていないと判断する。
【００３７】
適切な撮影位置に近づいていると判断された場合、判定部１１１は、適切な撮影位置に近づいている旨の表示データを生成し、表示データ格納部１１３に格納する（ステップＳ２７）。本ステップでは、図１３に示したガイド情報において、例えば適切な撮影位置に近づいていることを示す領域１００３を緑色で塗りつぶした画像を表示するためのデータを生成する。また、最小値Ｄmin（ｔ1）に相当する長さを有するバーを表示するためのデータも生成する。そして、ステップＳ３１へ移行する。
【００３８】
一方、ステップＳ２５において、適切な撮影位置に近づいていないと判断された場合、判定部１１１は、適切な撮影位置に近づいていない旨の表示データを生成し、表示データ格納部１１３に格納する（ステップＳ２９）。本ステップでは、図１３に示したガイド情報において、例えば適切な撮影位置に近づいていないことを示す領域１００５を赤で塗りつぶした画像を表示するためのデータを生成する。また、最小値Ｄmin（ｔ1）に相当する長さを有するバーを表示するためのデータも生成する。そして、ステップＳ３１へ移行する。
【００３９】
ステップＳ１９、ステップＳ２７又はステップＳ２９の後、表示部１１５は、画像データ格納部１０３に格納されている時刻ｔ1の画像データに対して、表示データ格納部１１３に格納されているデータを重ねて表示する（ステップＳ３１）。例えば、適切な撮影位置に近づいている場合は、図１６に示すように、ステップＳ１で生成された画像データに重畳して、ステップＳ２７で生成された表示データを表示する。なお、図１６に示した矩形の枠は、適切な撮影位置から撮影した場合における撮影範囲の一例を表している。この矩形の枠は便宜的に示したものであり、表示部１１５に表示されるものではない。一方、適切な撮影位置に近づいていない場合、図１７に示すように、ステップＳ１で生成された画像データに重畳して、ステップＳ２９で生成された表示データを表示する。図１７にも適切な撮影位置から撮影した場合における撮影範囲の一例を表す枠を便宜的に示している。図１７の撮影範囲と内部の枠とのずれは図１６の場合よりも大きく、撮影位置は適切な撮影位置から遠ざかっている。ユーザはこれを右下のガイド情報から認識することができる。また、撮影位置が適切である場合、ステップＳ１で生成された画像データに重畳して、ステップＳ１９で生成された表示データ（例えば、図１４に示した表示データ）を表示する。その後、端子Ａを介して図１８の処理へ移行する。
【００４０】
なお、領域１００７に表示されるバーは、最小値Ｄmin（ｔ1）に相当する距離を表すものであり、撮像装置１から被写体までの現実の距離を表すものではない。すなわち、図１６及び図１７では被写体に近づいた場合にバーの長さが短くなっているが、図１９及び図２０に示すように、被写体から遠ざかった場合にバーの長さが短くなる場合もある。ユーザはこのような表示を参考にしつつ、撮像装置１と被写体の現実の距離又は被写体を撮影する角度等、画像データの構図を変えたり、場合によっては撮影環境の明るさを変えたりすることで、適切な撮影位置までの距離が短くなるようにする。
【００４１】
図１８の説明に移行して、端子Ａの後、判定部１１１は、ユーザから撮影が指示されたか判断する（ステップＳ３３）。図示していないシャッターボタン等の入力部を介してユーザが撮影を指示したと判断された場合、例えば撮像部１０１は、画像データを生成して撮影データ格納部１１７に格納する（ステップＳ３５）。なお、撮影データ格納部１１７は、不揮発性メモリ等である。
【００４２】
一方、ステップＳ３３においてユーザから撮影を指示されていないと判断された場合、又はステップＳ３５の後、判定部１１１は、処理の終了が指示されたか判断する（ステップＳ３７）。例えば、撮像装置１の電源がオフにされた場合、又は撮像装置１に対して本実施の形態に係る機能の停止が指示された場合等には、処理を終了する。一方、処理の終了が指示されていない場合、処理は端子Ｂを介してステップＳ２３（図１１）へ戻る。すなわち、時刻ｔ1の最小値Ｄmin（ｔ1）を時刻ｔ0の最小値Ｄmin（ｔ0）として保持しておき、新たに生成された画像データを時刻ｔ1の画像データとして処理を繰り返す。
【００４３】
上で述べたように、特徴ベクトルは、画像の中での被写体の位置や大きさといった構図等によっても変化してしまう。すなわち、予め用意された画像と同じような特徴を示す構図で画像データを生成しなければ、うまく特徴ベクトルの比較を行うことができず、認識精度が低下してしまう。しかしながら、被写体を撮影する際の適切な構図までユーザが理解しておくことは困難であり、適切な撮影位置からの画像データを生成するのは難しい。本実施の形態に係る撮像装置１は、生成された画像データの特徴ベクトルが候補カテゴリの基準ベクトルに近づくようにユーザをガイドするため、ガイドに従って撮影された画像データの認識精度を向上させることができる。
【００４４】
なお、図２１に示す撮像装置１０のように、上で述べた撮像装置１に送信部１１９及び受信部１２１を設けるようにしてもよい。そして、送信部１１９が撮影データ格納部１１７に格納されている画像データを図示していない画像認識装置へ送信し、受信部１２１が画像認識装置から認識結果に応じた情報を受信して表示データ格納部１１３に格納するようにしてもよい。このようにして得た情報を表示部１１５が表示するようにすれば、撮影した画像についての認識結果に応じた情報をユーザはその場で確認することができる。
【００４５】
例えば、画像認識装置は、病気に罹った農作物の画像データからその病名を認識し、病名と対応付けて保持している対処法等の情報を撮像装置１０へ返す。そして、例えば図２２に示すように、撮像装置１０の表示部１１５は対処法等の情報を表示する。また、画像認識装置は、食事の際に撮影した料理の画像データから料理を認識し、料理と対応付けて保持している、主食、主菜又は副菜等の種別やカロリー等の情報を撮像装置１０へ返す。さらに、画像認識装置がユーザの食事についての履歴データを保持しておき、その内容に基づいて予め用意されたメッセージを返すようにしてもよい。また、ユーザの食事についての履歴データに応じて管理栄養士等が栄養指導をするといったサービスに用いることもできる。そして、例えば図２３に示すように、撮像装置１０の表示部１１５はカロリーと食事についてのアドバイスを表示する。本実施の形態では、画像認識の精度が上がるように撮影を支援するため、画像認識装置での認識処理がうまくいかずに撮影し直すようなことが減る。なお、ここで述べた画像認識装置の処理を撮像装置１が実施するようにしてもよい。
【００４６】
以上本技術の実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、機能ブロック図は一例であって、必ずしも実際のプログラムモジュール構成と一致しない場合もある。また、処理フローについても、処理結果が変わらない限り、ステップの順番を入れ替えたり、並列実施するようにしてもよい。
【００４７】
本実施の形態に係る撮像装置１は、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話機、カメラを有しネットワーク接続可能な携帯情報端末、その他カメラと接続され又はカメラを内蔵したポータブルコンピュータ等、デジタルカメラとしての機能を有する携帯端末により実現される。また、そのような携帯端末を本実施の形態の撮像装置１又は撮像装置１０として機能させるためのアプリケーションプログラムが提供されることもある。
【００４８】
また、本実施の形態では、撮像装置１の基準データ格納部１０９に基準ベクトルと基準距離とを格納しておく。これらを算出するために用いる画像のサンプル集合や参照特徴ベクトル等は格納していないため、撮像装置１が保持するデータ量は少なくて済む。ここで、基準データ格納部１０９に格納しておくデータは、撮像装置１が受信するなどして追加又は更新できるようにしてもよい。また、基準データを生成するための前処理を撮像装置１で行うようにすることもできる。
【００４９】
また、本実施の形態では、生成された画像データの特徴ベクトルから最も近い基準ベクトルに係るカテゴリを候補カテゴリと想定するようにしている。従って、ユーザは特別な設定をすることなく撮像装置１を使用することができる。ただし、「料理」若しくは「主菜」等、又は「農作物の病気」若しくは「キャベツの病気」等のように、ユーザが被写体の属するカテゴリを絞るような設定をしてもよい。例えば、ユーザが撮影の前にカテゴリを選択して、撮像装置１が当該カテゴリを対象として本実施の形態に係る処理を行うようにすれば、当該カテゴリについての基準ベクトルに近づくようガイドすることができる。また、複数の小カテゴリを含む大カテゴリを選択するような選択手法を採用してもよい。このようにすることで、選択についてのユーザの負担を軽くすることができ、さらに認識精度を向上させることができる。より具体的には、全く異なるカテゴリであるが基準ベクトルが近いカテゴリとして認識されることを避けることができる。なお、ユーザからカテゴリの選択を受け付けた後に、撮像装置１が、選択されたカテゴリについての基準ベクトル等のデータを画像認識装置等からダウンロードするようにしてもよい。
【００５０】
採用する特徴ベクトルについても、色についての特徴ベクトルには限定されない。テクスチャを表す特徴ベクトルや、局所記述子による特徴ベクトル等、模様や形状についての特徴ベクトルを採用することもできる。また、色の特徴ベクトルであっても、ＲＧＢでなく所定の色のヒストグラムを用いるようにしてもよい。さらに、複数の特徴量を組み合わせて判断するようにしてもよい。
【００５１】
さらに、図１３に示したガイド情報も一例である。円やバー以外の図形を用いてもよいし、「適切な撮影位置」、「適切な撮影位置に近づいている」又は「適切な撮影位置に近づいていない」のように文字によるガイド情報を表示してもよい。塗りつぶしに用いられる色は、他の色の組み合わせを用いてもよいし、一色であってもよい。また、例えばバーに目盛を入れる等により換算率の基準がわかるようにしておき、距離の大きさに応じて換算率が適宜変更されるようにしてもよい。さらに、領域１００７には、ベクトル間の距離に基づくガイド情報を表示するのではなく、被写体と撮像装置１との現実の位置関係に基づくガイド情報を表示するようにしてもよい。例えば、適切な撮影位置に近づいたときの撮像装置１の動きをセンサ等で取得しておき、撮像装置１をどのように動かすべきかガイドする。
【００５２】
なお、上で述べた前処理を行うコンピュータ及び画像認識装置は、コンピュータ装置であって、図２４に示すように、メモリ２５０１とＣＰＵ２５０３とハードディスク・ドライブ（ＨＤＤ）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。なお、撮像装置１又は撮像装置１０も、このようなコンピュータ装置にレンズ及び撮像素子を含む撮像部を設けたものである場合がある。
【００５３】
以上述べた本実施の形態をまとめると、以下のようになる。
【００５４】
本実施の形態に係る撮像装置は、（Ａ）画像データを生成し、データ格納部に格納する撮像部と、（Ｂ）データ格納部に格納された画像データから画像の特徴を表す特徴ベクトルを抽出し、特徴ベクトル格納部に格納する特徴ベクトル抽出部と、（Ｃ）画像の特徴についての基準となる基準ベクトルを格納している基準ベクトル格納部と、（Ｄ）特徴ベクトル格納部に格納され且つ第１の時刻に生成された第１の画像データに係る特徴ベクトルと基準ベクトル格納部に格納されている基準ベクトルとの第１の距離と、特徴ベクトル格納部に格納され且つ第１の時刻より前の第２の時刻に生成された第２の画像データに係る特徴ベクトルと基準ベクトル格納部に格納されている基準ベクトルとの第２の距離とを比較することで、撮像部が生成した画像データが基準ベクトルに相当する画像データに近づいているか否かを判定する判定部と、（Ｅ）判定部の判定結果を表示する表示部とを有する。
【００５５】
特徴ベクトルは、被写体が同一であっても画像における被写体の位置や大きさ等、すなわち構図によって変化する場合がある。従って、特徴ベクトルを用いた画像認識を行う場合には、構図が、基準ベクトルに相当する画像における構図と同様になることが好ましい。上で述べたような構成であれば、表示部に、前よりも基準ベクトルに相当する画像データに近づいているか否かが表示されるため、ユーザが撮影しようとしている画像の構図を適切な構図へと導くことができるようになる。すなわち、特徴ベクトルを用いた画像認識において認識精度が向上するような画像の撮影を支援することができる。
【００５６】
また、基準ベクトル格納部が、（Ｃ１）基準ベクトルからの所定の距離として表される閾値をさらに格納しているようにしてもよい。そして、判定部は、（Ｄ１）第１の距離が基準ベクトル格納部に格納されている閾値よりも小さい場合、第１の画像データを予め定められた適切な状態であるとさらに判定するようにしてもよい。第１の距離が閾値よりも小さい場合、ユーザが撮影しようとしている画像の構図が基準ベクトルに相当する画像における構図に所定の基準以上近づいたといえる。このような場合に、第１の画像データを予め定められた適切な状態であるとさらに判定し、判定結果を表示すれば、ユーザは撮影してもよいことがわかる。
【００５７】
そして、基準ベクトル格納部が、（Ｃ２）複数の基準ベクトルを格納しているようにしてもよい。そして、判定部は、複数の基準ベクトルを用いて求められた複数の第１の距離と複数の第２の距離とのうち、第１の距離の最小値と第２の距離の最小値とを用いて判定を行うようにしてもよい。複数の基準ベクトルを格納しておくことで、複数種類の画像データを識別することができる。また、第１の距離の最小値及び第２の距離の最小値を自動的に選択して用いれば、ユーザは撮影しようとしている画像の種類を意識することなく、また、複数の基準ベクトルに相当する画像についての好ましい構図を理解することなく、本撮像装置を使用することができる。
【００５８】
さらに、（Ｃ３）基準ベクトルは、カテゴリ毎に用意され、当該カテゴリに属する各画像の画像データについて抽出される特徴ベクトルの重心ベクトルであってもよい。このようにすれば、認識精度が向上するか否かを、カテゴリ毎に用意された画像の集合に係る重心ベクトルに基づいて正確に判定できる。
【００５９】
また、判定部は、（Ｄ２）第１の画像データに係る特徴ベクトルと基準ベクトルとの距離の大きさを表す距離データを生成するようにし、表示部は、（Ｅ１）生成した距離データをさらに表示するようにしてもよい。距離データは、例えば、距離に応じて長さが伸縮するバーや、数値である。このようにすれば、ユーザは距離の大きさを直感的又は数量的に把握することができる。
【００６０】
なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
【図１】
2012114464.tif 000006
【図２】
2012114464.tif 000007
【図３】
2012114464.tif 000008
【図４】
2012114464.tif 000009
【図５】
2012114464.tif 000010
【図６】
2012114464.tif 000011
【図７】
2012114464.tif 000012
【図８】
2012114464.tif 000013
【図９】
2012114464.tif 000014
【図１０】
2012114464.tif 000015
【図１１】
2012114464.tif 000016
【図１２】
2012114464.tif 000017
【図１３】
2012114464.tif 000018
【図１４】
2012114464.tif 000019
【図１５】
2012114464.tif 000020
【図１８】
2012114464.tif 000021
【図２１】
2012114464.tif 000022
【図２４】
2012114464.tif 000023
【図１６】
2012114464.tif 000024
【図１７】
2012114464.tif 000025
【図１９】
2012114464.tif 000026
【図２０】
2012114464.tif 000027
【図２２】
2012114464.tif 000028
【図２３】
2012114464.tif 000029
【手続補正書】
【提出日】平成25年5月13日(2013.5.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データを生成し、データ格納部に格納する撮像部と、
前記データ格納部に格納された前記画像データから画像の特徴を表す特徴ベクトルを抽出し、特徴ベクトル格納部に格納する特徴ベクトル抽出部と、
前記画像の特徴についての基準となる基準ベクトルを格納している基準ベクトル格納部と、
前記特徴ベクトル格納部に格納され且つ第１の時刻に生成された第１の画像データに係る特徴ベクトルと前記基準ベクトル格納部に格納されている前記基準ベクトルとの第１の距離と、前記特徴ベクトル格納部に格納され且つ前記第１の時刻より前の第２の時刻に生成された第２の画像データに係る特徴ベクトルと前記基準ベクトル格納部に格納されている前記基準ベクトルとの第２の距離とを比較することで、前記撮像部が生成した画像データが前記基準ベクトルに相当する画像データに近づいているか否かを判定する判定部と、
前記判定部の判定結果を表示する表示部と、
を有する撮像装置。
【請求項２】
前記基準ベクトル格納部が、
前記基準ベクトルからの所定の距離として表される閾値をさらに格納しており、
前記判定部は、
前記第１の距離が前記基準ベクトル格納部に格納されている前記閾値よりも小さい場合、前記第１の画像データを予め定められた適切な状態であるとさらに判定する
請求項１記載の撮像装置。
【請求項３】
前記基準ベクトル格納部が、
複数の基準ベクトルを格納しており、
前記判定部は、
前記複数の基準ベクトルを用いて求められた複数の第１の距離と複数の第２の距離とのうち、前記第１の距離の最小値と前記第２の距離の最小値とを用いて判定を行う
請求項１又は２記載の撮像装置。
【請求項４】
前記基準ベクトルは、カテゴリ毎に用意され、当該カテゴリに属する各画像の画像データについて抽出される特徴ベクトルの重心ベクトルである
請求項１乃至３のいずれか１つ記載の撮像装置。
【請求項５】
前記判定部は、
前記第１の画像データに係る特徴ベクトルと前記基準ベクトルとの距離の大きさを表す距離データを生成し、
前記表示部は、
生成した前記距離データをさらに表示する
請求項１乃至４のいずれか１つ記載の撮像装置。
【請求項６】
撮像部により生成された画像データを格納しているデータ格納部に格納されており且つ第１の時刻に生成された画像データから画像の特徴を表す第１の特徴ベクトルを抽出して特徴ベクトル格納部に格納するステップと、
前記データ格納部に格納されており且つ前記第１の時刻より後の第２の時刻に生成された画像データから第２の特徴ベクトルを抽出して前記特徴ベクトル格納部に格納するステップと、
前記特徴ベクトル格納部に格納された第１の特徴ベクトルと前記画像の特徴についての基準となる基準ベクトルを格納している基準ベクトル格納部に格納されている前記基準ベクトルとの第１の距離と、前記特徴ベクトル格納部に格納された第２の特徴ベクトルと前記基準ベクトル格納部に格納されている前記基準ベクトルとの第２の距離とを比較することで、前記撮像部により生成された画像データが前記基準ベクトルに相当する画像データに近づいているか否かを判定する判定ステップと、
前記判定ステップにおける判定結果を表示部に表示するステップと、
をプロセッサに実行させるためのプログラム。
【請求項７】
前記基準ベクトル格納部が、
前記基準ベクトルからの所定の距離として表される閾値をさらに格納しており、
前記判定ステップにおいて、
前記第１の距離が前記基準ベクトル格納部に格納されている前記閾値よりも小さい場合、前記第１の画像データを予め定められた適切な状態であるとさらに判定する
請求項６記載のプログラム。
【請求項８】
前記基準ベクトル格納部が、
複数の基準ベクトルを格納しており、
前記判定ステップにおいて、
前記複数の基準ベクトルを用いて求められた複数の第１の距離と複数の第２の距離とのうち、前記第１の距離の最小値と前記第２の距離の最小値とを用いて判定を行う
請求項６又は７記載のプログラム。
【請求項９】
前記判定ステップにおいて、
前記第１の画像データに係る特徴ベクトルと前記基準ベクトルとの距離の大きさを表す距離データを生成し、
前記表示部は、
生成した前記距離データをさらに表示する
請求項６乃至８のいずれか１つ記載のプログラム。
【請求項１０】
撮像部により生成された画像データを格納しているデータ格納部に格納されており且つ第１の時刻に生成された画像データから画像の特徴を表す第１の特徴ベクトルを抽出して特徴ベクトル格納部に格納するステップと、
前記データ格納部に格納されており且つ前記第１の時刻より後の第２の時刻に生成された画像データから第２の特徴ベクトルを抽出して前記特徴ベクトル格納部に格納するステップと、
前記特徴ベクトル格納部に格納された第１の特徴ベクトルと前記画像の特徴についての基準となる基準ベクトルを格納している基準ベクトル格納部に格納されている前記基準ベクトルとの第１の距離と、前記特徴ベクトル格納部に格納された第２の特徴ベクトルと前記基準ベクトル格納部に格納されている前記基準ベクトルとの第２の距離とを比較することで、前記撮像部により生成された画像データが前記基準ベクトルに相当する画像データに近づいているか否かを判定する判定ステップと、
前記判定ステップにおける判定結果を表示部に表示するステップと、
を含み、プロセッサにより実行される撮像支援方法。
【請求項１１】
前記基準ベクトル格納部が、
前記基準ベクトルからの所定の距離として表される閾値をさらに格納しており、
前記判定ステップにおいて、
前記第１の距離が前記基準ベクトル格納部に格納されている前記閾値よりも小さい場合、前記第１の画像データを予め定められた適切な状態であるとさらに判定する
請求項１０記載の撮像支援方法。
【請求項１２】
前記基準ベクトル格納部が、
複数の基準ベクトルを格納しており、
前記判定ステップにおいて、
前記複数の基準ベクトルを用いて求められた複数の第１の距離と複数の第２の距離とのうち、前記第１の距離の最小値と前記第２の距離の最小値とを用いて判定を行う
請求項１０又は１１記載の撮像支援方法。
【請求項１３】
前記判定ステップにおいて、
前記第１の画像データに係る特徴ベクトルと前記基準ベクトルとの距離の大きさを表す距離データを生成し、
前記表示部は、
生成した前記距離データをさらに表示する
請求項１０乃至１２のいずれか１つ記載の撮像支援方法。
【国際調査報告】
2012114464.tif 000030
2012114464.tif 000031