(57)【要約】リアルタイムに映像中の画像内の学習対象物を認識する技術を提供する。学習対象物と、学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域の、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶しておく。撮像した映像中の画像からｎ個の特徴点を抽出して、ｎ個の特徴点のそれぞれを含むｎ個の局所領域の、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する。第１局所特徴量の次元数ｉおよび第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択次元数までのｎ個の第２局所特徴量に、選択次元数までのｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、映像中の画像に学習対象物が存在すると認識する。
2013115203.tif 000002
【特許請求の範囲】
【請求項１】
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する学習対象物認識手段と、
を備えることを特徴とする情報処理システム。
【請求項２】
前記第１局所特徴量記憶手段は、複数の学習対象物にそれぞれ対応付けて各学習対象物の画像から生成した前記ｍ個の第１局所特徴量を記憶し、
前記学習対象物認識手段は、前記撮像手段が撮像した前記画像に含まれる複数の学習対象物を認識することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記学習対象物認識手段の認識結果を報知する報知手段をさらに備えることを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記報知手段は、さらに、前記認識結果に関連する情報を報知することを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記報知手段は、さらに、前記認識結果に関連する情報を取得するためのリンク情報を報知することを特徴とする請求項３または４に記載の情報処理システム。
【請求項６】
前記報知手段は、前記認識結果に関連する情報をリンク情報にしたがって取得する関連情報取得手段を有し、
リンク情報にしたがって取得した前記関連情報を報知することを特徴とする請求項３に記載の情報処理システム。
【請求項７】
前記第１局所特徴量記憶手段に、捜索する学習対象物の局所特徴量を登録する登録手段をさらに備え、
前記報知手段は、前記学習対象物認識手段が認識した学習対象物を捜索結果として報知することを特徴とする請求項３乃至６のいずれか１項に記載の情報処理システム。
【請求項８】
前記学習対象物は、文字を含む学習対象物であって、
前記報知手段は、前記学習対象物の内容を報知することを特徴とする請求項３乃至６のいずれか１項に記載の情報処理システム。
【請求項９】
前記学習対象物は、音に関連する学習対象物であって、
前記報知手段は、前記学習対象物の内容を音の演奏で報知することを特徴とする請求項３乃至６のいずれか１項に記載の情報処理システム。
【請求項１０】
前記学習対象物は、展示物であって、
前記報知手段は、前記学習対象物の説明を報知することを特徴とする請求項３乃至６のいずれか１項に記載の情報処理システム。
【請求項１１】
前記学習対象物は、数式を含む学習対象物であって、
前記報知手段は、前記学習対象物の数式を演算して演算結果を報知することを特徴とする請求項３乃至６のいずれか１項に記載の情報処理システム。
【請求項１２】
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成されることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理システム。
【請求項１３】
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を選定することにより生成されることを特徴とする請求項１２に記載の情報処理システム。
【請求項１４】
前記特徴ベクトルの複数の次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定の次元数ごとに前記局所領域をひと回りするよう配列することを特徴とする請求項１２または１３に記載の情報処理システム。
【請求項１５】
前記第２局所特徴量生成手段は、前記学習対象物の相関に対応して、他の学習対象物とより低い前記相関を有する学習対象物については次元数のより少ない前記第２局所特徴量を生成することを特徴とする請求項１４に記載の情報処理システム。
【請求項１６】
前記第１局所特徴量記憶手段は、前記学習対象物の相関に対応して、他の学習対象物とより低い前記相関を有する学習対象物については次元数のより少ない前記第１局所特徴量を記憶することを特徴とする請求項１４または１５に記載の情報処理システム。
【請求項１７】
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムを利用した情報処理方法であって、
撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識ステップと、
を含むことを特徴とする情報処理方法。
【請求項１８】
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる学習対象物を認識する情報処理装置に送信する第１送信手段と、
前記情報処理装置から、撮像した前記画像に含まれる学習対象物を示す情報を受信する第１受信手段と、
を備えたことを特徴とする通信端末。
【請求項１９】
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる学習対象物を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる学習対象物を示す情報を受信する第１受信ステップと、
を含むことを特徴とする通信端末の制御方法。
【請求項２０】
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる学習対象物を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる学習対象物を示す情報を受信する第１受信ステップと、
をコンピュータに実行させることを特徴とする通信端末の制御プログラム。
【請求項２１】
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識手段と、
認識した前記学習対象物を示す情報を前記通信端末に送信する第２送信手段と、
を備えることを特徴とする情報処理装置。
【請求項２２】
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識ステップと、
認識した前記学習対象物を示す情報を前記通信端末に送信する第２送信ステップと、
を含むことを特徴とする情報処理装置の制御方法。
【請求項２３】
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識ステップと、
認識した前記学習対象物を示す情報を前記通信端末に送信する第２送信ステップと、
をコンピュータに実行させることを特徴とする情報処理装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、局所特徴量を使用して撮像した映像内の学習対象物を同定するための技術に関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、カメラ付き携帯電話からの映像と問合せメールとに基づいて、物体（植物・昆虫等）の名前を得る技術が記載されている。また、特許文献２には、あらかじめモデル画像から生成されたモデル辞書を使用して、クエリ画像を認識する場合に、特徴量をクラスタリングすることにより認識速度を向上した技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１３２０６２号公報
【特許文献２】特開２０１１−２２１６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、リアルタイムに映像中の画像内の学習対象物を認識することができなかった。【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係るシステムは、
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する学習対象物認識手段と、
を備えることを特徴とする。【０００７】
上記目的を達成するため、本発明に係る方法は、
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムにおける情報処理方法であって、
撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識ステップと、
を備えることを特徴とする。【０００８】
上記目的を達成するため、本発明に係る装置は、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる学習対象物を認識する情報処理装置に送信する第１送信手段と、
前記情報処理装置から、撮像した前記画像に含まれる学習対象物を示す情報を受信する第１受信手段と、
を備えることを特徴とする。【０００９】
上記目的を達成するため、本発明に係る方法は、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる学習対象物を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる学習対象物を示す情報を受信する第１受信ステップと、
を含むことを特徴とする。【００１０】
上記目的を達成するため、本発明に係るプログラムは、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる学習対象物を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる学習対象物を示す情報を受信する第１受信ステップと、
をコンピュータに実行させることを特徴とする。【００１１】
上記目的を達成するため、本発明に係る装置は、
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識手段と、
認識した前記学習対象物を示す情報を前記通信端末に送信する第２送信手段と、
を備えることを特徴とする。【００１２】
上記目的を達成するため、本発明に係る方法は、
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識ステップと、
認識した前記学習対象物を示す情報を前記通信端末に送信する第２送信ステップと、
を含むことを特徴とする。【００１３】
上記目的を達成するため、本発明に係るプログラムは、
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識ステップと、
認識した前記学習対象物を示す情報を前記通信端末に送信する第２送信ステップと、
をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、リアルタイムに映像中の画像内の学習対象物を認識することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。
【図２】本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。
【図３】本発明の第２実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。
【図４】本発明の第２実施形態に係る情報処理システムにおける関連情報報知の動作手順を示すシーケンス図である。
【図５】本発明の第２実施形態に係る情報処理システムにおけるリンク情報報知の動作手順を示すシーケンス図である。
【図６】本発明の第２実施形態に係る通信端末の機能構成を示すブロック図である。
【図７】本発明の第２実施形態に係る学習対象物認識サーバの機能構成を示すブロック図である。
【図８】本発明の第２実施形態に係る局所特徴量ＤＢの構成を示す図である。
【図９】本発明の第２実施形態に係る関連情報ＤＢの構成を示す図である。
【図１０】本発明の第２実施形態に係るリンク情報ＤＢの構成を示す図である。
【図１１Ａ】本発明の第２実施形態に係る局所特徴量生成部の機能構成を示すブロック図である。
【図１１Ｂ】本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。
【図１１Ｃ】本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。
【図１１Ｄ】本発明の第２実施形態に係る局所特徴量生成部でのサブ領域の選択順位を示す図である。
【図１１Ｅ】本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの選択順位を示す図である。
【図１１Ｆ】本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの階層化を示す図である。
【図１１Ｇ】本発明の第２実施形態に係る符号化部の構成を示す図である。
【図１１Ｈ】本発明の第２実施形態に係る学習対象物認識部の処理を示す図である。
【図１２Ａ】本発明の第２実施形態に係る通信端末のハードウェア構成を示すブロック図である。
【図１２Ｂ】本発明の第２実施形態に係る通信端末における局所特徴量生成テーブルを示す図である。
【図１３】本発明の第２実施形態に係る通信端末の処理手順を示すフローチャートである。
【図１４Ａ】本発明の第２実施形態に係る局所特徴量生成処理の処理手順を示すフローチャートである。
【図１４Ｂ】本発明の第２実施形態に係る符号化処理の処理手順を示すフローチャートである。
【図１４Ｃ】本発明の第２実施形態に係る差分値の符号化処理の処理手順を示すフローチャートである。
【図１５】本発明の第２実施形態に係る学習対象物認識サーバのハードウェア構成を示すブロック図である。
【図１６】本発明の第２実施形態に係る学習対象物認識サーバの処理手順を示すフローチャートである。
【図１７】本発明の第２実施形態に係る局所特徴量ＤＢ生成処理の処理手順を示すフローチャートである。
【図１８Ａ】本発明の第２実施形態に係る学習対象物認識処理の処理手順を示すフローチャートである。
【図１８Ｂ】本発明の第２実施形態に係る照合処理の処理手順を示すフローチャートである。
【図１９】本発明の第３実施形態に係る情報処理システムの動作手順を示すシーケンス図である。
【図２０Ａ】本発明の第４実施形態に係る情報処理システムにおける本の認識の動作手順を示すシーケンス図である。
【図２０Ｂ】本発明の第４実施形態に係る情報処理システムにおけるページ認識の動作手順を示すシーケンス図である。
【図２０Ｃ】本発明の第４実施形態に係る情報処理システムにおける漢字認識の動作手順を示すシーケンス図である。
【図２１Ａ】本発明の第４実施形態に係る内容紹介ＤＢの構成を示す図である。
【図２１Ｂ】本発明の第４実施形態に係るページ情報ＤＢの構成を示す図である。
【図２１Ｃ】本発明の第４実施形態に係る辞書ＤＢの構成を示す図である。
【図２１Ｄ】本発明の第４実施形態に係る翻訳のための辞書ＤＢの構成を示す図である。
【図２２Ａ】本発明の第５実施形態に係る情報処理システムにおける音楽認識の動作手順を示すシーケンス図である。
【図２２Ｂ】本発明の第５実施形態に係る情報処理システムにおける曲認識の動作手順を示すシーケンス図である。
【図２２Ｃ】本発明の第５実施形態に係る情報処理システムにおける音認識の動作手順を示すシーケンス図である。
【図２３Ａ】本発明の第５実施形態に係る内容紹介ＤＢの構成を示す図である。
【図２３Ｂ】本発明の第５実施形態に係る演奏情報ＤＢの構成を示す図である。
【図２３Ｃ】本発明の第５実施形態に係る音情報ＤＢの構成を示す図である。
【図２４Ａ】本発明の第６実施形態に係る情報処理システムにおける展示物認識の動作手順を示すシーケンス図である。
【図２４Ｂ】本発明の第６実施形態に係る内容紹介ＤＢの構成を示す図である。
【図２５】本発明の第７実施形態に係る情報処理システムにおける数式認識の動作手順を示すシーケンス図である。
【図２６Ａ】本発明の第７実施形態に係る数式ＤＢの構成を示す図である。
【図２６Ｂ】本発明の第７実施形態に係る演算パラメータテーブルの構成を示す図である。
【図２７Ａ】本発明の第８実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。
【図２７Ｂ】本発明の第８実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。
【図２８】本発明の第８実施形態に係る通信端末の機能構成を示すブロック図である。
【図２９】本発明の第８実施形態に係る通信端末の処理手順を示すフローチャートである。
【図３０】本発明の第９実施形態に係る通信端末の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、本明細書で使用される「学習対象物」との文言は、教育界において使用されるあらゆる教材や作品を広く含む物である。
【００１７】
［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、学習対象物をリアルタイムに認識するシステムである。
【００１８】
図１に示すように、情報処理システム１００は、第１局所特徴量記憶部１１０と、撮像部１２０と、第２局所特徴量生成部１３０と、学習対象物認識１４０と、を含む。第１局所特徴量記憶部１１０は、学習対象物１１１と、学習対象物１１１の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量１１２とを、対応付けて記憶する。第２局所特徴量生成部１３０は、撮像部１２０が撮像した映像中の画像１０１からｎ個の特徴点１３１を抽出する。そして、第２局所特徴量生成部１３０は、ｎ個の特徴点１３１のそれぞれを含むｎ個の局所領域１３２について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量１３３を生成する。学習対象物認識１４０は、第１局所特徴量１１２の特徴ベクトルの次元数ｉおよび第２局所特徴量１３３の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択する。そして、学習対象物認識１４０は、選択された次元数までの特徴ベクトルからなるｎ個の第２局所特徴量１３３に、選択された次元数までの特徴ベクトルからなるｍ個の第１局所特徴量１１２の所定割合以上が対応すると判定した場合に、映像中の画像１０１に学習対象物１１１が存在すると認識する。
【００１９】
本実施形態によれば、リアルタイムに映像中の画像内の学習対象物を認識することができる。
【００２０】
［第２実施形態］
次に、本発明の第２実施形態に係る情報処理システムについて説明する。本実施形態においては、通信端末により撮像した映像から生成した局所特徴量と、学習対象物認識サーバの局所特徴量ＤＢに格納された局所特徴量との照合により、映像中の学習対象物を認識する。そして、認識した学習対象物に、その名称、関連情報、および／または、リンク情報を付加して報知する。
【００２１】
本実施形態によれば、リアルタイムに映像中の画像内の学習対象物に対応付けて、その名称、関連情報、および／または、リンク情報を報知できる。
【００２２】
《情報処理システムの構成》
図２は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。
【００２３】
図２の情報処理システム２００は、ネットワーク２４０を介して接続された、撮像機能を有した通信端末２１０と、通信端末２１０が撮像した映像から学習対象物を認識する学習対象物認識サーバ２２０と、通信端末２１０に関連情報と提供する関連情報提供サーバ２３０と、を備える。
【００２４】
通信端末２１０は、撮像された映像を表示部に表示する。そして、図２の表示画面２１１のように、撮像された映像に対して局所特徴量生成部で生成された局所特徴量に基づいて、学習対象物認識サーバ２２０で認識した学習対象物の各名称を、重畳表示する。なお、通信端末２１０は、図示のように、撮像機能を有した携帯電話や他の通信端末も含む複数の通信端末を代表するものである。
【００２５】
学習対象物認識サーバ２２０は、学習対象物と局所特徴量とを対応付けて記憶する局所特徴量ＤＢ２２１と、学習対象物に対応して関連情報を記憶する関連情報ＤＢ２２２と、学習対象物に対応してリンク情報を記憶するリンク情報ＤＢ２２３と、を有する。学習対象物認識サーバ２２０は、通信端末２１０から受信した映像の局所特徴量から、局所特徴量ＤＢ２２１の局所特徴量との照合に基づいて認識した学習対象物の名称を返信する。また、関連情報ＤＢ２２２から認識した学習対象物に対応する紹介などの関連情報を検索して通信端末２１０に返信する。また、リンク情報ＤＢ２２３から認識した学習対象物に対応する関連情報提供サーバ２３０へのリンク情報を検索して通信端末２１０に返信する。学習対象物の名称と、学習対象物に対応する関連情報と、学習対象物に対するリンク情報とは、それぞれ別個に提供されても、複数が同時に提供されてもよい。
【００２６】
関連情報提供サーバ２３０は、学習対象物に対応した関連情報を格納する関連情報ＤＢ２３１を有する。学習対象物認識サーバ２２０が認識した学習対象物に対応して提供されたリンク情報に基づいて、アクセスされる。そして、認識した学習対象物に対応した関連情報を関連情報ＤＢ２３１から検索して、学習対象物を含む映像の局所特徴量を送信した通信端末２１０に返信する。したがって、図２には、１つの関連情報提供サーバ２３０を示したが、リンク先の数だけの関連情報提供サーバ２３０が接続される。その場合には、学習対象物認識サーバ２２０による適切なリンク先の選択、あるいは複数のリンク先を通信端末２１０に表示して、ユーザによる選択を行なうことになる。
【００２７】
なお、図２には、撮像した映像中の学習対象物に名称を重畳表示する例を図示した。学習対象物に対応する関連情報と、学習対象物に対するリンク情報との表示については、図３にしたがって説明する。
【００２８】
（通信端末の表示画面例）
図３は、本実施形態に係る情報処理システム２００における通信端末２１０の表示画面例を示す図である。
【００２９】
図３の上段は、学習対象物に対応する関連情報を表示する表示画面例である。図３の表示画面３１０は、撮像した映像３１１と操作ボタン３１２とを含んでいる。上段左図の映像から生成した局所特徴量と、学習対象物認識サーバ２２０の局所特徴量ＤＢ２２１との照合により学習対象物を認識する。その結果、上段右図の表示画面３２０には、撮像した映像と、学習対象物名称および関連情報３２２〜３２５とを重畳した映像３２１を表示する。同時に、スピーカ３４０により関連情報を音声出力してもよい。
【００３０】
図３の下段は、学習対象物に対応するリンク情報を表示する表示画面例である。下段左図の映像から生成した局所特徴量と、学習対象物認識サーバ２２０の局所特徴量ＤＢ２２１との照合により学習対象物を認識する。その結果、下段右図の表示画面３３０には、撮像した映像と、学習対象物名称およびリンク情報３３２〜３３５とを重畳した映像３３１を表示する。図示しないが、表示されたリンク情報をクリックすることにより、リンク先の関連情報提供サーバ２３０がアクセスされて、関連情報ＤＢ２３１から検索した関連情報を通信端末２１０に表示する、あるいは通信端末２１０から音声出力する。
【００３１】
《情報処理システムの動作手順》
以下、図４および図５を参照して、本実施形態における情報処理システム２００の動作手順を説明する。なお、図４および図５には、認識された学習対象物名のみの表示例は示していないが、学習対象物認識後に学習対象物名を通信端末２１０に送信すればよい。また、学習対象物名と、関連情報と、リンク情報との表示は、図４と図５とを組み合わせれば実現できる。
【００３２】
（関連情報報知の動作手順）
図４は、本実施形態に係る情報処理システム２００における関連情報報知の動作手順を示すシーケンス図である。
【００３３】
まず、必要であれば、ステップＳ４００において、学習対象物認識サーバ２２０からから通信端末２１０にアプリケーションおよび／またはデータのダウンロードを行なう。そして、ステップＳ４０１において、本実施形態の処理を行なうための、アプリケーションの起動と初期化が行なわれる。
【００３４】
ステップＳ４０３において、通信端末は、撮像部で撮像して映像を取得する。ステップＳ４０５において、映像から局所特徴量を生成する。続いて、ステップＳ４０７において局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ４０９において、通信端末から学習対象物認識サーバ２２０に送信される。
【００３５】
学習対象物認識サーバ２２０では、ステップＳ４１１において、学習対象物の画像に対して生成され記憶された局所特徴量ＤＢ２２１を参照して、映像中の学習対象物の認識を行なう。そして、ステップＳ４１３において、認識した学習対象物に対応する関連情報ＤＢ２２２を参照して、関連情報を取得する。ステップＳ４１５において、学習対象物名と関連情報とを、学習対象物認識サーバ２２０から通信端末２１０に送信する。
【００３６】
通信端末２１０は、ステップＳ４１７において、受信した学習対象物名と関連情報とを報知する（図３の上段参照）。なお、学習対象物名は表示、関連情報は表示あるいは音声出力されるのが望ましい。
【００３７】
（リンク情報報知の動作手順）
図５は、本実施形態に係る情報処理システム２００におけるリンク情報報知の動作手順を示すシーケンス図である。なお、図４と同様の動作手順には同じステップ番号を付して、説明は省略する。
【００３８】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。
【００３９】
ステップＳ４１１において通信端末２１０から受信した映像の局所特徴量から、景観中の学習対象物を認識した学習対象物認識サーバ２２０は、ステップＳ５１３において、リンク情報ＤＢ２２３を参照して、認識した学習対象物に対応するリンク情報を取得する。ステップＳ５１５において、学習対象物名とリンク情報とを、学習対象物認識サーバ２２０から通信端末２１０に送信する。
【００４０】
通信端末２１０は、ステップＳ５１７において、受信した学習対象物名とリンク情報とを映像に重畳して表示する（図３の下段参照）。そして、ステップＳ５１９において、リンク情報のユーザによる指示を待つ。ユーザのリンク先指示があれば、ステップＳ５２１において、リンク先である関連情報提供サーバ２３０に、学習対象物ＩＤを持ってアクセスする。
【００４１】
関連情報提供サーバ２３０は、ステップＳ５２３において、受信した学習対象物ＩＤを使用して関連情報ＤＢ２３１から関連情報（文書データや音声データを含む）を取得する。そして、ステップＳ５２５において、アクセス元の通信端末２１０に関連情報を返信する。
【００４２】
関連情報の返信を受けた通信端末２１０は、ステップＳ５２７において、受信した関連情報を表示あるいは音声出力する。
【００４３】
《通信端末の機能構成》
図６は、本実施形態に係る通信端末２１０の機能構成を示すブロック図である。
【００４４】
図６において、撮像部６０１は、クエリ画像として映像を入力する。局所特徴量生成部６０２は、撮像部６０１からの映像から局所特徴量を生成する。局所特徴量送信部６０３は、生成された局所特徴量を特徴点座標と共に、符号化部６０３ａにより符号化し、通信制御部６０４を介して学習対象物認識サーバ２２０に送信する。
【００４５】
学習対象物認識結果受信部６０５は、通信制御部６０４を介して学習対象物認識サーバ２２０から学習対象物認識結果を受信する。そして、表示画面生成部６０６は、受信した学習対象物認識結果の表示画面を生成して、ユーザに報知する。
【００４６】
また、関連情報受信部６０７は、通信制御部６０４を介して関連情報を受信する。そして、表示画面生成部６０６および音声生成部６９８は、受信した関連情報の表示画面および音声データを生成して、ユーザに報知する。なお、関連情報受信部６０７が受信する関連情報は、学習対象物認識サーバ２２０からの関連情報あるいは関連情報提供サーバ２３０からの関連情報を含む。
【００４７】
また、リンク情報受信部６０９は、通信制御部６０４を介して関連情報提供サーバ２３０からリンク情報を受信する。そして、表示画面生成部６０６は、受信したリンク情報の表示画面を生成して、ユーザに報知する。リンク先アクセス部６１０は、図示しない操作部によるリンク情報のクリックに基づいて、リンク先の関連情報提供サーバ２３０をアクセスする。
【００４８】
なお、学習対象物認識結果受信部６０５と関連情報受信部６０７とリンク情報受信部６０９とは、それぞれ設けずに、通信制御部６０４を介して受信した情報を受信する１つの情報受信部として設けてもよい。
【００４９】
《学習対象物認識サーバの機能構成》
図７は、本実施形態に係る学習対象物認識サーバ２２０の機能構成を示すブロック図である。
【００５０】
図７において、局所特徴量受信部７０２は、通信制御部７０１を介して通信端末２１０から受信した局所特徴量を復号部７０２ａで復号する。学習対象物認識部７０３は、受信した局所特徴量を、学習対象物に対応する局所特徴量を格納する局所特徴量ＤＢ２２１の局所特徴量と照合して、学習対象物を認識する。学習対象物認識結果送信部７０４は、学習対象物の認識結果（学習対象物名）を通信端末２１０に送信する。
【００５１】
関連情報取得部７０５は、関連情報ＤＢ２２２を参照して、認識した学習対象物に対応する関連情報を取得する。関連情報ＤＢ関連情報送信部７０６は、取得した関連情報を通信端末２１０に送信する。なお、学習対象物認識サーバ２２０が関連情報を送信する場合は、図４のように、学習対象物認識結果と関連情報とを１つの送信データで送信するのが、通信トラフィックの削減となるので望ましい。
【００５２】
リンク情報取得部７０７は、リンク情報ＤＢ２２３を参照して、認識した学習対象物に対応するリンク情報を取得する。リンク情報送信部７０８は、取得したリンク情報を通信端末２１０に送信する。なお、リンク情報を送信する場合は、図５のように、学習対象物認識サーバ２２０が学習対象物認識結果とリンク情報とを１つの送信データで送信するのが、通信トラフィックの削減となるので望ましい。
【００５３】
当然ながら、学習対象物認識サーバ２２０が学習対象物認識結果と関連情報とリンク情報とを送信する場合は、全情報を取得してから１つの送信データで送信するのが、通信トラフィックの削減となるので望ましい。
【００５４】
なお、関連情報提供サーバ２３０の構成については、種々のリンク可能なプロバイダを含み、その構成についての説明は省略する。
【００５５】
（局所特徴量ＤＢ）
図８は、本実施形態に係る局所特徴量ＤＢ２２１の構成を示す図である。なお、かかる構成に限定されない。
【００５６】
局所特徴量ＤＢ２２１は、学習対象物ＩＤ８０１と名称８０２に対応付けて、第１番局所特徴量８０３、第２番局所特徴量８０４、…、第ｍ番局所特徴量８０５を記憶する。各局所特徴量は、５×５のサブ領域に対応して、２５次元ずつに階層化された１次元から１５０次元の要素からなる特徴ベクトルを記憶する（図１１Ｆ参照）。
【００５７】
なお、ｍは正の整数であり、学習対象物ＩＤに対応して異なる数でよい。また、本実施形態においては、それぞれの局所特徴量と共に照合処理に使用される特徴点座標が記憶される。
【００５８】
（関連情報ＤＢ）
図９は、本実施形態に係る関連情報ＤＢ２２２の構成を示す図である。なお、かかる構成に限定されない。
【００５９】
関連情報ＤＢ２２２は、学習対象物ＩＤ９０１と学習対象物名９０２に対応付けて、関連情報である関連表示データ９０３と関連音声データ９０４とを記憶する。なお、関連情報ＤＢ２２２は、局所特徴量ＤＢ２２１と一体に設けてもよい。
【００６０】
（リンク情報ＤＢ）
図１０は、本実施形態に係るリンク情報ＤＢ２２３の構成を示す図である。なお、かかる構成に限定されない。
【００６１】
リンク情報ＤＢ２２３は、学習対象物ＩＤ１００１と学習対象物名１００２に対応付けて、インク情報である、例えばＵＲＬ(Uniform Resource Locator)１００３と表示画面への表示デー１０９０４とを記憶する。なお、リンク情報ＤＢ２２３は、局所特徴量ＤＢ２２１や関連情報ＤＢ２２２と一体に設けてもよい。
【００６２】
なお、関連情報提供サーバ２３０の関連情報ＤＢ２３１は、学習対象物認識サーバ２２０の関連情報ＤＢ２２２と同様であり、重複を避けるため説明は省略する。
【００６３】
《局所特徴量生成部》
図１１Ａは、本実施形態に係る局所特徴量生成部７０２の構成を示すブロック図である。
【００６４】
局所特徴量生成部７０２は、特徴点検出部１１１１、局所領域取得部１１１２、サブ領域分割部１１１３、サブ領域特徴ベクトル生成部１１１４、および次元選定部１１１５を含んで構成される。
【００６５】
特徴点検出部１１１１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。
【００６６】
局所領域取得部１１１２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。
【００６７】
サブ領域分割部１１１３は、局所領域をサブ領域に分割する。たとえば、サブ領域分割部１１１３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。本実施形態においては、以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。
【００６８】
サブ領域特徴ベクトル生成部１１１４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、たとえば、勾配方向ヒストグラムを用いることができる。
【００６９】
次元選定部１１１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（たとえば、間引きする）。また、次元選定部１１１５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部１１１５は、たとえば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１１１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１１１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。
【００７０】
《局所特徴量生成部の処理》
図１１Ｂ〜図１１Ｆは、本実施形態に係る局所特徴量生成部６０２の処理を示す図である。
【００７１】
まず、図１１Ｂは、局所特徴量生成部６０２における、特徴点検出／局所領域取得／サブ領域分割／特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。
【００７２】
（特徴点検出部）
図１１Ｂの画像１１２１は、図１１Ａの特徴点検出部１１１１において、映像中の画像から特徴点を検出した状態を示す図である。以下、１つの特徴点データ１１２１ａを代表させて局所特徴量の生成を説明する。特徴点データ１１２１ａの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール（大きさ）を示し、矢印の方向が角度を示す。ここで、スケール（大きさ）や方向は、対象映像にしたがって輝度や彩度、色相などを選択できる。また、図１１Ｂの例では、６０度間隔で６方向の場合を説明するが、これに限定されない。
【００７３】
（局所領域取得部）
図１１Ａの局所領域取得部１１１２は、例えば、特徴点データ１１２１ａの起点を中心にガウス窓１１２２ａを生成し、このガウス窓１１２２ａをほぼ含む局所領域１１２２を生成する。図１１Ｂの例では、局所領域取得部１１１２は正方形の局所領域１１２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。
【００７４】
（サブ領域分割部）
次に、サブ領域分割部１１１３において、上記特徴点データ１１２１ａの局所領域１１２２に含まれる各画素のスケールおよび角度をサブ領域１１２３に分割した状態が示されている。なお、図１１Ｂでは４×４＝１６画素をサブ領域とする５×５＝２５のサブ領域に分割した例を示す。しかし、サブ領域は、４×４＝１６や他の形状、分割数であってもよい。
【００７５】
（サブ領域特徴ベクトル生成部）
サブ領域特徴ベクトル生成部１１１４は、サブ領域内の各画素のスケールを６方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル１１２４とする。すなわち、特徴点検出部１１１１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部１１１４は、サブ領域ごとに量子化された６方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部１１１４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を６方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，…，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。
【００７６】
Ｑq＝floor(Ｇ×Ｄ／２π）       …（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ  …（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部１１１４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部１１１４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部１１１４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。
【００７７】
（次元選定部）
次に、図１１Ｃ〜図１１Ｆにしたがって、局所特徴量生成部６０２における、次元選定部１１１５に処理を説明する。
【００７８】
次元選定部１１１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部１１１５は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部１１１５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。
【００７９】
図１１Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向１１３１ａに量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル１１３１から次元を選定する場合の一例を示す図である。図１１Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行われている。
【００８０】
（局所領域の次元選定）
図１１Ｃは、局所特徴量生成部６０２における、特徴ベクトルの次元数の選定処理の様子を示す図である。
【００８１】
図１１Ｃに示すように、次元選定部１１１５は、１５０次元の勾配ヒストグラムの特徴ベクトル１１３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル１１３２を選定する。この場合、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。
【００８２】
この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図１１Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。
【００８３】
また、次元選定部１１１５は、７５次元の勾配ヒストグラムの特徴ベクトル１１３２から５０次元の勾配ヒストグラムの特徴ベクトル１１３３を選定する。この場合、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。
【００８４】
また、次元選定部１１１５は、５０次元の勾配ヒストグラムの特徴ベクトル１１３３から２５次元の勾配ヒストグラムの特徴ベクトル１１３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定することができる。図１１Ｃに示す例では、次元選定部１１１５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。
【００８５】
このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図１１Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図１１Ｃに示した次元選定方法は一例であり、この選定方法に限らない。
【００８６】
（局所領域の優先順位）
図１１Ｄは、局所特徴量生成部６０２における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。
【００８７】
次元選定部１１１５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部１１１５は、例えば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１１１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１１１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。
【００８８】
すなわち、次元選定部１１１５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図１１Ｄのマトリクス１１４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図１１Ｄのマトリクス１１４１に示す優先順位を用いる場合、次元選定部１１１５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。
【００８９】
図１１Ｅのマトリクス１１５１は、図１１Ｄの選定順位にしたがって、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，…，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。
【００９０】
図１１Ｆのマトリクス１１６１は、図１１Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図１１Ｆのマトリクス１１６１は、図１１Ｄのマトリクス１１４１に示した優先順位にしたがって図１１Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部１１１５は、図１１Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部１１１５は、例えば１５０次元の局所特徴量を出力する場合、図１１Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部１１１５は、例えば２５次元の局所特徴量を出力する場合、図１１Ｆに示す１行目（７６番目、４５番目、８３番目、…、１２０番目）の要素１１７１を図１１Ｆに示す順（左から右）に出力することができる。また、次元選定部１１１５は、例えば５０次元の局所特徴量を出力する場合、図１１Ｆに示す１行目に加えて、図１１Ｆに示す２行目の要素１１７２を図１１Ｆに示す順（左から右）に出力することができる。
【００９１】
ところで、図１１Ｆに示す例では、局所特徴量は階層的な構造配列となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素１１７１〜１１７６の並びは同一となっている。このように、次元選定部１１１５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部１１１５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。
【００９２】
なお、図１１Ｄのマトリクス１１４１から図１１Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図１１Ｄのマトリクス１１４１の例の他に、図１１Ｄのマトリクス１１４２や図１１Ｄのマトリクス１１４３に示すような順番でもよい。また、例えば、全てのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。
【００９３】
また、次元選定部１１１５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行ってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。
【００９４】
また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。例えば、局所領域取得部１１１２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部１１１３は、円状の局所領域を例えば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部１１１５は、各サブ領域において、次元を選定することができる。
【００９５】
以上、図１１Ｂ〜図１１Ｆに示したように、本実施形態の局所特徴量生成部６０２によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの学習対象物認識と認識結果の表示が可能となる。なお、局所特徴量生成部６０２の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの学習対象物認識と認識結果の表示が可能となる他の処理が当然に適用できる。
【００９６】
（符号化部）
図１１Ｇは、本実施形態に係る符号化部６０３ａを示すブロック図である。なお、符号化部は本例に限定されず、他の符号化処理も適用可能である。
【００９７】
符号化部６０３ａは、局所特徴量生成部６０２の特徴点検出部１１１１から特徴点の座標を入力して、座標値を走査する座標値走査部１１８１を有する。座標値走査部１１８１は、画像をある特定の走査方法にしたがって走査し、特徴点の２次元座標値（Ｘ座標値とＹ座標値）を１次元のインデックス値に変換する。このインデックス値は、走査に従った原点からの走査距離である。なお、走査方向については、制限はない。
【００９８】
また、特徴点のインデックス値をソートし、ソート後の順列の情報を出力するソート部１１８２を有する。ここでソート部１１８２は、例えば昇順にソートする。また降順にソートしてもよい。
【００９９】
また、ソートされたインデックス値における、隣接する２つのインデックス値の差分値を算出し、差分値の系列を出力する差分算出部１１８３を有する。
【０１００】
そして、差分値の系列を系列順に符号化する差分符号化部１１８４を有する。差分値の系列の符号化は、例えば固定ビット長の符号化でもよい。固定ビット長で符号化する場合、そのビット長はあらかじめ規定されていてもよいが、これでは考えられうる差分値の最大値を表現するのに必要なビット数を要するため、符号化サイズは小さくならない。そこで、差分符号化部１１８４は、固定ビット長で符号化する場合、入力された差分値の系列に基づいてビット長を決定することができる。具体的には、例えば、差分符号化部１１８４は、入力された差分値の系列から差分値の最大値を求め、その最大値を表現するのに必要なビット数（表現ビット数）を求め、求められた表現ビット数で差分値の系列を符号化することができる。
【０１０１】
一方、ソートされた特徴点のインデックス値と同じ順列で、対応する特徴点の局所特徴量を符号化する局所特徴量符号化部１１８５を有する。ソートされたインデックス値と同じ順列で符号化することで、差分符号化部１１８４で符号化された座標値と、それに対応する局所特徴量とを１対１で対応付けることが可能となる。局所特徴量符号化部１１８５は、本実施形態においては、１つの特徴点に対する１５０次元の局所特徴量から次元選定された局所特徴量を、例えば１次元を１バイトで符号化し、次元数のバイトで符号化することができる。
【０１０２】
（学習対象物認識部）
図１１Ｈは、本実施形態に係る学習対象物認識部７０３の処理を示す図である。
【０１０３】
図１１Ｈは、図３において、表示画面３１０中の通信端末２１０が撮像した映像３１１から生成した局所特徴量を、あらかじめ局所特徴量ＤＢ２２１に格納された局所特徴量１１９１〜１１９４と照合する様子を示す図である。
【０１０４】
図１１Ｈの左図の通信端末２１０で撮像された映像３１１からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ２２１に各学習対象物に対応して格納された局所特徴量１１９１〜１１９４が、映像３１１から生成された局所特徴量中にあるか否かが照合される。
【０１０５】
図１１Ｈに示すように、学習対象物認識部７０３は、局所特徴量ＤＢ２２１に格納されている局所特徴量と局所特徴量が合致する各特徴点を細線のように関連付ける。なお、学習対象物認識部７０３は、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、学習対象物認識部７０３は、関連付けられた特徴点の集合間の位置関係が線形関係であれば、対象の学習対象物であると認識する。このような認識を行なえば、サイズの大小や向きの違い（視点の違い）、あるいは反転などによっても認識が可能である。また、所定数以上の関連付けられた特徴点があれば認識精度が得られるので、一部が視界から隠れていても学習対象物の認識が可能である。
【０１０６】
図１１Ｈにおいては、局所特徴量ＤＢ２２１の４つの学習対象物の局所特徴量１１９１〜１１９４に合致する、景観内の異なる４つの学習対象物が局所特徴量の精度に対応する精密さを持って認識される。
【０１０７】
《通信端末のハードウェア構成》
図１２Ａは、本実施形態に係る通信端末２１０のハードウェア構成を示すブロック図である。
【０１０８】
図１２Ａで、ＣＰＵ１２１０は演算制御用のプロセッサであり、プログラムを実行することで通信端末２１０の各機能構成部を実現する。ＲＯＭ１２２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部６０４は通信制御部であり、本実施形態においては、ネットワークを介して学習対象物認識サーバ２２０や関連情報提供サーバ２３０と通信する。なお、ＣＰＵ１２１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。
【０１０９】
ＲＡＭ１２４０は、ＣＰＵ１２１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１２４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像１２４１は、撮像部６０１が撮像して入力した入力映像を示す。特徴点データ１２４２は、入力映像１２４１から検出した特徴点座標、スケール、角度を含む特徴点データを示す。局所特徴量生成テーブル１２４３は、局所特徴量を生成するまでのデータを保持する局所特徴量生成テーブルを示す（図１２Ｂ参照）。局所特徴量１２４４は、局所特徴量生成テーブル１２４３を使って生成され、通信制御部６０４を介して学習対象物認識サーバ２２０に送る局所特徴量を示す。学習対象物認識結果１２４５は、通信制御部６０４を介して学習対象物認識サーバ２２０から返信された学習対象物認識結果を示す。関連情報／リンク情報１２４６は、学習対象物認識サーバ２２０から返信された関連情報やリンク情報、あるいは関連情報提供サーバ２３０から返信された関連情報を示す。表示画面データ１２４７は、ユーザに学習対象物認識結果１２４５や関連情報／リンク情報１２４６を含む情報を報知するための表示画面データを示す。なお、音声出力をする場合には、音声データが含まれてもよい。入出力データ１２４８は、入出力インタフェース１２６０を介して入出力される入出力データを示す。送受信データ１２４９は、通信制御部６０４を介して送受信される送受信データを示す。
【０１１０】
ストレージ１２５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。表示フォーマット１２５１は、学習対象物認識結果１２４５や関連情報／リンク情報１２４６を含む情報を表示するための表示フォーマットを示す。
【０１１１】
ストレージ１２５０には、以下のプログラムが格納される。通信端末制御プログラム１２５２は、本通信端末２１０の全体を制御する通信端末制御プログラムを示す。通信端末制御プログラム１２５２には、以下のモジュールが含まれている。局所特徴量生成モジュール１２５３は、通信端末制御プログラム１２５２において、入力映像から図１１Ｂ〜図１１Ｆにしたがって局所特徴量を生成するモジュールを示す。なお、局所特徴量生成モジュール１２５３は、図示のモジュール群から構成されるが、ここでは詳説は省略する。符号化モジュール１２５４は、局所特徴量生成モジュール１２５３により生成された局所特徴量を送信のために符号化するモジュールを示す。情報受信報知モジュール１２５５は、学習対象物認識結果１２４５や関連情報／リンク情報１２４６を受信して表示または音声によりユーザに報知するためのモジュールを示す。リンク先アクセスモジュール１２５６は、受信して報知したリンク情報へのユーザ指示に基づいて、リンク先をアクセスするモジュールである。
【０１１２】
入出力インタフェース１２６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１２６０には、表示部１２６１、操作部１２６２であるタッチパネルやキーボード、スピーカ１２６３、マイク１２６４、撮像部６０１が接続される。入出力機器は上記例に限定されない。また、ＧＰＳ(Global Positioning System)位置生成部１２６５が搭載され、ＧＰＳ衛星からの信号に基づいて現在位置を取得する。
【０１１３】
なお、図１２Ａには、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。
【０１１４】
（局所特徴量生成テーブル）
図１２Ｂは、本実施形態に係る通信端末２１０における局所特徴量生成テーブル１２４３を示す図である。
【０１１５】
局所特徴量生成テーブル１２４３には、入力画像ＩＤ１２０１に対応付けて、複数の検出された検出特徴点１２０２，特徴点座標１２０３および特徴点に対応する局所領域情報１２０４が記憶される。そして、各検出特徴点１２０２，特徴点座標１２０３および局所領域情報１２０４に対応付けて、複数のサブ領域ＩＤ１２０５，サブ領域情報１２０６，各サブ領域に対応する特徴ベクトル１２０７および優先順位を含む選定次元１２０８が記憶される。
【０１１６】
以上のデータから各検出特徴点１２０２に対して局所特徴量１２０９が生成される。これらを特徴点座標と組みにして集めたデータが、撮像した景観から生成した学習対象物認識サーバ２２０に送信される局所特徴量１２４４である。
【０１１７】
《通信端末の処理手順》
図１３は、本実施形態に係る通信端末２１０の処理手順を示すフローチャートである。このフローチャートは、図１２ＡのＣＰＵ１２１０によってＲＡＭ１２４０を用いて実行され、図６の各機能構成部を実現する。
【０１１８】
まず、ステップＳ１３１１において、学習対象物の認識を行なうための映像入力があったか否かを判定する。また、ステップＳ１３２１においては、データ受信を判定する。また、ステップＳ１３３１においては、ユーザによるリンク先の指示かを判定する。いずれでもなければ、ステップＳ１３４１においてその他の処理を行なう。なお、通常の送信処理については説明を省略する。
【０１１９】
映像入力があればステップＳ１３１３に進んで、入力映像に基づいて局所特徴量生成処理を実行する（図１４Ａ参照）。次に、ステップＳ１３１５において、局所特徴量および特徴点座標を符号化する（図１４Ｂおよび図１４Ｃ参照）。ステップＳ１３１７においては、符号化されたデータを学習対象物認識サーバ２２０に送信する。
【０１２０】
データ受信の場合はステップＳ１３２３に進んで、学習対象物認識サーバ２２０からの学習対象物認識結果や関連情報の受信か、または関連情報提供サーバ２３０からの関連情報の受信か否かを判定する。学習対象物認識サーバ２２０からの受信であればステップＳ１３２５に進んで、受信した学習対象物認識結果、関連情報、リンク情報を表示や音声出力で報知する。一方、関連情報提供サーバ２３０からの受信であればステップＳ１３２７に進んで、受信した関連情報を表示や音声出力で報知する。
【０１２１】
（局所特徴量生成処理）
図１４Ａは、本実施形態に係る局所特徴量生成処理Ｓ１３１３の処理手順を示すフローチャートである。
【０１２２】
まず、ステップＳ１４１１において、入力映像から特徴点の位置座標、スケール、角度を検出する。ステップＳ１４１３において、ステップＳ１４１１で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ１４１５において、局所領域をサブ領域に分割する。ステップＳ１４１７においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。ステップＳ１４１１からＳ１４１７の処理は図１１Ｂに図示されている。
【０１２３】
次に、ステップＳ１４１９において、ステップＳ１４１７において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図１１Ｄ〜図１１Ｆに図示されている。
【０１２４】
ステップＳ１４２１においては、ステップＳ１４１１で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ１４１３に戻って、次の１つの特徴点について処理を繰り返す。
【０１２５】
（符号化処理）
図１４Ｂは、本実施形態に係る符号化処理Ｓ１３１５の処理手順を示すフローチャートである。
【０１２６】
まず、ステップＳ１４３１において、特徴点の座標値を所望の順序で走査する。次に、ステップＳ１４３３において、走査した座標値をソートする。ステップＳ１４３５において、ソートした順に座標値の差分値を算出する。ステップＳ１４３７においては、差分値を符号化する（図１４Ｃ参照）。そして、ステップＳ１４３９において、座標値のソート順に局所特徴量を符号化する。なお、差分値の符号化と局所特徴量の符号化とは並列に行なってもよい。
【０１２７】
（差分値の符号化処理）
図１４Ｃは、本実施形態に係る差分値の符号化処理Ｓ１４３７の処理手順を示すフローチャートである。
【０１２８】
まず、ステップＳ１４４１において、差分値が符号化可能な値域内であるか否かを判定する。符号化可能な値域内であればステップＳ１４４７に進んで、差分値を符号化する。そして、ステップＳ１４４９へ移行する。符号化可能な値域内でない場合（値域外）はステップＳ１４４３に進んで、エスケープコードを符号化する。そしてステップＳ１４４５において、ステップＳ１４４７の符号化とは異なる符号化方法で差分値を符号化する。そして、ステップＳ１４４９へ移行する。ステップＳ１４４９では、処理された差分値が差分値の系列の最後の要素であるかを判定する。最後である場合は、処理が終了する。最後でない場合は、再度ステップＳ１４４１に戻って、差分値の系列の次の差分値に対する処理が実行される。
【０１２９】
《学習対象物認識サーバのハードウェア構成》
図１５は、本実施形態に係る学習対象物認識サーバ２２０のハードウェア構成を示すブロック図である。
【０１３０】
図１５で、ＣＰＵ１５１０は演算制御用のプロセッサであり、プログラムを実行することで図７の学習対象物認識サーバ２２０の各機能構成部を実現する。ＲＯＭ１５２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部７０１は通信制御部であり、本実施形態においては、ネットワークを介して通信端末２１０あるいは関連情報提供サーバ２３０と通信する。なお、ＣＰＵ１５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。
【０１３１】
ＲＡＭ１５４０は、ＣＰＵ１５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。受信した局所特徴量１５４１は、通信端末２１０から受信した特徴点座標を含む局所特徴量を示す。読出した局所特徴量１５４２は、局所特徴量ＤＢ２２１から読み出した特徴点座標を含むと局所特徴量を示す。学習対象物認識結果１５４３は、受信した局所特徴量と局所特徴量ＤＢ２２１に格納された局所特徴量との照合から認識された、学習対象物認識結果を示す。関連情報１５４４は、学習対象物認識結果１５４３の学習対象物に対応して関連情報ＤＢ２２２から検索された関連情報を示す。リンク情報１５４５は、学習対象物認識結果１５４３の学習対象物に対応してリンク情報ＤＢ２２３から検索されたリンク情報を示す。送受信データ１５４６は、通信制御部７０１を介して送受信される送受信データを示す。
【０１３２】
ストレージ１５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量ＤＢ２２１は、図８に示したと同様の局所特徴量ＤＢを示す。関連情報ＤＢ２２２は、図９に示したと同様の関連情報ＤＢを示す。リンク情報ＤＢ２２３は、図１０に示したと同様のリンク情報ＤＢを示す。
【０１３３】
ストレージ１５５０には、以下のプログラムが格納される。学習対象物認識サーバ制御プログラム１５５１は、本学習対象物認識サーバ２２０の全体を制御する学習対象物認識サーバ制御プログラムを示す。局所特徴量ＤＢ作成モジュール１５５２は、学習対象物認識サーバ制御プログラム１５５１において、学習対象物の画像から局所特徴量を生成して局所特徴量ＤＢ２２１に格納するモジュールを示す。学習対象物認識モジュール１５５３は、学習対象物認識サーバ制御プログラム１５５１において、受信した局所特徴量と局所特徴量ＤＢ２２１に格納された局所特徴量とを照合して学習対象物を認識するモジュールを示す。関連情報／リンク情報取得モジュール１５５４は、認識した学習対象物に対応して関連情報ＤＢ２２２やリンク情報ＤＢ２２３から関連情報やリンク情報を取得するモジュールを示す。認識結果／情報送信モジュール１５５５は、認識した学習対象物名、取得した関連情報やリンク情報を送信するモジュールを示す。
【０１３４】
なお、図１５には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。
【０１３５】
《学習対象物認識サーバの処理手順》
図１６は、本実施形態に係る学習対象物認識サーバ２２０の処理手順を示すフローチャートである。このフローチャートは、図１５のＣＰＵ１５１０によりＲＡＭ１５４０を使用して実行され、図７の学習対象物認識サーバ２２０の各機能構成部を実現する。
【０１３６】
まず、ステップＳ１６１１において、局所特徴量ＤＢの生成か否かを判定する。また、ステップＳ１６２１において、通信端末からの局所特徴量受信かを判定する。いずれでもなければ、ステップＳ１６４１において他の処理を行なう。
【０１３７】
局所特徴量ＤＢの生成であればステップＳ１６１３に進んで、局所特徴量ＤＢ生成処理を実行する（図１７参照）。また、局所特徴量の受信であればステップＳ１６２３に進んで、学習対象物認識処理を行なう（図１８Ａおよび図１８Ｂ参照）。
【０１３８】
次に、ステップＳ１６２５において、認識した学習対象物に対応する関連情報やリンク情報を取得する。そして、認識した学習対象物名、関連情報、リンク情報を通信端末２１０に送信する。
【０１３９】
（局所特徴量ＤＢ生成処理）
図１７は、本実施形態に係る局所特徴量ＤＢ生成処理Ｓ１６１３の処理手順を示すフローチャートである。
【０１４０】
まず、ステップＳ１７０１において、学習対象物の画像を取得する。ステップＳ１７０３においては、特徴点の位置座標、スケール、角度を検出する。ステップＳ１７０５において、ステップＳ１７０３で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ１７０７において、局所領域をサブ領域に分割する。ステップＳ１７０９においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。ステップＳ１７０５からＳ１７０９の処理は図１１Ｂに図示されている。
【０１４１】
次に、ステップＳ１７１１において、ステップＳ１７０９において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図１１Ｄ〜図１１Ｆに図示されている。しかしながら、局所特徴量ＤＢ２２１の生成においては、次元選定における階層化を実行するが、生成された全ての特徴ベクトルを格納するのが望ましい。
【０１４２】
ステップＳ１７１３においては、ステップＳ１７０３で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ１７０５に戻って、次の１つの特徴点について処理を繰り返す。全特徴点について終了した場合はステップＳ１７１５に進んで、学習対象物に対応付けて局所特徴量と特徴点座標とを局所特徴量ＤＢ２２１に登録する。
【０１４３】
ステップＳ１７１７においては、他の学習対象物の画像があるか否かを判定する。他の学習対象物の画像があればステップＳ１７０１に戻って、他の学習対象物の画像を取得して処理を繰り返す。
【０１４４】
（学習対象物認識処理）
図１８Ａは、本実施形態に係る学習対象物認識処理Ｓ１６２３の処理手順を示すフローチャートである。
【０１４５】
まず、ステップＳ１８１１において、局所特徴量ＤＢ２２１から１つの学習対象物の局所特徴量を取得する。そして、ステップＳ１８１３において、学習対象物の局所特徴量と通信端末２１０から受信した局所特徴量との照合を行なう（図１８Ｂ参照）。
【０１４６】
ステップＳ１８１５において、合致したか否かを判定する。合致していればステップＳ１８２１に進んで、合致した学習対象物を、通信端末２１０が撮像した映像中にあるとして記憶する。
【０１４７】
ステップＳ１８１７においては、局所特徴量ＤＢ２２１に登録されている全学習対象物を照合したかを判定し、残りがあればステップＳ１８１１に戻って次の学習対象物の照合を繰り返す。なお、かかる照合においては、処理速度の向上によるリルタイム処理あるいは学習対象物認識サーバの負荷低減のため、あらかじめ分野の限定を行なってもよい。
【０１４８】
（照合処理）
図１８Ｂは、本実施形態に係る照合処理Ｓ１８１３の処理手順を示すフローチャートである。
【０１４９】
まず、ステップＳ１８３１において、初期化として、パラメータｐ＝１，ｑ＝０を設定する。次に、ステップＳ１８３３において、局所特徴量ＤＢ２２１の局所特徴量の次元数ｉと、受信した局所特徴量の次元数ｊとの、より少ない次元数を選択する。
【０１５０】
ステップＳ１８３５〜Ｓ１８４５のループにおいて、ｐ＞ｍ（ｍ＝学習対象物の特徴点数）となるまで各局所特徴量の照合を繰り返す。まず、ステップＳ１８３５において、局所特徴量ＤＢ２２１に格納された学習対象物の第ｐ番局所特徴量の選択された次元数のデータを取得する。すなわち、最初の１次元から選択された次元数を取得する。次に、ステップＳ１８３７において、ステップＳ１８３５において取得した第ｐ番局所特徴量と入力映像から生成した全特徴点の局所特徴量を順に照合して、類似か否かを判定する。ステップＳ１８３９においては、局所特徴量間の照合の結果から類似度が閾値αを超えるか否かを判断し、超える場合はステップＳ１８４１において、局所特徴量と、入力映像と学習対象物とにおける合致した特徴点の位置関係との組みを記憶する。そして、合致した特徴点数のパラメータであるｑを１つカウントアップする。ステップＳ１８４３においては、学習対象物の特徴点を次の特徴点に進め（ｐ←ｐ＋１）、学習対象物の全特徴点の照合が終わってない場合には（ｐ≦ｍ）、ステップＳ１８３５に戻って合致する局所特徴量の照合を繰り返す。なお、閾値αは、学習対象物によって求められる認識精度に対応して変更可能である。ここで、他の学習対象物との相関が低い学習対象物であれば認識精度を低くしても、正確な認識が可能である。
【０１５１】
学習対象物の全特徴点との照合が終了すると、ステップＳ１８４５からＳ１８４７に進んで、ステップＳ１８４７〜Ｓ１８５３において、学習対象物が入力映像に存在するか否かが判定される。まず、ステップＳ１８４７において、学習対象物の特徴点数ｐの内で入力映像の特徴点の局所特徴量と合致した特徴点数ｑの割合が、閾値βを超えたか否かを判定する。超えていればステップＳ１８４９に進んで、学習対象物候補として、さらに、入力映像の特徴点と学習対象物の特徴点との位置関係が、線形変換が可能な関係を有しているかを判定する。すなわち、ステップＳ１８４１において局所特徴量が合致したとして記憶した、入力映像の特徴点と学習対象物の特徴点との位置関係が、回転や反転、視点の位置変更などの変化によっても可能な位置関係なのか、変更不可能な位置関係なのかを判定する。かかる判定方法は幾何学的に既知であるので、詳細な説明は省略する。ステップＳ１８５１において、線形変換可能か否かの判定結果により、線形変換可能であればステップＳ９５３に進んで、照合した学習対象物が入力映像に存在すると判定する。なお、閾値βは、学習対象物によって求められる認識精度に対応して変更可能である。ここで、他の学習対象物との相関が低い、あるいは一部分からでも特徴が判断可能な学習対象物であれば合致した特徴点が少なくても、正確な認識が可能である。すなわち、一部分が隠れて見えなくても、あるいは特徴的な一部分が見えてさえいれば、学習対象物の認識が可能である。
【０１５２】
ステップＳ１８５５においては、局所特徴量ＤＢ２２１に未照合の学習対象物が残っているか否かを判定する。まだ学習対象物が残っていれば、ステップＳ９５７において次の学習対象物を設定して、パラメータｐ＝１，ｑ＝０に初期化し、ステップＳ９３５に戻って照合を繰り返す。
【０１５３】
なお、かかる照合処理の説明からも明らかなように、あらゆる学習対象物を局所特徴量ＤＢ２２１に記憶して、全学習対象物を照合する処理は、負荷が非常に大きくなる。したがって、例えば、入力映像から学習対象物を認識する前にユーザが学習対象物の範囲をメニューから選択して、その範囲を局所特徴量ＤＢ２２１から検索して照合することが考えられる。また、局所特徴量ＤＢ２２１にユーザが使用する範囲の局所特徴量のみを記憶することによっても、負荷を軽減できる。
【０１５４】
［第３実施形態］
次に、本発明の第３実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、ユーザがリンク先アクセス操作をしなくても、自動的にリンク先から関連情報をアクセスする点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０１５５】
本実施形態によれば、ユーザの操作なしに、リアルタイムに映像中の画像内の学習対象物に対応付けて、リンク先の関連情報を報知できる。
【０１５６】
《情報処理システムの動作手順》
図１９は、本実施形態に係る情報処理システムの動作手順を示すシーケンス図である。なお、図１９において、第２実施形態の図５と同様の動作は同じステップ番号を付して、説明は省略する。
【０１５７】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４および図５と同様にダウンロードおよび起動と初期化が行なわれる。
【０１５８】
ステップＳ４１１において通信端末２１０から受信した映像の局所特徴量から、映像中の学習対象物を認識した学習対象物認識サーバ２２０は、ステップＳ５１３において、リンク情報ＤＢ２２３を参照して、認識した学習対象物に対応するリンク情報を取得する。
【０１５９】
もし、取得したリンク情報が複数あれば、ステップＳ１９１５において、リンク先が選択される。リンク先の選択は、例えば、通信端末２１０を使用するユーザの指示や学習対象物認識サーバ２２０によるユーザ認識に基づいて行なってよいが、ここでは詳細な説明は省略する。ステップＳ１９１７において、リンク情報に基づいてリンク先の関連情報提供サーバ２３０を認識した学習対象物ＩＤを持ってアクセスする。なお、図１９の動作手順においては、リンク先アクセスで映像の局所特徴量を送信した通信端末ＩＤも送信する。
【０１６０】
関連情報提供サーバ２３０は、アクセスに付随する学習対象物ＩＤに対応する学習対象物関連情報（文書データや音声データを含む）を関連情報ＤＢ２３１から取得する。そして、ステップＳ５２５において、アクセス元の通信端末２１０に関連情報を返信する。ここで、ステップＳ１９１７において、送信された通信端末ＩＤが使用される。
【０１６１】
関連情報の返信を受けた通信端末２１０は、ステップＳ５２７において、受信した関連情報を表示あるいは音声出力する。
【０１６２】
なお、図１９においては、学習対象物認識サーバ２２０からのリンク先アクセスへの応答が、通信端末２１０に対して行なわれる場合を説明した。しかしながら、学習対象物認識サーバ２２０がリンク先からの返信を受けて、通信端末２１０に中継する構成であってもよい。あるいは、通信端末２１０において、リンク情報を受信するとリンク先への自動アクセスを行ない、リンク先からの返信を報知する構成であってもよい。
【０１６３】
［第４実施形態］
次に、本発明の第４実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態および第３実施形態を、言語を含む学習対象物に適用したものである。その他の構成および動作は、第２実施形態あるいは第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０１６４】
本実施形態によれば、言語を含む学習対象物を認識し、その関連情報、特に読みの学習ができる。
【０１６５】
《情報処理システムの動作手順》
以下、本実施形態に係る情報処理システムの動作手順の数例をシーケンス図に従って説明する。なお、言語を含む学習対象物への適用は、これに限定されない。
【０１６６】
（本の認識）
図２０Ａは、本実施形態に係る情報処理システムにおける本の認識の動作手順を示すシーケンス図である。なお、第２実施形態の図４と同様の動作手順には同じステップ番号を付して、説明は省略する。
【０１６７】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。
【０１６８】
まず、ステップＳ２０１３においては、通信端末２１０による本の背表紙や本の宣伝画像の撮影が行なわれる。なお、本例では、映像を背表紙や宣伝画像で代表させたが、本ケースや表紙、奥付、目次などであっても、他の書籍関連画像であってもよい。
【０１６９】
学習対象物認識サーバ２２０は、通信端末２１０からの局所特徴量を受信して、ステップＳ２０２１において、局所特徴量ＤＢ２２１を参照して、本の認識を行なう。書名などの応答であれば、ステップＳ２０２３において、学習対象物認識サーバ２２０から通信端末２１０に認識結果を送信する。本の内容を表示あるいは音声で紹介する場合には、ステップＳ２０２５において、内容紹介ＤＢ２０２２を参照して、認識した本に対応する内容紹介データを取得する。そして、ステップＳ２０２７において、学習対象物認識サーバ２２０から通信端末２１０に認識結果および内容紹介データを送信する。
【０１７０】
通信端末２１０は、学習対象物認識サーバ２２０から認識結果または内容紹介を受信して、ステップＳ２０２９において、認識結果あるいは内容を表示および／または音声でユーザに報知する。
【０１７１】
また、内容紹介をリンク先の関連情報提供サーバ２３０から取得する場合には、ステップＳ２０３１において、リンク情報ＤＢ２２３を参照して、認識した本に対応するリンク先を取得する。そして、ステップＳ２０３３において、学習対象物認識サーバ２２０からリンク先にアクセスする。
【０１７２】
リンク先の関連情報提供サーバ２３０は、ステップＳ２０３５において、内容紹介ＤＢ２０２３を参照して、本に対応する内容紹介データを取得する。そして、ステップＳ２０３７において、関連情報提供サーバ２３０から通信端末２１０に認識結果および内容紹介データを送信する。
【０１７３】
通信端末２１０は、関連情報提供サーバ２３０から認識結果または内容紹介を受信して、ステップＳ２０３９において、認識結果あるいは内容を表示および／または音声でユーザに報知する。ここで、通信端末２１０のアドレスは、ステップＳ２０３３におけるアクセスで学習対象物認識サーバ２２０から得るものとする。
【０１７４】
なお、図２０Ａにおいては、学習対象物認識サーバ２２０がリンク先を自動アクセスする手順を示したが、学習対象物認識サーバ２２０がリンク先を通信端末２１０に返信し、通信端末２１０におけるリンク指示を待つ構成であってもよい。
【０１７５】
（ページ認識）
図２０Ｂは、本実施形態に係る情報処理システムにおけるページ認識の動作手順を示すシーケンス図である。なお、第２実施形態の図４と同様の動作手順には同じステップ番号を付して、説明は省略する。
【０１７６】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。
【０１７７】
まず、ステップＳ２０４３においては、通信端末２１０による本を開いてページの撮影が行なわれる。なお、見開き２ページであっても、１ページであっても、ページの一部であっても、ページ内の写真や図、表などであってもよい。
【０１７８】
学習対象物認識サーバ２２０は、通信端末２１０からの局所特徴量を受信して、ステップＳ２０５１において、局所特徴量ＤＢ２２１を参照して、ページの認識を行なう。次に、ステップＳ２０５３において、ページ情報ＤＢ２０２４を参照して、認識したページに対応する朗読音声によるページ情報を取得する。そして、ステップＳ２０５５において、学習対象物認識サーバ２２０から通信端末２１０にページ朗読音声のページデータを送信する。
【０１７９】
通信端末２１０は、学習対象物認識サーバ２２０からページデータを受信して、ステップＳ２０５７において、ページ内容をページ朗読音声の再生によりユーザに報知する。
【０１８０】
また、ページ情報をリンク先の関連情報提供サーバ２３０から取得する場合には、ステップＳ２０６１において、リンク情報ＤＢ２２３を参照して、認識したページに対応するリンク先を取得する。そして、ステップＳ２０６３において、学習対象物認識サーバ２２０からリンク先にアクセスする。
【０１８１】
リンク先の関連情報提供サーバ２３０は、ステップＳ２０６５において、ページ情報ＤＢ２０２５を参照して、ページに対応するページ情報を取得する。そして、ステップＳ２０６７において、関連情報提供サーバ２３０から通信端末２１０にページ朗読音声のページデータを送信する。
【０１８２】
通信端末２１０は、関連情報提供サーバ２３０からページデータを受信して、ステップＳ２０６９において、ページ内容をページ朗読音声の再生によりユーザに報知する。ここで、通信端末２１０のアドレスは、ステップＳ２０６３におけるアクセスで学習対象物認識サーバ２２０から得るものとする。
【０１８３】
なお、図２０Ａと同様に、図２０Ｂにおいても、学習対象物認識サーバ２２０がリンク先を通信端末２１０に返信し、通信端末２１０におけるリンク指示を待つ構成であってもよい。
【０１８４】
（漢字認識）
図２０Ｃは、本実施形態に係る情報処理システムにおける漢字認識の動作手順を示すシーケンス図である。なお、第２実施形態の図４と同様の動作手順には同じステップ番号を付して、説明は省略する。
【０１８５】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。
【０１８６】
まず、ステップＳ２０７３においては、通信端末２１０による本中の漢字や熟語、文章の撮影をが行なわれる。なお、図２０Ａのような表紙の撮影であっても、図２０Ｂのようなページの撮影などであってもよい。
【０１８７】
学習対象物認識サーバ２２０は、通信端末２１０からの局所特徴量を受信して、ステップＳ２０８１において、局所特徴量ＤＢ２２１を参照して漢字や熟語、文章の認識を行なう。次に、ステップＳ２０８３において、辞書ＤＢ２０２６を参照して、認識した漢字や熟語、文章に対応する表示または音声による読み方や意味を取得する。そして、ステップＳ２０８５において、学習対象物認識サーバ２２０から通信端末２１０に読み方や意味を示す表示／音声データを送信する。
【０１８８】
通信端末２１０は、学習対象物認識サーバ２２０から読み方や意味を示す表示／音声データを受信して、ステップＳ２０８７において、読み方や意味を表示と音声の再生によりユーザに報知する。
【０１８９】
また、読み方や意味をリンク先の関連情報提供サーバ２３０から取得する場合には、ステップＳ２０９１において、リンク情報ＤＢ２２３を参照して、認識した漢字や熟語、文章に対応するリンク先を取得する。そして、ステップＳ２０９３において、学習対象物認識サーバ２２０からリンク先にアクセスする。
【０１９０】
リンク先の関連情報提供サーバ２３０は、ステップＳ２０９５において、辞書ＤＢ２０２７を参照して、漢字や熟語、文章に対応する読み方や意味を取得する。そして、ステップＳ２０９７において、関連情報提供サーバ２３０から通信端末２１０に読み方や意味を示す表示／音声データを送信する。
【０１９１】
通信端末２１０は、関連情報提供サーバ２３０からページデータを受信して、ステップＳ２０９９において、漢字や熟語、文章の読み方や意味を示す表示や、音声データの再生によりユーザに報知する。ここで、通信端末２１０のアドレスは、ステップＳ２０９３におけるアクセスで学習対象物認識サーバ２２０から得るものとする。
【０１９２】
なお、図２０Ｃにおける表示と音声による報知ついては、複数の漢字や熟語、文章を含む映像においては表示による報知が望ましく、１つの漢字や熟語、文章の映像あるいはその一部であれば音声による報知が望ましい。
また、図２０Ａおよび図２０Ｂと同様に、図２０Ｃにおいても、学習対象物認識サーバ２２０がリンク先を通信端末２１０に返信し、通信端末２１０におけるリンク指示を待つ構成であってもよい。
【０１９３】
（他の認識）
なお、本実施形態では図示しないが、単語、句、文章の他言語への翻訳結果を、表示や音声で行なうことも同様にできる。
【０１９４】
《データベース》
次に、上記図２０Ａ乃至図２０Ｃの動作に使用されるそれぞれのデータベースの構成を、図２１Ａ乃至図２１Ｃを参照して説明する。なお、翻訳例に使用されるデータベースの構成を、図２１Ｄに示す。また、これらのデータベースは、局所特徴量ＤＢ２２１と別個に説明するが、局所特徴量に対応付けて一体に設けてもよい。
【０１９５】
（内容紹介ＤＢ）
図２１Ａは、本実施形態に係る内容紹介ＤＢ２０２２または２０２３の構成を示す図である。なお、内容紹介ＤＢ２０２２と内容紹介ＤＢ２０２３とは基本的に同ような構成であるが、記憶容量を考慮すると、内容紹介ＤＢ２０２２よりも内容紹介ＤＢ２０２３の方が、より詳しい内容あるいはより多くの項目を用意できる。
【０１９６】
内容紹介ＤＢ２０２２または２０２３は、本ＩＤ２１１１に対応付けて、作品名２１１２、作家２１１３、出版社２１１４、発行日２１１５、および表示データと音声データとを含む内容紹介情報２１１６を記憶する。なお、全てを内容紹介情報に含めてもよい。
【０１９７】
（ページ情報ＤＢ）
図２１Ｂは、本実施形態に係るページ情報ＤＢ２０２４または２０２５の構成を示す図である。なお、ページ情報ＤＢ２０２４とページ情報ＤＢ２０２５とは基本的に同ような構成であるが、記憶容量を考慮すると、ページ情報ＤＢ２０２４よりもページ情報ＤＢ２０２５の方が、より詳しい内容あるいはより多くの項目を用意できる。
【０１９８】
ページ情報ＤＢ２０２４または２０２５は、本ＩＤ２１２１に対応付けて、頁番号２１２２、章／部の情報２１２３に対応付けて、第１朗読データ／話者２１２４や第２朗読データ／話者２１２５を記憶する。
【０１９９】
（辞書ＤＢ）
図２１Ｃは、本実施形態に係る辞書ＤＢ２０２６または２０２７の構成を示す図である。なお、辞書ＤＢ２０２６と辞書ＤＢ２０２７とは基本的に同ような構成であるが、記憶容量を考慮すると、辞書ＤＢ２０２６よりも辞書ＤＢ２０２７の方が、より詳しい内容あるいはより多くの項目を用意できる。
【０２００】
辞書ＤＢ２０２６または２０２７は、例えば、３つの部分、漢字用ＤＢ２１３０、熟語用ＤＢ２１４０、文章用ＤＢ２１５０を有する。なお、全てが一体であってもよい。
【０２０１】
漢字用ＤＢ２１３０は、漢字ＩＤ２１３１に対応付けて、表示と音声とからなる訓読みデータ２１３２、音読みデータ２１３３、解説データ（意味／使い方）２１３４を記憶する。
【０２０２】
熟語用ＤＢ２１４０は、熟語ＩＤ２１４１に対応付けて、表示と音声とからなる読み方データ２１４２と解説データ（意味／使い方）２１４３を記憶する。
【０２０３】
文章用ＤＢ２１５０は、文章ＩＤ２１５１に対応付けて、表示と音声とからなる読み方データ２１５２と解説データ（意味／使い方）２１５３を記憶する。文章用ＤＢ２１５０は、ことわざや俳句、和歌などを含んでよい。
【０２０４】
（翻訳のための辞書ＤＢ）
図２１Ｄは、本実施形態に係る翻訳辞書ＤＢ２１００の構成を示す図である。なお、図２１Ｄには、日本語から外国語への翻訳辞書の構成を説明するが、他の翻訳辞書も同様である。
【０２０５】
翻訳辞書ＤＢ２１００は、例えば、３つの部分、単語用ＤＢ２１６０、句用ＤＢ２１７０、文用ＤＢ２１８０を有する。なお、全てが一体であってもよい。
【０２０６】
単語用ＤＢ２１６０は、日本語ＩＤ２１６１に対応付けて、表記と音声とからなる英単語データ２１６２、他言語データ２１６３、解説データ（意味／使い方）２１６４を記憶する。
【０２０７】
句用ＤＢ２１７０は、日本句ＩＤ２１７１に対応付けて、表記と音声とからなる英文フレーズデータ２１７２、他言語フレーズデータ２１７３、解説データ（意味／使い方）２１７４を記憶する。
【０２０８】
文用ＤＢ２１８０は、日本文ＩＤ２１８１に対応付けて、表記と音声とからなる英文データ２１８２、他言語文データ２１８３、解説データ（意味／使い方）２１８４を記憶する。
【０２０９】
句用ＤＢ２１７０や文用ＤＢ２１８０は、ことわざや俳句、和歌、詩などを含んでよい。
【０２１０】
［第５実施形態］
次に、本発明の第５実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態および第３実施形態を、音を含む学習対象物に適用したものである。その他の構成および動作は、第２実施形態あるいは第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０２１１】
本実施形態によれば、音を含む学習対象物を認識し、その関連情報、特に演奏の学習ができる。
【０２１２】
《情報処理システムの動作手順》
以下、本実施形態に係る情報処理システムの動作手順の数例をシーケンス図に従って説明する。なお、音を含む学習対象物への適用は、これに限定されない。
【０２１３】
（音楽認識）
図２２Ａは、本実施形態に係る情報処理システムにおける音楽認識の動作手順を示すシーケンス図である。なお、第２実施形態の図４と同様の動作手順には同じステップ番号を付して、説明は省略する。
【０２１４】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。
【０２１５】
まず、ステップＳ２２１３においては、通信端末２１０による音楽ジャケットやＣＤあるいはコンサートの宣伝画像の撮影が行なわれる。なお、本例では、ジャケットや宣伝画像で代表させたが、他の音楽関連画像であってもよい。
【０２１６】
学習対象物認識サーバ２２０は、通信端末２１０からの局所特徴量を受信して、ステップＳ２２２１において、局所特徴量ＤＢ２２１を参照して、音楽の認識を行なう。アルバム名、演奏家、コンサート情報などの応答であれば、ステップＳ２２２３において、学習対象物認識サーバ２２０から通信端末２１０に認識結果を送信する。音楽の内容を表示あるいは音声で紹介する場合には、ステップＳ２２２５において、内容紹介ＤＢ２２２２を参照して、認識した音楽に対応する内容紹介データを取得する。そして、ステップＳ２２２７において、学習対象物認識サーバ２２０から通信端末２１０に認識結果および内容紹介データを送信する。
【０２１７】
通信端末２１０は、学習対象物認識サーバ２２０から認識結果または内容紹介を受信して、ステップＳ２２２９において、認識結果あるいは内容を表示および／または音声でユーザに報知する。
【０２１８】
また、内容紹介をリンク先の関連情報提供サーバ２３０から取得する場合には、ステップＳ２２３１において、リンク情報ＤＢ２２３を参照して、認識した音楽に対応するリンク先を取得する。そして、ステップＳ２２３３において、学習対象物認識サーバ２２０からリンク先にアクセスする。
【０２１９】
リンク先の関連情報提供サーバ２３０は、ステップＳ２２３５において、内容紹介ＤＢ２０２３を参照して、音楽に対応する内容紹介データを取得する。そして、ステップＳ２２３７において、関連情報提供サーバ２３０から通信端末２１０に認識結果および内容紹介データを送信する。
【０２２０】
通信端末２１０は、関連情報提供サーバ２３０から認識結果または内容紹介を受信して、ステップＳ２２３９において、認識結果あるいは内容を表示および／または音声でユーザに報知する。ここで、通信端末２１０のアドレスは、ステップＳ２２３３におけるアクセスで学習対象物認識サーバ２２０から得るものとする。
【０２２１】
なお、図２２Ａにおいては、学習対象物認識サーバ２２０がリンク先を自動アクセスする手順を示したが、学習対象物認識サーバ２２０がリンク先を通信端末２１０に返信し、通信端末２１０におけるリンク指示を待つ構成であってもよい。
【０２２２】
（曲認識）
図２２Ｂは、本実施形態に係る情報処理システムにおける曲認識の動作手順を示すシーケンス図である。なお、第２実施形態の図４と同様の動作手順には同じステップ番号を付して、説明は省略する。
【０２２３】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。
【０２２４】
まず、ステップＳ２２４３においては、通信端末２１０による楽譜の表紙またはページの撮影が行なわれる。なお、見開き２ページであっても、１ページであっても、ページの一部であってもよい。
【０２２５】
学習対象物認識サーバ２２０は、通信端末２１０からの局所特徴量を受信して、ステップＳ２２５１において、局所特徴量ＤＢ２２１を参照して、曲の認識を行なう。次に、ステップＳ２２５３において、演奏情報ＤＢ２２２４を参照して、認識した曲に対応する曲演奏データである演奏情報を取得する。そして、ステップＳ２２５５において、学習対象物認識サーバ２２０から通信端末２１０に曲音声データを送信する。
【０２２６】
通信端末２１０は、学習対象物認識サーバ２２０から曲演奏データを受信して、ステップＳ２２５７において、曲を再生してユーザに報知する。
【０２２７】
また、演奏情報をリンク先の関連情報提供サーバ２３０から取得する場合には、ステップＳ２２６１において、リンク情報ＤＢ２２３を参照して、認識した曲に対応するリンク先を取得する。そして、ステップＳ２２６３において、学習対象物認識サーバ２２０からリンク先にアクセスする。
【０２２８】
リンク先の関連情報提供サーバ２３０は、ステップＳ２２６５において演奏情報ＤＢ２２２５を参照して、曲に対応する演奏情報を取得する。そして、ステップＳ２２６７において、関連情報提供サーバ２３０から通信端末２１０に曲演奏データを送信する。
【０２２９】
通信端末２１０は、関連情報提供サーバ２３０から曲演奏データを受信して、ステップＳ２２６９において、曲を再生してユーザに報知する。ここで、通信端末２１０のアドレスは、ステップＳ２２６３におけるアクセスで学習対象物認識サーバ２２０から得るものとする。
【０２３０】
なお、図２２Ａと同様に、図２２Ｂにおいても、学習対象物認識サーバ２２０がリンク先を通信端末２１０に返信し、通信端末２１０におけるリンク指示を待つ構成であってもよい。
【０２３１】
（音認識）
図２２Ｃは、本実施形態に係る情報処理システムにおける音認識の動作手順を示すシーケンス図である。なお、第２実施形態の図４と同様の動作手順には同じステップ番号を付して、説明は省略する。
【０２３２】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。
【０２３３】
まず、ステップＳ２２７３においては、通信端末２１０による楽譜中の音符や小節の撮影が行なわれる。
【０２３４】
学習対象物認識サーバ２２０は、通信端末２１０からの局所特徴量を受信して、ステップＳ２２８１において、局所特徴量ＤＢ２２１を参照して音符や小節の認識を行なう。次に、ステップＳ２２８３において、音情報ＤＢ２２２６を参照して、認識した音符や小節に対応する音や音列を取得する。そして、ステップＳ２２８５において、学習対象物認識サーバ２２０から通信端末２１０に音や音列の音データを送信する。
【０２３５】
通信端末２１０は、学習対象物認識サーバ２２０から音データを受信して、ステップＳ２２８７において、音の再生によりユーザに報知する。
【０２３６】
また、音情報をリンク先の関連情報提供サーバ２３０から取得する場合には、ステップＳ２２９１において、リンク情報ＤＢ２２３を参照して、認識した音や音列に対応するリンク先を取得する。そして、ステップＳ２２９３において、学習対象物認識サーバ２２０からリンク先にアクセスする。
【０２３７】
リンク先の関連情報提供サーバ２３０は、ステップＳ２２９５において、音情報ＤＢ２２２７を参照して、音に対応する音データを取得する。そして、ステップＳ２２９７において、関連情報提供サーバ２３０から通信端末２１０に音データを送信する。
【０２３８】
通信端末２１０は、関連情報提供サーバ２３０から音データを受信して、ステップＳ２２９９において、音データの再生によりユーザに報知する。ここで、通信端末２１０のアドレスは、ステップＳ２２９３におけるアクセスで学習対象物認識サーバ２２０から得るものとする。
【０２３９】
なお、図２２Ａおよび図２２Ｂと同様に、図２２Ｃにおいても、学習対象物認識サーバ２２０がリンク先を通信端末２１０に返信し、通信端末２１０におけるリンク指示を待つ構成であってもよい。
【０２４０】
《データベース》
次に、上記図２２Ａ乃至図２２Ｃの動作に使用されるそれぞれのデータベースの構成を、図２３Ａ乃至図２３Ｃを参照して説明する。なお、これらのデータベースは、局所特徴量ＤＢ２２１と別個に説明するが、局所特徴量に対応付けて一体に設けてもよい。
【０２４１】
（内容紹介ＤＢ）
図２３Ａは、本実施形態に係る内容紹介ＤＢ２２２２または２２２３の構成を示す図である。なお、内容紹介ＤＢ２２２２と内容紹介ＤＢ２２２３とは基本的に同ような構成であるが、記憶容量を考慮すると、内容紹介ＤＢ２２２２よりも内容紹介ＤＢ２２２３の方が、より詳しい内容あるいはより多くの項目を用意できる。
【０２４２】
内容紹介ＤＢ２２２２または２２２３は、ＣＤ／ＤＶＤ／レコードジャケットＩＤ２３１１に対応付けて、演奏者／歌手２３１２、録音場所２３１３、録音日／発売日２３１４、表示データと音声データとを含む内容紹介情報２３１５を記憶する。ＣＤ／ＤＶＤ／レコードジャケットＩＤ２３１１は、コンサートＩＤであってもよい。各ＣＤ／ＤＶＤ／レコードジャケットＩＤ２３１１には、複数の曲ＩＤ２３１６と曲の紹介２３１７とが含まれる。なお、全てを内容紹介情報として記憶してもよい。
【０２４３】
（演奏情報ＤＢ）
図２３Ｂは、本実施形態に係る演奏情報ＤＢ２２２４または２２２５の構成を示す図である。なお、演奏情報ＤＢ２２２４と演奏情報ＤＢ２２２５とは基本的に同ような構成であるが、記憶容量を考慮すると、演奏情報ＤＢ２２２４よりも演奏情報ＤＢ２２２５の方が、より詳しい内容あるいはより多くの項目を用意できる。
【０２４４】
演奏情報ＤＢ２２２４または２２２５は、曲ＩＤ２３２１に対応付けて、曲名２３２２、第１演奏者による第１曲再生デオタ２３２３、第２演奏者による第２曲再生データ２３２４を記憶する。なお、演奏者は、指揮者や歌手に代替できる。
【０２４５】
（音情報ＤＢ）
図２３Ｃは、本実施形態に係る音情報ＤＢ２２２６または２２２７の構成を示す図である。なお、音情報ＤＢ２２２６と音情報ＤＢ２２２７とは基本的に同ような構成であるが、記憶容量を考慮すると、音情報ＤＢ２２２６よりも音情報ＤＢ２２２７の方が、より詳しい内容あるいはより多くの項目を用意できる。
【０２４６】
音情報ＤＢ２２２６または２２２７は、小節単位に再生データを記憶する小節ＤＢ２３３０と音単位に再生データを記憶する音ＤＢ２３４０とを含む。小節ＤＢ２３３０は、小節ＩＤ２３３１に対応付けて、その小節を含む曲名（あるいは曲ＩＤ）２３３２と小節再生データ２３３３とを記憶する。一方、音ＤＢ２３４０は、音ＩＤ２３４１に対応付けて、音名／階名２３４２、ビアノによる第１音再生データ２３４３、バイオリンによる第２音再生データ２３４４、フルートによる第３音再生データ２３４５を記憶する。なお、楽器の種別は本例に限定されない。歌手の声であってもよい。
【０２４７】
［第６実施形態］
次に、本発明の第６実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態および第３実施形態を展示物に適用したものである。その他の構成および動作は、第２実施形態あるいは第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、展示物は、博物館や民族館などの資料や、美術館の絵画や彫刻、あるいは博覧会や展示会の展示物を含む。
【０２４８】
本実施形態によれば、展示物を認識し、その関連情報の学習ができる。
【０２４９】
《情報処理システムの動作手順》
図２４Ａは、本実施形態に係る情報処理システムにおける展示物認識の動作手順を示すシーケンス図である。なお、第２実施形態の図４と同様の動作手順には同じステップ番号を付して、説明は省略する。
【０２５０】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。
【０２５１】
まず、ステップＳ２４１３においては、通信端末２１０による展示物の撮影が行なわれる。
【０２５２】
学習対象物認識サーバ２２０は、通信端末２１０からの局所特徴量を受信して、ステップＳ２４２１において、局所特徴量ＤＢ２２１を参照して、展示物の認識を行なう。展示物名などの応答であれば、ステップＳ２４２３において、学習対象物認識サーバ２２０から通信端末２１０に認識結果を送信する。展示物の内容を表示あるいは音声で紹介する場合には、ステップＳ２２４２５において、内容紹介ＤＢ２４２２を参照して、認識した展示物に対応する内容紹介データを取得する。そして、ステップＳ２２２７において、学習対象物認識サーバ２２０から通信端末２１０に認識結果および内容紹介データを送信する。
【０２５３】
通信端末２１０は、学習対象物認識サーバ２２０から認識結果または内容紹介を受信して、ステップＳ２２２９において、認識結果あるいは内容を表示および／または音声でユーザに報知する。
【０２５４】
また、内容紹介をリンク先の関連情報提供サーバ２３０から取得する場合には、ステップＳ２２３１において、リンク情報ＤＢ２２３を参照して、認識した展示物に対応するリンク先を取得する。そして、ステップＳ２２３３において、学習対象物認識サーバ２２０からリンク先にアクセスする。
【０２５５】
リンク先の関連情報提供サーバ２３０は、ステップＳ２２３５において、内容紹介ＤＢ２０２３を参照して、展示物に対応する内容紹介データを取得する。そして、ステップＳ２２３７において、関連情報提供サーバ２３０から通信端末２１０に認識結果および内容紹介データを送信する。
【０２５６】
通信端末２１０は、関連情報提供サーバ２３０から認識結果または内容紹介を受信して、ステップＳ２２３９において、認識結果あるいは内容を表示および／または音声でユーザに報知する。ここで、通信端末２１０のアドレスは、ステップＳ２２３３におけるアクセスで学習対象物認識サーバ２２０から得るものとする。
【０２５７】
なお、図２２Ａにおいては、学習対象物認識サーバ２２０がリンク先を自動アクセスする手順を示したが、学習対象物認識サーバ２２０がリンク先を通信端末２１０に返信し、通信端末２１０におけるリンク指示を待つ構成であってもよい。
【０２５８】
（内容紹介ＤＢ）
図２４Ｂは、本実施形態に係る内容紹介ＤＢ２４２２または２４２３の構成を示す図である。なお、内容紹介ＤＢ２４２２と内容紹介ＤＢ２４２３とは基本的に同ような構成であるが、記憶容量を考慮すると、内容紹介ＤＢ２４２２よりも内容紹介ＤＢ２４２３の方が、より詳しい内容あるいはより多くの項目を用意できる。また、内容紹介ＤＢ２４２２または２４２は、局所特徴量ＤＢ２２１と別個に説明するが、局所特徴量に対応付けて一体に設けてもよい。
【０２５９】
内容紹介ＤＢ２０２２または２０２３は、展示物ＩＤ２４０１に対応付けて、名称（作者、年代）２４０２、関連表示データ２４０３、関連音声データ２４０４を記憶する。
【０２６０】
［第７実施形態］
次に、本発明の第７実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態および第３実施形態を数式に適用したものである。その他の構成および動作は、第２実施形態あるいは第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０２６１】
本実施形態によれば、数式を認識し、その演算過程と演算結果の学習ができる。
【０２６２】
《情報処理システムの動作手順》
図２５は、本実施形態に係る情報処理システムにおける数式認識の動作手順を示すシーケンス図である。なお、第２実施形態の図４と同様の動作手順には同じステップ番号を付して、説明は省略する。
【０２６３】
ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。
【０２６４】
まず、ステップＳ２５０３においては、通信端末２１０による数式の撮影が行なわれる。なお、本例では、数式で代表させるが、例えば、グラフ画像や直線／曲線の画像などの撮影でもよい。
【０２６５】
学習対象物認識サーバ２２０は、通信端末２１０からの局所特徴量を受信して、ステップＳ２５１１において、局所特徴量ＤＢ２２１を参照して、数式などの認識を行なう。次に、ステップＳ２５１３において、数式ＤＢ２５２２を参照して、認識した数式に対応する変数を含む数式や演算例などを含む数式関連データを取得する。そして、ステップＳ２５１７において、学習対象物認識サーバ２２０から通信端末２１０に数式および演算例のデータを送信する。
【０２６６】
通信端末２１０は、学習対象物認識サーバ２２０から数式および演算例のデータを受信して、ステップＳ２５１９において、数式および演算例のデータを表示によりユーザに報知する。ステップＳ２５１９においては、通信端末２１０において、ユーザが数式内の変数に値を入力したかを判定する。変数入力がなければ処理を終了する。
【０２６７】
一方、変数値の入力があればステップＳ２５２１に進んで、受信した数式に変数を代入して数式の演算を行なう。そして、ステップＳ２５２３において、演算結果を表示する。また、必要であれば、ステップＳ２５２５において演算結果を学習対象物認識サーバ２２０に送信する。
【０２６８】
学習対象物認識サーバ２２０では、ステップＳ２５２７において、通信端末２１０からの演算結果を蓄積して、情報収集などに使用することができる。
【０２６９】
また、数式および演算例のデータをリンク先の関連情報提供サーバ２３０から取得する場合には、ステップＳ２５３１において、リンク情報ＤＢ２２３を参照して、認識した数式などに対応するリンク先を取得する。そして、ステップＳ２５３３において、学習対象物認識サーバ２２０からリンク先にアクセスする。
【０２７０】
リンク先の関連情報提供サーバ２３０は、ステップＳ２５３５において、数式ＤＢ２５２３を参照して、数式関連データを取得する。そして、ステップＳ２５３７において、関連情報提供サーバ２３０から通信端末２１０に数式関連データを送信する。
【０２７１】
通信端末２１０は、関連情報提供サーバ２３０から数式関連データ介を受信して、ステップＳ２５３９において、数式および演算例のデータを表示によりユーザに報知する。ここで、通信端末２１０のアドレスは、ステップＳ２５３３におけるアクセスで学習対象物認識サーバ２２０から得るものとする。
【０２７２】
なお、図２５においては、学習対象物認識サーバ２２０がリンク先を自動アクセスする手順を示したが、学習対象物認識サーバ２２０がリンク先を通信端末２１０に返信し、通信端末２１０におけるリンク指示を待つ構成であってもよい。
【０２７３】
（数式ＤＢ）
図２６Ａは、本実施形態に係る数式ＤＢ２５２２または２５２３の構成を示す図である。なお、数式ＤＢ２５２２と数式ＤＢ２５２３とは基本的に同ような構成であるが、記憶容量を考慮すると、数式ＤＢ２５２２よりも数式ＤＢ２５２３の方が、より詳しい内容あるいはより多くの項目を用意できる。また、数式ＤＢ２５２２は、局所特徴量ＤＢ２２１と別個に説明するが、局所特徴量に対応付けて一体に設けてもよい。
【０２７４】
数式ＤＢ２５２２または２５２３は、数式ＩＤ２６１１に対応付けて、数式名称２６１２、数式を記号で表わす数式データ２６１３、数式に使用される変数２６１４、数式中の定数２６１５を記憶する。
【０２７５】
（演算パラメータテーブル）
図２６Ｂは、本実施形態に係る演算パラメータテーブル２６００の構成を示す図である。なお、演算パラメータテーブル２６００は、数式に変数や定数を代入して演算を実行する場合に、通信端末やサーバのＲＡＭ内に作成されるテーブルである。
【０２７６】
演算パラメータテーブル２６００は、数式ＩＤ２６２１に対応付けて、数式で使用される各々の変数値２６２２、数式で使用される各々の定数値２６２３、変数値２６２２および定数値２６２３を使用した演算結果値２６２４を記憶する。
【０２７７】
［第８実施形態］
次に、本発明の第８実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態乃至第７実施形態と比べると、ユーザが捜索したい学習対象物を登録すれば、その学習対象物を捜索してユーザに報知する点で異なる。その他の構成および動作は、第２実施形態乃至第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０２７８】
本実施形態によれば、ユーザがリアルタイムに所望の学習対象物を捜索できる。
【０２７９】
《情報処理システムにおける通信端末の表示画面例》
図２７Ａおよび図２７Ｂは、本実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。
【０２８０】
（作品捜索）
図２７Ａの上段は、子どもが作った作品を展示場所や置き場所から探す例を示した図である。
【０２８１】
まず、左図のように、通信端末２７１０により、子どもの作った作品の写真などを撮影して、映像２７２０を取得する。この作品の映像２７２０に基づいて局所特徴量を生成して、通信端末２７１０の局所特徴量ＤＢに登録する。
【０２８２】
次に、右図にように、通信端末２７１０により、作品の展示場所や置き場所の映像２７３０を撮像する。通信端末２７１０は、この映像２７３０に基づいて局所特徴量を生成する。そして、先ほど登録した作品の局所特徴量と、作品の展示場所や置き場所の映像２７３０の局所特徴量とを照合して、子どもの作った作品の位置を認識する。認識した位置の作品には、捜索結果として“ここにありますよ”などのコメント２７３１が重畳表示される。
【０２８３】
図２７Ａのように、例え、作品が写真などと同じ向きや同じサイズでなくても、次元選定された局所特徴量によりリアルタイムに子どもの作品の位置を方位置できる。
【０２８４】
（子ども捜索）
図２７Ａの下段は、学芸会や演奏会などに参加した子どもがどこにいるかを探す例を示した図である。
【０２８５】
まず、左図のように、通信端末２７１０により、子どもの写真などを撮影して、映像２７４０を取得する。この映像２７４０に基づいて局所特徴量を生成して、通信端末２７１０の局所特徴量ＤＢに登録する。
【０２８６】
次に、右図にように、通信端末２７１０により、学芸会や演奏会の映像２７５０を撮像する。通信端末２７１０は、この映像２７５０に基づいて局所特徴量を生成する。そして、先ほど登録した子どもの写真からの局所特徴量と、学芸会や演奏会の映像２７５０の局所特徴量とを照合して、子どもの位置を認識する。認識した位置の子どもには、捜索結果として“ここに居ますよ”などのコメント２７５１が重畳表示される。
【０２８７】
図２７Ａのように、例え、子供の写真などと同じ向きや同じサイズでなくても、あるいは服や姿勢などの違いがあっても、次元選定された局所特徴量によりリアルタイムに子どもの位置を方位置できる。
【０２８８】
（対象物へのズームイン）
図２７Ｂは、図２７Ａの下段の処理をさらに改善した処理である。
【０２８９】
図２７Ｂの左図および中央図は、図２７Ａの下段の左図および右図と同じである。図２７Ｂにおいては、子どもの位置が判明したので、通信端末２７１０が子どもの位置にズームインすることにより、子どもの拡大映像を取得することができる。
【０２９０】
《通信端末の機能構成》
図２８は、本実施形態に係る通信端末２７１０の機能構成を示すブロック図である。なお、図２８において、第２実施形態の図６と同様の機能構成部には同じ参照番号を付して、説明を省略する。
【０２９１】
登録／捜索判定部２８０１は、通信端末２７１０が撮像部６０１で撮像した映像が、局所特徴量ＤＢ２８２１に捜索対象物として登録する映像か、捜索物を捜索するための映像かを判定する。かかる登録／捜索判定部２８０１の判定は、ユーザによる操作であってもよいし、映像中の物の映像画面における面積比率などにより自動的に判定してもよい。例えば、捜索対象物の登録時には、捜索対象物を画面全体で撮像するので所定閾値以上の面積比率を登録画面とする。
【０２９２】
局所特徴量登録部２８０２は、捜索物の登録であると判断した場合に、局所特徴量生成部６０２が生成した局所特徴量を局所特徴量ＤＢ２８２１に登録する。一方、登録された捜索物の捜索と判断した場合は、捜索物認識部２８０３において、局所特徴量生成部６０２が生成した局所特徴量と、局所特徴量ＤＢ２８２１に登録した捜索物の局所特徴量とが照合される。
【０２９３】
照合すれば、捜索物ＤＢ２８２２を参照して、捜索物発見情報報知部２８０４が、捜索物に対応した捜索物発見情報を報知する。また、ズーム制御部２８０５は、捜索物を拡大撮像するために、捜索物の位置にズームインするように撮像部６０１を制御する。
【０２９４】
なお、局所特徴量ＤＢ２８２１の構成は、新たな捜索物の局所特徴量が登録されることを除いて、第２実施形態の図８に示した構成と同様であるので、説明を省略する。また、捜索物ＤＢ２８２２は、捜索物についてのユーザが入力した情報を蓄積しておくものであって、必須ではなく局所特徴量ＤＢ２８２１内に設けてもよい。
【０２９５】
《通信端末の処理手順》
図２９は、本実施形態に係る通信端末の処理手順を示すフローチャートである。このフローチャートも、図１２ＡのＣＰＵ１２１０がＲＡＭ１２４０を使用して実行し、図２８の機能構成部を実現する。なお、図２９中、局所特徴量生成処理は、図１４と同様であるので、同じステップ番号Ｓ１３１３を付して、説明は書略する。
【０２９６】
ます、ステップＳ２９１１において、捜索物（図２７Ａの作品や子ども）の登録処理が否かを判定する。また、ステップＳ２９２１において、捜索物の捜索処理か否かを判定する。いずれでもない場合は、ステップＳ２９４１において他の処理を実行する。
【０２９７】
登録処理であればステップＳ２９１３に進んで、捜索物の画像を取得する。ステップＳ１３１３において、取得した捜索物の画像の局所特徴量を生成する。そして、ステップＳ２９１７において、生成した局所特徴量を捜索物と対応付けて、局所特徴量ＤＢ２８２１に登録する。同時に、捜索物ＤＢ２８２２に、必要な捜索物の情報を登録する。
【０２９８】
捜索処理であればステップＳ２９２３に進んで、捜索物を捜索する領域の映像を取得する。ステップＳ１３１３において、取得した映像の局所特徴量を生成する。次に、ステップＳ２９２７において、映像の局所特徴量の少なくとも一部に捜索物の局所特徴量が合致するかを照合して、捜索物の認識を行なう。捜索物が見付からなければ、ステップＳ２９２９からステップＳ２９２３に戻って、別の映像を取得して（実際には、通信端末２７１０の撮像方向／領域を変える）、捜索物の捜索を繰り返す。
【０２９９】
捜索物があればステップＳ２９３１に進んで、ズーム処理をするか否かが判定される。かかる判定は、ユーザによる設定であってもよい。ズーム処理をする場合は、ステップＳ２９３３において、ズームインした捜索物の拡大映像を取得する。ズーム処理があってもなくても、ステップＳ２９３５において、捜索物の位置に捜索物の存在を指示するコメントを表示する（図２７Ａ参照）。
【０３００】
［第９実施形態］
次に、本発明の第９実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第１実施形態乃至第８実施形態と比べると、通信端末が学習対象物認識を含む全ての処理を行なう点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０３０１】
本実施形態によれば、映像中の画像内の局所特徴量に基づいて、通信端末のみで全ての処理を行なうことができる。
【０３０２】
《通信端末の機能構成》
図３０は、本実施形態に係る通信端末３０１０の機能構成を示すブロック図である。なお、図３０において、第２実施計やイの図６と同様の機能構成部については同じ参照番号を付して、説明を省略する。
【０３０３】
学習対象物認識部３００３は、局所特徴量生成部６０２の生成した局所特徴量と、局所特徴量ＤＢ３０２１に格納された局書特徴量を照合して、学習対象物を認識する。そして、学習対象認識結果報知部３００４から認識結果を報知する。なお、学習対象物認識部３００３および局所特徴量ＤＢ３０２１は、共の、学習対象物認識サーバ２２０が有した機能構成部を通信端末３０１０に配置したものであり、その機能は同様であるので説明は省略する。また、学習対象認識結果報知部３００４も、図６の表示画面生成部６０６と音声生成部６０８を含む処理を報知情報に基づいて示したものであり、その処理は同様であるので、説明は省略する。
【０３０４】
関連情報取得部３００５は、認識した学習対象物に対応して、関連情報ＤＢ３０２２から関連情報を取得する。また、関連情報報知部３００６は、関連情報をユーザに報知する。  リンク情報取得部３００７は、認識した学習対象物に対応して、リンク情報ＤＢ３０２３からリンク情報を取得する。また、リンク情報報知部３００８は、リンク情報をユーザに報知する。これらの機能構成部も、学習対象物認識サーバ２２０が有した機能構成部を通信端末３０１０に配置したものであり、その機能は同様であるので説明は省略する。
【０３０５】
リンク先アクセス部３００９は、取得したリンク情報を使用してリンク先の関連情報提供サーバ２３０にアクセスする。
【０３０６】
［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【０３０７】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【０３０８】
この出願は、２０１２年１月３０日に出願された日本出願特願２０１２−０１７３８５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０３０９】
本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０３１０】
（付記１）
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する学習対象物認識手段と、
を備えることを特徴とする情報処理システム。
（付記２）
前記第１局所特徴量記憶手段は、複数の学習対象物にそれぞれ対応付けて各学習対象物の画像から生成した前記ｍ個の第１局所特徴量を記憶し、
前記学習対象物認識手段は、前記撮像手段が撮像した前記画像に含まれる複数の学習対象物を認識することを特徴とする付記１に記載の情報処理システム。
（付記３）
前記学習対象物認識手段の認識結果を報知する報知手段をさらに備えることを特徴とする付記１または２に記載の情報処理システム。
（付記４）
前記報知手段は、さらに、前記認識結果に関連する情報を報知することを特徴とする付記３に記載の情報処理システム。
（付記５）
前記報知手段は、さらに、前記認識結果に関連する情報を取得するためのリンク情報を報知することを特徴とする付記３または４に記載の情報処理システム。
（付記６）
前記報知手段は、前記認識結果に関連する情報をリンク情報にしたがって取得する関連情報取得手段を有し、
リンク情報にしたがって取得した前記関連情報を報知することを特徴とする付記３に記載の情報処理システム。
（付記７）
前記第１局所特徴量記憶手段に、捜索する学習対象物の局所特徴量を登録する登録手段をさらに備え、
前記報知手段は、前記学習対象物認識手段が認識した学習対象物を捜索結果として報知することを特徴とする付記３乃至６のいずれか１つに記載の情報処理システム。
（付記８）
前記学習対象物は、文字を含む学習対象物であって、
前記報知手段は、前記学習対象物の内容を報知することを特徴とする付記３乃至６のいずれか１つに記載の情報処理システム。
（付記９）
前記学習対象物は、音に関連する学習対象物であって、
前記報知手段は、前記学習対象物の内容を音の演奏で報知することを特徴とする付記３乃至６のいずれか１つに記載の情報処理システム。
（付記１０）
前記学習対象物は、展示物であって、
前記報知手段は、前記学習対象物の説明を報知することを特徴とする付記３乃至６のいずれか１つに記載の情報処理システム。
（付記１１）
前記学習対象物は、数式を含む学習対象物であって、
前記報知手段は、前記学習対象物の数式を演算して演算結果を報知することを特徴とする付記３乃至６のいずれか１つに記載の情報処理システム。
（付記１２）
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成されることを特徴とする付記１乃至１１のいずれか１つに記載の情報処理システム。
（付記１３）
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を選定することにより生成されることを特徴とする付記１２に記載の情報処理システム。
（付記１４）
前記特徴ベクトルの複数の次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定の次元数ごとに前記局所領域をひと回りするよう配列することを特徴とする付記１２または１３に記載の情報処理システム。
（付記１５）
前記第２局所特徴量生成手段は、前記学習対象物の相関に対応して、他の学習対象物とより低い前記相関を有する学習対象物については次元数のより少ない前記第２局所特徴量を生成することを特徴とする付記１４に記載の情報処理システム。
（付記１６）
前記第１局所特徴量記憶手段は、前記学習対象物の相関に対応して、他の学習対象物とより低い前記相関を有する学習対象物については次元数のより少ない前記第１局所特徴量を記憶することを特徴とする付記１４または１５に記載の情報処理システム。
（付記１７）
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムを利用した情報処理方法であって、
撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識ステップと、
を含むことを特徴とする情報処理方法。
（付記１８）
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる学習対象物を認識する情報処理装置に送信する第１送信手段と、
前記情報処理装置から、撮像した前記画像に含まれる学習対象物を示す情報を受信する第１受信手段と、
を備えたことを特徴とする通信端末。
（付記１９）
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる学習対象物を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる学習対象物を示す情報を受信する第１受信ステップと、
を含むことを特徴とする通信端末の制御方法。
（付記２０）
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる学習対象物を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる学習対象物を示す情報を受信する第１受信ステップと、
をコンピュータに実行させることを特徴とする通信端末の制御プログラム。
（付記２１）
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識手段と、
認識した前記学習対象物を示す情報を前記通信端末に送信する第２送信手段と、
を備えることを特徴とする情報処理装置。
（付記２２）
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識ステップと、
認識した前記学習対象物を示す情報を前記通信端末に送信する第２送信ステップと、
を含むことを特徴とする情報処理装置の制御方法。
（付記２３）
学習対象物と、前記学習対象物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記学習対象物が存在すると認識する認識ステップと、
認識した前記学習対象物を示す情報を前記通信端末に送信する第２送信ステップと、
をコンピュータに実行させることを特徴とする情報処理装置の制御プログラム。
【図１】
2013115203.tif 000003
【図２】
2013115203.tif 000004
【図３】
2013115203.tif 000005
【図４】
2013115203.tif 000006
【図５】
2013115203.tif 000007
【図６】
2013115203.tif 000008
【図７】
2013115203.tif 000009
【図８】
2013115203.tif 000010
【図９】
2013115203.tif 000011
【図１０】
2013115203.tif 000012
【図１１Ａ】
2013115203.tif 000013
【図１１Ｂ】
2013115203.tif 000014
【図１１Ｃ】
2013115203.tif 000015
【図１１Ｄ】
2013115203.tif 000016
【図１１Ｅ】
2013115203.tif 000017
【図１１Ｆ】
2013115203.tif 000018
【図１１Ｇ】
2013115203.tif 000019
【図１１Ｈ】
2013115203.tif 000020
【図１２Ａ】
2013115203.tif 000021
【図１２Ｂ】
2013115203.tif 000022
【図１３】
2013115203.tif 000023
【図１４Ａ】
2013115203.tif 000024
【図１４Ｂ】
2013115203.tif 000025
【図１４Ｃ】
2013115203.tif 000026
【図１５】
2013115203.tif 000027
【図１６】
2013115203.tif 000028
【図１７】
2013115203.tif 000029
【図１８Ａ】
2013115203.tif 000030
【図１８Ｂ】
2013115203.tif 000031
【図１９】
2013115203.tif 000032
【図２０Ａ】
2013115203.tif 000033
【図２０Ｂ】
2013115203.tif 000034
【図２０Ｃ】
2013115203.tif 000035
【図２１Ａ】
2013115203.tif 000036
【図２１Ｂ】
2013115203.tif 000037
【図２１Ｃ】
2013115203.tif 000038
【図２１Ｄ】
2013115203.tif 000039
【図２２Ａ】
2013115203.tif 000040
【図２２Ｂ】
2013115203.tif 000041
【図２２Ｃ】
2013115203.tif 000042
【図２３Ａ】
2013115203.tif 000043
【図２３Ｂ】
2013115203.tif 000044
【図２３Ｃ】
2013115203.tif 000045
【図２４Ａ】
2013115203.tif 000046
【図２４Ｂ】
2013115203.tif 000047
【図２５】
2013115203.tif 000048
【図２６Ａ】
2013115203.tif 000049
【図２６Ｂ】
2013115203.tif 000050
【図２７Ａ】
2013115203.tif 000051
【図２７Ｂ】
2013115203.tif 000052
【図２８】
2013115203.tif 000053
【図２９】
2013115203.tif 000054
【図３０】
2013115203.tif 000055
【国際調査報告】
2013115203.tif 000056
2013115203.tif 000057
2013115203.tif 000058
2013115203.tif 000059