(57)【要約】【課題】本発明の課題は、できるだけ少数の画像で登録・学習を行ない、学習用画像の撮影にかかる手間を軽減することのできる画像学習装置を提供することである。【解決手段】上記課題は、限定された撮影条件下で撮影された対象の画像を初期登録する初期登録手段と、前記初期登録手段に登録されている画像を分析し、学習に不足な画像を撮像装置に取得させる不足画像取得手段と、前記取得した学習に不足な画像を追加登録する不足画像追加登録手段と、前記不足画像追加登録手段に登録されている画像から学習に用いる学習サンプルを抽出する学習サンプル抽出手段と、前記抽出された学習サンプルを用いて学習を行なう学習手段と、を備えることを特徴とする画像学習装置にて解決される。【選択図】  図１
2004213567.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から入力された画像を学習して画像中に存在する対象を判別する画像学習装置において、
前記対象をあらかじめ設定した撮影条件にて撮影し、その撮影された画像及び該画像の撮影条件を示す撮影プロファイルを初期登録する初期登録手段と、
前記初期登録手段により登録された前記画像又は前記撮影プロファイルの少なくとも１つを元にして前記学習に必要とされる不足画像を判断し、該不足画像を前記撮像装置に取得させる不足画像取得手段と、
前記不足画像取得手段により取得された不足画像及び該不足画像に付随される撮影プロファイルを前記初期登録手段に追加登録する不足画像追加登録手段と、前記不足画像追加登録手段に登録されている画像又は撮影プロファイルの少なくとも１つから前記学習に用いる学習サンプルを抽出する学習サンプル抽出手段と、
前記抽出された学習サンプルを用いて前記学習を行なう学習手段と、を備えることを特徴とする画像学習装置。
【請求項２】
請求項１記載の画像学習装置において、
前記撮影プロファイルは、少なくとも撮影時刻、天候、撮影角度、撮影位置を示すデータの１つを含んで構成されることを特徴とする画像学習装置。
【請求項３】
請求項１又は２記載の画像学習装置において、
前記不足画像取得手段は、前記初期登録手段に登録されている前記画像の特徴量をベクトル化した画像特徴ベクトルと前記撮影プロファイルをベクトル化したプロファイルベクトルが属するクラス毎の分散を求め、分散の小さいクラスと分散の小さいクラス内に含まれる撮影プロファイルのデータを前記撮像装置に通知して不足画像を取得させる不足画像分析手段を備えることを特徴とする画像学習装置。
【請求項４】
請求項１記載の画像学習装置において、
前記学習サンプル抽出手段は、前記不足画像追加登録手段に登録されている画像又は撮影プロファイルのベクトルの分散を大きくする学習サンプルをソート又は逐次選択して抽出することを特徴とする画像学習装置。
【請求項５】
請求項１又は４記載の画像学習装置において、
前記学習サンプル抽出手段により抽出された学習サンプルは判別面によりクラス分けされ、
前記学習手段は、前記クラス分けされたクラスの全てに属する学習サンプル又は該クラスの一部に属する学習サンプルの重み係数を、サポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）で用いられるＳＭＯ（Ｓｅｑｕｅｎｔｉａｌ  Ｍｉｎｉｍａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ）アルゴリズムに基づいて算出する学習サンプル重み係数算出手段を備えることを特徴とする画像学習装置。
【請求項６】
請求項５記載の画像学習装置において、
前記学習手段は、
前記学習サンプル重み係数算出手段により算出された学習サンプルの重み係数に基づいて学習の収束状況を判断する学習収束状況判断手段をさらに備え、
前記学習収束状況判断手段は、前記算出された学習サンプルの重み係数を閾値と比較し、該閾値より小さくなれば学習が収束したと判断する第一の学習収束判断手段と、
前記算出された学習サンプルの重み係数の変化率を求め、該変化率が所定値より小さくなる、もしくは該変化率が変わったところで学習が収束したと判断する第二の学習収束判断手段と、を備えることを特徴とする画像学習装置。
【請求項７】
請求項６記載の画像学習装置において、
前記学習手段は、前記学習収束状況の判断結果に基づいて、抽出すべき学習サンプル数を、所定基準又は前記学習の収束具合に応じて生成される指示にしたがって増加させる通知を前記学習サンプル抽出手段に対して行なう学習サンプル数制御手段を備え、
前記学習サンプル抽出手段は、前記学習サンプルを増加させても前記学習が収束しないとの通知を前記学習手段より受けたときに、前記不足画像分析手段に前記学習に不足している画像を分析させる学習未完了分析指示手段を備えることを特徴とする画像学習装置。
【請求項８】
撮像装置から入力された画像を学習して画像中に存在する対象を判別する画像学習装置における学習方法おいて、
前記対象をあらかじめ設定した撮影条件にて撮影し、その撮影された画像及び該画像の撮影条件を示す撮影プロファイルを初期登録し、
前記初期登録された前記画像又は前記撮影プロファイルの少なくとも１つを元にして前記学習に必要とされる不足画像を判断し、該不足画像を前記撮像装置に取得させ、
その取得された不足画像及び該不足画像に付随される撮影プロファイルを前記初期登録されている画像及び撮影プロファイルに追加登録し、
前記追加登録された画像又は撮影プロファイルの少なくとも１つから前記学習に用いる学習サンプルを抽出し、
前記抽出された学習サンプルを用いて前記学習を行なうことを特徴とする画像学習装置における学習方法。
【請求項９】
請求項８記載の画像学習装置における学習方法において、
前記撮影プロファイルは、少なくとも撮影時刻、天候、撮影角度、撮影位置を示すデータの１つを含んで構成されることを特徴とする画像学習装置における学習方法。
【請求項１０】
請求項８又は９記載の画像学習装置における学習方法において、
前記初期登録の際に取得された前記画像の特徴量をベクトル化した画像特徴ベクトルと前記撮影プロファイルをベクトル化したプロファイルベクトルが属するクラス毎の分散を求め、分散の小さいクラスと分散の小さいクラス内に含まれる撮影プロファイルのデータを前記撮像装置に通知して不足画像を取得させることを特徴とする画像学習装置における学習方法。
【請求項１１】
請求項８記載の画像学習装置における学習方法において、
前記追加登録後の画像又は撮影プロファイルのベクトルの分散を大きくする学習サンプルをソート又は逐次選択して抽出することを特徴とする画像学習装置における学習方法。
【請求項１２】
請求項８又は１１記載の画像学習装置における学習方法において、
前記抽出された学習サンプルは判別面によりクラス分けされ、
前記クラス分けされたクラスの全てに属する学習サンプル又は該クラスの一部に属する学習サンプルの重み係数を、サポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）で用いられるＳＭＯ（Ｓｅｑｕｅｎｔｉａｌ  Ｍｉｎｉｍａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ）アルゴリズムに基づいて算出することを特徴とする画像学習装置における学習方法。
【請求項１３】
請求項１２記載の画像学習装置における学習方法において、前記算出された学習サンプルの重み係数を閾値と比較し、該閾値より小さくなれば学習が収束したと判断する、もしくは前記算出された学習サンプルの重み係数の変化率を求め、該変化率が所定値より小さくなる、もしくは該変化率が変わったところで学習が収束したと判断することを特徴とする画像学習装置における学習方法。
【請求項１４】
請求項１３記載の画像学習装置における学習方法において、
前記学習収束状況の判断結果に基づいて、抽出すべき学習サンプル数を、所定基準又は前記学習の収束具合に応じて生成される指示にしたがって増加させ、
前記学習サンプルを増加させても前記学習が収束しない場合は、前記学習に不足している画像を分析することを特徴とする画像学習装置における学習方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像学習装置及びその学習方法に係り、詳しくは、カメラ等の撮像手段により撮影された対象を登録・学習する画像学習装置及びその学習方法に関する。
【０００２】
【従来の技術】
近年、テレビやビデオに加え、マルチメディアの進展に伴って多くの情報が映像の形式で発信されるようになっている。しかし膨大な映像情報の中から必要な部分を手作業で探し出すことは非常に困難で、これを自動的に行なう技術が求められていた。例えば、非特許文献１記載の映像中のテロップ認識技術では、映像中のテロップ文字が表示されているテロップ画面をリアルタイムに検出する処理と、検出されたテロップ画面から背景映像を除去して文字部分を抽出し認識する処理とから構成され、テロップの特徴的な色・動き・書式などの性質を利用することで、ライブ映像にも対処できる高速性と、様々な背景映像上での文字認識の安定性を実現している。
【０００３】
また、画像認識手段で認識された認識結果をキーワードとし、そのキーワードに対応するコンテンツを蓄積手段から検索して読み出すような技術もある（例えば、特許文献１参照）。
【０００４】
さらに、最近では、モバイルカメラを搭載した移動機がバーコードやＱＲコードと呼ばれる２次元コードを該モバイルカメラで撮影し、その画像入力によって移動機に情報検索・提示等をさせるといったサービスも始まっている。この場合、移動機では、正確に入力画像の対象を判別する必要がある。なぜなら、対象の判別の正解率が低ければ対象と何ら関係のない情報をユーザに提示してしまうことになるからである。したがって、上記のような移動機における対象判別手法としては、判別対象の設置位置とユーザの撮影位置との間の距離と角度（撮影角度）の変化に強く、撮影時刻と天候による照明条件の変化にロバストであることが要求される。従来は、この要求を満たすために、様々な撮影角度や照明条件下で対象を撮影し、得られる数多くの画像で登録・学習している。
【０００５】
【特許文献１】
特開２００１−２２９１８０号公報
【０００６】
【非特許文献１】
倉掛正治、新井啓之、桑野秀豪、森稔、「映像中のテロップ認識」、ＮＴＴ出版、１９９８年５月
【０００７】
【発明が解決しようとする課題】
上述したように、従来は、モバイルカメラを搭載した移動機を用いて判別の正解率を向上させるために、様々な撮影角度や照明条件下で対象を撮影し、数多くの画像を登録・学習していた。この登録・学習作業とは、あらかじめユーザが判別対象の画像とその対象と関連する情報を登録して学習させるという作業をいい、
ユーザ自身で行なわなければならないため、ユーザに対して大きな負担がかかるという問題があった。
【０００８】
本発明は、上記のような問題点に鑑みてなされたもので、その課題とするところは、できるだけ少数の画像で登録・学習を行ない、学習用画像の撮影にかかる手間を軽減することのできる画像学習装置及びその学習方法を提供することである。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項１に記載されるように、撮像装置から入力された画像を学習して画像中に存在する対象を判別する画像学習装置において、前記対象をあらかじめ設定した撮影条件にて撮影し、その撮影された画像及び該画像の撮影条件を示す撮影プロファイルを初期登録する初期登録手段と、前記初期登録手段により登録された前記画像又は前記撮影プロファイルの少なくとも１つを元にして前記学習に必要とされる不足画像を判断し、該不足画像を前記撮像装置に取得させる不足画像取得手段と、前記不足画像取得手段により取得された不足画像及び該不足画像に付随される撮影プロファイルを前記初期登録手段に追加登録する不足画像追加登録手段と、前記不足画像追加登録手段に登録されている画像又は撮影プロファイルの少なくとも１つから前記学習に用いる学習サンプルを抽出する学習サンプル抽出手段と、前記抽出された学習サンプルを用いて前記学習を行なう学習手段と、を備えることを特徴としている。
【００１０】
また、本発明の請求項２は、前記画像学習装置において、前記撮影プロファイルは、少なくとも撮影時刻、天候、撮影角度、撮影位置を示すデータの１つを含んで構成されることを特徴としている。
【００１１】
また、本発明の請求項３は、前記画像学習装置において、前記不足画像取得手段は、前記初期登録手段に登録されている前記画像の特徴量をベクトル化した画像特徴ベクトルと前記撮影プロファイルをベクトル化したプロファイルベクトルが属するクラス毎の分散を求め、分散の小さいクラスと分散の小さいクラス内に含まれる撮影プロファイルのデータを前記撮像装置に通知して不足画像を取得させる不足画像分析手段を備えることを特徴としている。
【００１２】
また、本発明の請求項４は、前記画像学習装置において、前記学習サンプル抽出手段は、前記不足画像追加登録手段に登録されている画像又は撮影プロファイルのベクトルの分散を大きくする学習サンプルをソート又は逐次選択して抽出することを特徴としている。
【００１３】
また、本発明の請求項５は、前記画像学習装置において、前記学習サンプル抽出手段により抽出された学習サンプルは判別面によりクラス分けされ、前記学習手段は、前記クラス分けされたクラスの全てに属する学習サンプル又は該クラスの一部に属する学習サンプルの重み係数を、サポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）で用いられるＳＭＯ（Ｓｅｑｕｅｎｔｉａｌ  Ｍｉｎｉｍａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ）アルゴリズムに基づいて算出する学習サンプル重み係数算出手段を備えることを特徴としている。
【００１４】
また、本発明の請求項６は、前記画像学習装置において、前記学習手段は、前記学習サンプル重み係数算出手段により算出された学習サンプルの重み係数に基づいて学習の収束状況を判断する学習収束状況判断手段をさらに備え、前記学習収束状況判断手段は、前記算出された学習サンプルの重み係数を閾値と比較し、該閾値より小さくなれば学習が収束したと判断する第一の学習収束判断手段と、前記算出された学習サンプルの重み係数の変化率を求め、該変化率が所定値より小さくなる、もしくは該変化率が変わったところで学習が収束したと判断する第二の学習収束判断手段と、を備えることを特徴としている。
【００１５】
また、本発明の請求項７は、前記画像学習装置において、前記学習手段は、前記学習収束状況の判断結果に基づいて、抽出すべき学習サンプル数を、所定基準又は前記学習の収束具合に応じて生成される指示にしたがって増加させる通知を前記学習サンプル抽出手段に対して行なう学習サンプル数制御手段を備え、前記学習サンプル抽出手段は、前記学習サンプルを増加させても前記学習が収束しないとの通知を前記学習手段より受けたときに、前記不足画像分析手段に前記学習に不足している画像を分析させる学習未完了分析指示手段を備えることを特徴としている。
【００１６】
上記本発明によれば、学習に必要な不足画像を既登録（初期登録）の画像から推定してユーザに通知するので、ユーザにかかる不足画像の撮影負担を軽減することができる。また、学習の収束具合を元に学習に必要な画像のみをユーザにフィードバックさせて取得させるので、学習用画像の撮影にかかる手間をより確実に軽減することが可能である。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１８】
図１は、本発明の実施の一形態に係る画像学習装置が適用される移動通信端末の構成を示すブロック図である。
【００１９】
図１において、この移動通信端末は、カメラ部１と、入力部２と、表示部３と、画像・データメモリ４と、表示制御部５と、変換部６と、検出部７と、抽出部８と、推定部９と、評価部１０と、分析部１１と、通知処理部１２とを備える。
【００２０】
図１に示すように、本実施形態の画像通信端末のカメラ部１は、レンズ等の光学系及びＣＣＤ等の電気系で構成され、対象を撮影するために用いられる。入力部２は、テンキーと各種動作機能を設定するファンクションキー、さらに、外部情報を取り込むセンサ（例：温度センサ）等で構成され、ユーザが撮影条件等、必要な情報を入力するために利用される。表示部３は、ＬＣＤ等で構成され、画面上でユーザにより撮影されたある対象の画像や表示制御部５の指示に従った目印等を、ユーザに向けて表示する。表示制御部５は表示部３の画面表示（主として、受信した相手画像の表示）を制御する。また、入力部２からの指示に基づいて、画像・データメモリ４に登録されている画像を表示部３に表示させたり、通知処理部１２から受けたメッセージを表示部３の画面上に表示させたりする。画像・データメモリ４には、カメラ１で撮影された画像がフレーム毎に登録され、かつ入力部２により入力された情報、本例では、撮影条件を示す撮影プロファイル（以下、プロファイルと略記）のデータがテンキー入力やセンサ入力等により取得されて登録される。
【００２１】
変換部６は、上記画像・データメモリ４に登録された入力画像とプロファイルを特徴量としてそれぞれ取り込み、特徴ベクトル（単に、ベクトルともいう）に変換する。検出部７は、変換部６で変換されたベクトルの検査を行ない、上記画像・データメモリ４に既に登録されている画像及びプロファイルが学習（後述する）用に適しているものかどうかを判断し、それらが学習に適切な画像、プロファイルであると判断したときは、上記画像・データメモリ４上の登録ステータスを仮登録から正登録に変更させてそれらを学習用に用いるデータとして管理させる。
【００２２】
一方、適切な画像でない、もしくは適切なプロファイルでないと判断された場合は、その判断結果が分析部１１に通知される。分析部１１は、検出部７からの上記判断結果を受けると、画像・データメモリ４に登録済みの画像及びプロファイルを読み込んで分析し、学習に必要な不足データを調べ通知処理部１２に通知する。通知処理部１２は、学習に必要な不足データをユーザに取得させるためのメッセージを生成して表示制御部５に送る。表示制御部５はこのメッセージを表示部３に表示させてユーザに学習に必要な画像を撮影するように促す。ユーザは表示部３に表示された指示に従って対象の撮影を行ない、撮影時のプロファイルを入力部２のテンキーなどを操作して入力（ただし、撮影と同時にプロファイルも自動入力される場合がある）する。このような処理は、学習に適切な画像、プロファイルが画像・データメモリ４に正登録されるまで繰り返し行なわれる。
【００２３】
抽出部８は、画像・データメモリ４に正登録された画像、プロファイルから少数のサンプルを学習用サンプルとして抽出し、推定部９に出力する。推定部９は、抽出部８で抽出された学習サンプルの重み係数を計算し、計算結果を評価部１０に出力する。評価部１０は、推定部９で計算された学習サンプルの重み係数を評価し、評価結果を通知処理部１２に通知する。例えば、上記評価で学習が完了したと評価された場合は、その旨が通知処理部１２に通知され、表示制御部５を介して学習完了のメッセージが表示部３に表示されてユーザに通知される。一方、上記評価で学習が完了していないと評価された場合は、その旨が抽出部８に通知される。抽出部８は学習未完了の通知を受けると、抽出する学習サンプル数を増やして推定部９に送出する。推定部９では、学習サンプルが増やされた状態で再度、学習サンプルの重み係数の計算がなされ、上記同様、計算結果を評価部１０に出力する。このように抽出部８は、評価部１０で評価される学習が完了するまで、学習サンプルの抽出数を増やすよう処理を行なうが、学習のサンプル数を増やしても学習が完了しない場合がある。その場合、抽出部８は分析部１１に対し、学習に不足しているデータを分析させ、分析部１１が学習に必要なデータをユーザに通知して取得させる。ユーザにて追加撮影された画像は、画像・データメモリ４へと追加登録される。以降は、この追加登録された画像の学習が上記同様の手順で行なわれる。
【００２４】
図２は、図１に示す移動端末で行なわれる画像学習処理の手順を示すフローチャートである。
【００２５】
図２において、まず、カメラ部１において撮影された対象の画像及びその際に入力部２により入力されたプロファイルが画像・データメモリ４に仮登録（初期登録ともいう）される（Ｓ１）。変換部６は、画像・データメモリ４に登録されている画像及びプロファイルを以下のようにしてベクトルに変換する（Ｓ２）。図３は入力画像、プロファイルをベクトル変換する概念を示す図である。以下、同図を参照しながら変換部６で行なわれる入力画像、プロファイルのベクトル化処理について説明する。
【００２６】
▲１▼画像のベクトル化処理
画像については、３つの色信号を示すＲＧＢやＬ＊ａ＊ｂ＊色空間（Ｌ＊ａ＊ｂ＊色空間とは、知覚的にほぼ均等な歩度をもつ色空間（均等色空間）をいう）の色ヒストグラムや、色の接合量、色の包括量、画像周波数等といった画像の特徴をＶ個の数値で表現してベクトル化する。これにより、Ｖ次元のベクトルが画像特徴量として抽出される。
【００２７】
▲２▼プロファイルのベクトル化処理
プロファイルについては、天候、時刻、撮影角度、照度（入射式、反射式の照度計もしくは露出計で測定したもの）、位置、方向、対象物のＩＤ番号（入力画像に写っている対象が何であるかを識別するための識別番号をいい、本例では、この識別号を“答え”と呼ぶ）等をＭ個の数値で表現してベクトル化する。これにより、Ｍ次元のプロファイルベクトルが得られる。
【００２８】
上記のようにしてベクトル化されたＶ個の画像特徴ベクトルとＭ個のプロファイルベクトルは、検出部７に入力され、撮影失敗画像（ここでの失敗画像は、ピンボケ、真っ白、真っ黒のような画像のことをいう）を排除するための判定処理（Ｓ３）が行なわれる。具体的には、次のような検査方法のいずれが用いられてベクトルの検査がなされ、その検査結果からユーザにて撮影された画像が適切なものでるかどうかが判定される。図４は入力画像の画像特徴ベクトル、プロファイルの特徴ベクトルを検査する概念を示す図である。以下、同図を参照しながら検出部７で行なわれる上記検査の処理について説明する。
【００２９】
▲１▼画像特徴ベクトル検査処理
検出部７において画像特徴ベクトルを用いて検査を行なう場合、色ヒストグラムのデータが潰れていないか（色ヒストグラムが潰れると、Ｖ個の数値のうち、一部分の少数のデータのみに値が集中してしまう現象を利用して、色ヒストグラムのデータが潰れていないかを識別する）等を検出し、検出されなければ撮影画像を適切なものであると判断（Ｓ３ではい）し、その適切な画像と判断された撮影画像を画像・データメモリ４に正登録する。一方、色ヒストグラムのデータ潰れが検出された場合（Ｓ３でいいえ）は、該画像が撮影失敗画像である旨を示す通知が分析部１１に対して行なわれる。分析部１１の処理（Ｓ９）については、後述する。
【００３０】
▲２▼プロファイルの特徴ベクトル検査処理
プロファイルの特徴ベクトル検査については、撮影画像に付随するデータ、例えば、撮影時刻、天候、撮影角度、撮影位置等のデータのいずれに誤りがなければ（それらのデータを示すベクトルが正常と判断されたとき）、それらのデータを適切なプロファイルであると判断（Ｓ３ではい）し、それらのデータを画像・データメモリ４に正登録する。一方、上記データのいずれに誤りが検出された場合（それらデータの中のいずれを示すベクトルが正常でないと判断されたとき）は、そのデータを不適切なプロファイルとして判断（Ｓ３でいいえ）し、その旨を分析部１１に通知する。分析部１１での処理（Ｓ９）については、上記同様後述する。
【００３１】
抽出部８は、上記のようにして画像・データメモリ４に正登録された画像及びプロファイル（全登録データ）から学習に必要な学習サンプルをソートもしくは逐次選択する（Ｓ４）。図５は抽出部８で行なわれる学習サンプルの抽出の概念を示す図である。以下、同図を参照しながら抽出部８で行なわれる学習サンプルの抽出方法ついて説明する
抽出部８は、画像・データメモリ４に正登録されている画像特徴ベクトル、プロファイルベクトルの全て（もしくは一部でも良い）について検査を行ない、学習に必要なサンプルを抽出する。このとき、下記に示す学習サンプルの抽出（選択）基準にしたがって学習サンプルが抽出される。
【００３２】
（学習サンプルの選択基準）
画像特徴量ベクトルの任意の要素の分散が最大となる画像を選択する。
もしくは、設定した撮影条件の範囲内において、プロファイルベクトルの各要素の分散が最大となる画像を選択する。
【００３３】
例えば、撮影する対象に応じて撮影角度や撮影時刻等を設定して撮影し、
その設定した撮影条件下で撮影された画像に付随するプロファイルベクトルの各要素の分散が最大となる画像を学習サンプル画像として選択する。
【００３４】
例えば、撮影する対象に応じて、撮影角度を対象の正面方向から６０度以内と限定し、撮影時刻を照明条件の変化が大きい５時〜２０時までの間と設定した場合には、対象の正面方向から６０度以内で５時〜２０時までに撮影した画像の中から、撮影角度と時刻等のプロファイルベクトルの各要素の分散が最大となる画像を選択し、これを学習サンプル画像として用いる。
【００３５】
このように撮影する対象に応じてプロファイルベクトルを構成する要素の範囲、すなわち撮影角度や撮影時刻等の撮影条件を設定して、学習に有効な画像のみを効率よく選択することで、学習に有効な学習サンプルの抽出を実現できる。
【００３６】
上記学習サンプルの選択基準にしたがって抽出された学習サンプルは、推定部９へと送られる。また、抽出部８は後述する評価部１０から学習サンプルを増やす通知を受けた場合、固定サンプル数で抽出数を増やすか、可変サンプル数（初めは多くサンプルを抽出しその後少なくするようサンプル数を可変させる、もしくは評価部１０から通知される値に応じてサンプル数を可変させる）を調整する。
【００３７】
推定部９は、抽出部８から送られてきた学習サンプルの重み係数（α）を、判別面がサポートベクトルによって与えられる学習方法、いわゆるサポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ：  ＳＶＭ）における学習アルゴリズムの１つであるＳＭＯ（Ｓｅｑｕｅｎｔｉａｌ  Ｍｉｎｉｍａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ：  ＳＭＯ）を適用して計算（推定）する（Ｓ５）。なおＳＶＭ及びＳＭＯ自体は公知の技術であり、文献「ＳｅｑｕｅｎｔｉａｌＭｉｎｉｍａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ：  Ａ  Ｆａｓｔ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｔｒａｉｎｉｎｇ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ（Ｍｉｃｒｏｓｏｆｔ  Ｒｅｓｅａｒｃｈ  Ｔｅｃｈ．  Ｒｅｐｏｒｔ  ＭＳＲ−ＴＲ−９８−１４，  Ｍｉｃｒｏｓｏｆｔ  Ｒｅｓｅａｒｃｈ，  １９９８）」に詳しく説明されているので、ここでは、ＳＶＭとこのＳＶＭで用いられる高速演算手法であるＳＭＯの概要について述べる。
【００３８】
ＳＶＭは、文字認識や音声認識などのパターン認識で用いられ、サンプルのクラスを判別する空間を学習する手法をいい、図６に示すように、サポートベクタと呼ばれる最前線のサンプルに基づいて、クラスを分ける最適な判別面を求めるものである。ＳＶＭの判別面（判別面には“幾何学的な判別平面”や“高次元空間における超平面”などがある）は、それぞれの学習サンプルに重み係数を乗じたベクトルの和にバイアスを加える事によって構成されおり、判別面への寄与がその重み係数に概ね比例することから、この重み係数を観測することで、判別面の構成状況を推測することが可能と考えられている。ＳＭＯでは、判別面が学習の進行に伴って徐々に形成され、部分的な学習サンプルの重み係数の値が大きくなって判別面が構成されるという特徴を有している。
【００３９】
次に、推定部９で行なわれる学習サンプルの重み係数計算方法について説明する。
【００４０】
（学習サンプルの重み係数（α）の計算）
上述したように、推定部９では、ＳＭＯという学習方法が用いられる。このＳＭＯは、学習データの中から定められたサンプルを取り出し、そのサンプルデータについて解析的にサポートベクトルを求めるという手法であり、高速な学習を行なうことが可能となっている。図７は推定部９で行なわれる学習サンプルの重み係数の算出概念を示す図である。以下、同図を参照しながら推定部９で行なわれる学習サンプルの重み係数の算出方法ついて説明する。
【００４１】
この例では、推定部９は、抽出部８で抽出された学習サンプル数Ｎｂ個（ここでは、Ｎｂ個の画像特徴ベクトルと、プロファイルベクトルのうち、画像に写っている対象が何であるかを示す“答え”のベクトル（この“答え”はＮｂ個のスカラ値により構成される）をいう）のうち、全てのクラスに属する（すなわち、Ｎｂ個全部）学習サンプルを取り出し、それらに対する重み係数をＳＭＯアルゴリズムに基づいて計算するか、もしくはＮｂ個学習サンプルのうち、一部のクラスに属する学習サンプルを取り出し、それらに対してＳＭＯアルゴリズムに基づく重み係数を計算する。
【００４２】
評価部１０は、推定部９において計算された学習サンプルの重み係数（α）の評価を行なう（Ｓ６）。図８は評価部１０で行なわれる学習サンプルの重み係数（α）の評価の概念を示す図である。以下、同図を参照しながら評価部１０で行なわれる学習サンプルの重み係数（α）の評価方法ついて説明する。
【００４３】
学習サンプルの重み係数（α）の評価には、以下に示すような“判定ベクトル”を作成し、判定ベクトルによる学習サンプルの重み係数（α）評価が行なわれる。
【００４４】
（判定ベクトルの作成方法）
▲１▼全てのクラス（Ｌ）を判別するＬ（または（Ｌ２−Ｌ）／２、またはＬ２）本の学習サンプルの重み係数（α）のベクトルの平均ベクトルを判定ベクトルとして作成する。
【００４５】
▲２▼全てのクラス（Ｌ）を判別するＬ（または（Ｌ２−Ｌ）／２、またはＬ２）本の学習サンプルの重み係数（α）のベクトルの全てを判定ベクトルとして作成する（複数のベクトルを用いる）。
【００４６】
評価部１０は、次に、上記のようにして作成された判定ベクトルの値の収束具合を評価する。具体的には、図８の（ａ）に示すように、複数のαベクトル値の収束具合を評価するか、もしくは図８の（ｂ）に示すように、αベクトルのベクトル和（合計ベクトル）を求め、その合計ベクトル値の収束具合を評価する。この収束具合の評価は、判定用ベクトルの要素値の大きさ、あるいは変化率を元に行なわれる。例えば、判定用ベクトルの要素値の大きさがあらかじめ定められた閾値より小さくなれば収束と判断する。また、上記判定用ベクトルの要素値の変化率が変わったところ、もしくは変化率が所定値より小さくなったときを収束と判断する。
【００４７】
評価部１０は上記のようにして判定用ベクトルの収束具合を評価し、収束したと判断（学習が完了）されたときに（Ｓ７ではい）、学習の完了報告を、通知処理部１２を介して表示部３に送り表示される（ユーザに通知される、Ｓ８）。一方、判定用ベクトルが収束していない（学習がまだ完了していない）と判断された場合（Ｓ７でいいえ）は、学習サンプルを増やす通知を抽出部８に送る。抽出部８では、前述のサンプル数制御が行なわれ、学習サンプル数が増やされる。これ以降は、（Ｓ５）〜（Ｓ７）の処理が判定用ベクトルの収束まで行なわれる。
【００４８】
次に、分析部１１での処理（図２のＳ９）について説明する。分析部１１は、取得した画像が適切でないと検出部７から通知を受けると、画像・データメモリ４に格納されている学習データの画像特徴ベクトルが属するクラスごとの分散を求め、分散が小さいクラスを学習画像が必要なクラスであると判断し、その学習画像を撮影させるための通知を、通知処理部１２を介して表示部３に送り表示させる（ユーザに通知、図２のＳ１０）。また、画像・データメモリ４に学習データとして格納されているプロファイルベクトルが属するクラスごとに、Ｍ個の項目についてそれぞれ分散を求め、分散が小さい項目については、分散の値を大きくするための具体的な撮影方法の指示となる通知を、通知処理部１２を介して表示部３に送り表示させる（ユーザに通知、図２のＳ１０）。なお、ユーザに具体的な撮影方法の指示を与えるためには、例えば、Ｍ個の項目それぞれにテンプレート（天候の項目のテンプレートには晴・曇・雨が示され、時刻の項目のテンプレートには朝・昼・夕・夜が示され、撮影角度の項目のテンプレートには右、正面、左などが示される）をあらかじめ用意しておき、画像・データメモリ４に格納されている学習データがテンプレートの条件で撮影しているかを調べ、撮影条件に不足がある場合には、テンプレートから不足しているデータをユーザに通知すればよい。
【００４９】
上述したように、本実施形態によれば、学習に必要な不足画像を既登録（初期登録）の画像から推定してユーザに通知するので、ユーザにかかる不足画像の撮影負担を軽減することができる。
【００５０】
また、学習の収束具合を元に学習に必要な画像のみをユーザにフィードバックさせて取得させるので、学習用画像の撮影にかかる手間をより確実に軽減することが可能である。
【００５１】
上記実施形態では、初期登録として登録されている画像を分析部１１において分析し、画像・データメモリ４において仮登録済みの画像から学習に必要な画像を推定してユーザに通知するという形態であったが、本発明はこのような実施の形態に限定されるものではない。例えば、ユーザにて撮影が失敗した場合、その失敗した撮影条件と同じ撮影方法で再度、撮影させ、登録するという形態であってもよい。
【００５２】
上記例において、画像・データメモリ４のデータ登録機能が初期登録手段、不足画像追加登録手段に対応し、推定部９の機能が学習手段、学習サンプル重み係数算出手段に、評価部１０の機能が学習収束状況判断手段、第一の学習収束判断手段、第二の学習収束判断手段に対応する。また、同部１０の学習サンプル数調節機能が学習サンプル数制御手段に対応する。さらに、抽出部８の機能が学習サンプル抽出手段、学習未完了分析指示手段に対応し、分析部１１の分析機能が不足画像取得手段、不足画像分析手段に対応する。
【００５３】
【発明の効果】
以上、説明したように、本願発明によれば、学習に必要な不足画像を既登録（初期登録）の画像から推定してユーザに通知するので、ユーザにかかる不足画像の撮影負担を軽減することができる。
【００５４】
また、学習の収束具合を元に学習に必要な画像のみをユーザにフィードバックさせて取得させるので、学習用画像の撮影にかかる手間をより確実に軽減することが可能である。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る画像学習装置が適用される移動通信端末の構成を示すブロック図である。
【図２】図１に示す画像学習装置における画像登録・学習の処理手順を示すフローチャートである。
【図３】変換部における画像、プロファイルのベクトル化を説明するための図である。
【図４】検出部における画像特徴ベクトルとプロファイルベクトルの検査方法を説明するため図である。
【図５】抽出部における学習サンプルの抽出の方法を説明するための図である。
【図６】ＳＶＭの概念を示す図である。
【図７】推定部における学習サンプルの重み係数の計算を説明するための図である。
【図８】評価部における学習サンプルの重み評価を説明するための図である。
【符号の説明】
１    カメラ
２    入力部
３    表示部
４    画像・データメモリ
５    表示制御部
６    変換部
７    検出部
８    抽出部
９    推定部
１０  評価部
１１  分析部
１２  通知処理部
【図１】
2004213567.tif 000003
【図２】
2004213567.tif 000004
【図３】
2004213567.tif 000005
【図４】
2004213567.tif 000006
【図５】
2004213567.tif 000007
【図６】
2004213567.tif 000008
【図７】
2004213567.tif 000009
【図８】
2004213567.tif 000010