(57)【要約】【課題】物体認識の認識速度を向上させることができる物体認識装置および物体認識方法を提供することを目的とする。【解決手段】物体認識装置は、認識対象物体を含む画像を撮像する撮像装置と、予め画像データを蓄積する画像モデルと、撮像装置にて撮像された画像と画像モデルを用いて、撮像された物体の認証を行う画像認識部と、を備え、画像認識部は、認証できなかった物体がある場合に、ネットワーク経由で認識できなかった物体の画像を検索して取得し、取得した画像から画像データを生成して、生成した画像データに基づいて物体の物体名を認識する。【選択図】図１
2018169746.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物体を含む画像を撮像する撮像装置と、
予め画像データを蓄積する画像モデルと、
前記撮像装置にて撮像された前記画像と前記画像モデルを用いて、撮像された物体の認証を行う画像認識部と、を備え、
前記画像認識部は、
認証できなかった物体がある場合に、ネットワーク経由で認識できなかった物体の画像を検索して取得し、取得した前記画像から前記画像データを生成して、生成した該画像データに基づいて該物体の物体名を認識する、物体認識装置。
【請求項２】
前記画像認識部は、
認識対象の物体を前記ネットワーク経由から取得した画像を用いて認識した場合に、前記画像の取得時に該画像に対応する物体名を取得し、取得した該物体名および取得した該画像に基づく画像データを前記画像モデルに蓄積する、請求項１に記載の物体認識装置。
【請求項３】
前記画像認識部は、ニューラルネットワークを用いて前記画像の認証を行う、請求項１または請求項２に記載の物体認識装置。
【請求項４】
前記ニューラルネットワークは、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）またはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）である、請求項３に記載の物体認識装置。
【請求項５】
前記画像認識部は、前記ネットワークから前記物体の認証に用いる前記画像を取得できなかった場合に、対話によってその物体名を学習する、請求項１から請求項４のいずれか１項に記載の物体認識装置。
【請求項６】
予め画像データを蓄積する画像モデルを有する物体認識装置の物体認識方法であって、
撮像装置が、認識対象物体を含む画像を撮像する撮像ステップと、
画像認識部が、前記撮像ステップによって撮像された前記画像と前記画像モデルを用いて、撮像された物体の認証を行う第１の画像認識ステップと、
前記画像認識部が、認証できなかった物体がある場合に、ネットワーク経由で認識できなかった物体の画像を検索して取得し、取得した前記画像から前記画像データを生成して、生成した該画像データに基づいて該物体の物体名を認識する第２の画像認識ステップと、
を含む物体認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体認識装置および物体認識方法に関する。
【背景技術】
【０００２】
ロボットが生活環境下で作業を行う際、ユーザに指示された物体を握持する物体握持タスクを達成することは最低限必要である。このような作業において、例えば、ユーザは音声で指示を行い、ロボットがユーザの音声を音声認識結果に基づいて物体認識を行う。また、ロボットが、撮像装置によってロボットの周囲の物体の画像情報を取得することも可能である。
【０００３】
このような物体を認識するシステムとして、音声情報と画像情報を統合した手法が提案されている（非特許文献１）。しかし、非特許文献１に記載の技術では、物体認識を行う際、音声モデルと画像モデルの両方が必要である。物体認識システムが、音声モデルを保持することは容易であるが、大量の画像モデルを保持するのはファイル容量が大きいため現実的ではない。
【０００４】
このため、物体を認識するシステムとして、音声尤度と画像尤度とに基づいて、対象となる物体を認識する技術が開示されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１７０２９５号公報
【非特許文献】
【０００６】
【非特許文献１】Y.Ozasa et al.、“Disambiguation in Unknown Object Detection by Integrating Image and Speech Recognition Confidences”、ACCV、2012
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術では、音声尤度に基づいて画像モデルから対象画像を読み出し、さらに、画像モデルに対象となる画像がない場合にウェブから画像を読み出して画像尤度に基づいて物体認識している。しかしながら、特許文献１に記載の技術では、ウェブから画像を検索するときに時間がかかってしまう可能性があり、物体認識速度の低下が懸念される。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであって、物体認識の認識速度を向上させることができる物体認識装置および物体認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
（１）上記目的を達成するため、本発明の一態様に係る物体認識装置１は、認識対象物体を含む画像を撮像する撮像装置３と、予め画像データを蓄積する画像モデル（画像モデルＤＢ１０７）と、前記撮像装置にて撮像された前記画像と前記画像モデルを用いて、撮像された物体の認証を行う画像認識部１１０と、を備え、前記画像認識部は、認証できなかった物体がある場合に、ネットワーク経由で認識できなかった物体の画像を検索して取得し、取得した前記画像から前記画像データを生成して、生成した該画像データに基づいて該物体の物体名を認識する。
【００１０】
（２）また、本発明の一態様に係る物体認識装置１において、前記画像認識部は、認識対象の物体を前記ネットワーク経由から取得した画像を用いて認識した場合に、前記画像の取得時に該画像に対応する物体名を取得し、取得した該物体名および取得した該画像に基づく画像データを前記画像モデルに蓄積するようにしてもよい。
【００１１】
（３）また、本発明の一態様に係る物体認識装置１において、前記画像認識部は、ニューラルネットワークを用いて前記画像の認証を行うようにしてもよい。
（４）また、本発明の一態様に係る物体認識装置１において、前記ニューラルネットワークは、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）またはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）であるようにしてもよい。
【００１２】
（５）また、本発明の一態様に係る物体認識装置１において、前記画像認識部は、前記ネットワークから前記物体の認証に用いる前記画像を取得できなかった場合に、対話によってその物体名を学習するようにしてもよい。
【００１３】
（６）上記目的を達成するため、本発明の一態様に係る物体認識方法は、予め画像データを蓄積する画像モデルを有する物体認識装置の物体認識方法であって、撮像装置が、認識対象物体を含む画像を撮像する撮像ステップと、画像認識部が、前記撮像ステップによって撮像された前記画像と前記画像モデルを用いて、撮像された物体の認証を行う第１の画像認識ステップと、前記画像認識部が、認証できなかった物体がある場合に、ネットワーク経由で認識できなかった物体の画像を検索して取得し、取得した前記画像から前記画像データを生成して、生成した該画像データに基づいて該物体の物体名を認識する第２の画像認識ステップと、を含む。
【発明の効果】
【００１４】
（１）、（６）によれば、画像モデルＤＢ１０７が画像モデルを格納していない物体であったとしてもインターネット上の情報を用いて認識することができる。
また、（２）によれば、画像モデルＤＢ１０７が画像モデルを格納していない物体が認証された場合、その情報を画像モデルＤＢ１０７（ローカル）に保存できるので、次回以降、物体認識速度を向上させることができる。
また、（３）によれば、ニューラルネットワークを用いることで、画像認識精度を向上させることができる。
また、（４）によれば、深層学習、ＤＮＮ等を用いることで、画像認識精度を向上させることができる。
また、（５）によれば、ネットワーク上の情報を用いても画像モデルＤＢ１０７が画像モデルを格納していない物体を認識できなかった場合でも、人との対話によって学習することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る物体認識装置の構成例を示すブロック図である。
【図２】ディープランニングの概略を説明するための図である。
【図３】本実施形態に係るＮＮ認証部が行う認証例を示す図である。
【図４】本実施形態に係る物体認識装置が行う撮像された画像の認証処理手順例を示すフローチャートである。
【図５】本実施形態に係る物体認識装置の物体認識の処理手順例を示すフローチャートである。
【図６】本実施形態に係る画像を画像サーバーから取得して画像モデルを生成する処理手順例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、本実施形態に係る物体認識装置１の構成例を示すブロック図である。図１に示すように、物体認識装置１は、音声信号取得部１０１、音響モデル・辞書ＤＢ１０２、音声認識部１０３、画像取得部１０６、画像モデルＤＢ１０７、画像モデル生成部１０８、記憶部１０９、画像認識部１１０、通信部１１３、および物体認識部１１４を備える。また、音声認識部１０３は、音声尤度算出部１０４を備える。画像認識部１１０は、ＮＮ認証部１１１と画像尤度算出部１１２を備える。
物体認識装置１には、収音装置２および撮像装置３が接続されている。また、物体認識装置１は、ネットワークを介してサーバー４が接続されている。
【００１７】
収音装置２は、例えばマイクロフォンであり、利用者が発話した音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を物体認識装置１に出力する。なお、収音装置２は、アナログ信号の音声信号を物体認識装置１に出力するようにしてもよい。なお、収音装置２は、音声信号を、有線のコードやケーブルを介して、物体認識装置１に出力するようにしてもよく、無線で物体認識装置１に送信するようにしてもよい。
なお、収音装置２は、マイクロフォンアレイであってもよい。この場合、収音装置２は、それぞれ異なる位置に配置されたＰ個のマイクロフォンを有する。そして、収音装置２は、収音した音からＰチャネル（Ｐは、２以上の整数）の音響信号を生成し、生成したＰチャネルの音響信号を物体認識装置１に出力する。
【００１８】
撮像装置３は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）画像センサーカメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサーカメラ等である。撮像装置３は、画像を撮像し、撮像した画像を物体認識装置１に出力する。なお、撮像装置３は、画像を、有線のコードやケーブルを介して、物体認識装置１に出力するようにしてもよく、無線で物体認識装置１に送信するようにしてもよい。
【００１９】
サーバー４には、画像と音声情報とが対応付けられて格納されている。なお、画像の解像度は、同一であっても行っていてもよい。なお、サーバー４は、インターネット上の任意のサイトであってもよい。
【００２０】
物体認識装置１は、取得した音声信号と画像信号を用いて物体を認識する。物体認識装置１は、例えば、人型ロボット、受け付け装置、産業用ロボット、スマートフォン、タブレット端末等に組み込まれている。
なお、収音装置２がマイクロフォンアレイの場合、物体認識装置１は、音源定位部、音源分離部、および音源同定部をさらに備える。この場合、物体認識装置１は、音声信号取得部１０１が取得した音声信号に対して予め生成した伝達関数を用いて音源定位部が音源定位を行う。そして、物体認識装置１は、音源定位部が定位して結果を用いて、話者同定を行う。物体認識装置１は、音源定位部が定位して結果を用いて、音声信号取得部１０１が取得した音声信号に対して音源分離を行う。そして、物体認識装置１の音声認識部１０３は、分離された音声信号に対して発話区間の検出と音声認識を行う（例えば特開２０１７−９６５７号公報参照）。また、物体認識装置１は、残響音抑圧処理を行うようにしてもよい。
【００２１】
音声信号取得部１０１は、収音装置２が出力する音声信号を取得し、取得した音声信号を音声認識部１０３に出力する。なお、取得した音声信号がアナログ信号の場合、音声信号取得部１０１は、アナログ信号をデジタル信号に変換し、デジタル信号に変換した音声信号を音声認識部１０３に出力する。
【００２２】
音響モデル・辞書ＤＢ（データベース）１０２には、例えば音響モデル、言語モデル、単語辞書等が格納されている。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語（語彙）とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。
【００２３】
音声認識部１０３は、音声信号取得部１０１が出力する音声信号を取得し、取得した音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部１０３は、発話区間の検出を周知の他の手法を用いて行ってもよい。音声認識部１０３は、発話句間毎の音声信号から音響特徴量である、例えばＭＳＬＳ（Ｍｅｌ  Ｓｃａｌｅ  Ｌｏｇａｒｉｔｈｍｉｃ  Ｓｐｅｃｔｒｕｍ；メルスケール対数スペクトル）を抽出する。なお、ＭＳＬＳは、音響認識の特徴量としてスペクトル特徴量を用い、ＭＦＣＣ（メル周波数ケプストラム係数；Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）を逆離散コサイン変換することによって得られる。なお、本実施形態において、発話は、例えば、「りんご」、「オートバイ」、「フォーク」等、物の名称の単語（語彙）である。
【００２４】
音声尤度算出部１０４は、抽出された音響特徴量に対して、音響モデル・辞書ＤＢ１０２を参照して、例えばＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ；隠れマルコフモデル）を用いて、音声尤度Ｌｓ（ｓ；Λｉ）を算出する。なお、音声尤度Ｌｓ（ｓ；Λｉ）は、事後確率ｐ（Λｉ｜ｓ）の算出によって求める。ここで、ｓは音響特徴量、Λｉは音響モデル・辞書ＤＢ１０２が記憶するｉ番目の物体の音声モデルである。また、音声尤度Ｌｓは、０〜１の値であり、１に近いほど競合候補に対して尤度の差が大きかったことを表し信頼度が高いことを表す。また、音声尤度Ｌｓが０に近いほど信頼度が低いことを表す。
【００２５】
音声認識部１０３は、音声尤度算出部１０４が算出した尤度の高い方から所定の順位までの音声認識結果の候補に定める。所定の順位は、一例として１０位である。音声認識部１０３は、音声尤度算出部１０４が算出した音声尤度Ｌｓを物体認識部１１４に出力する。
【００２６】
参考文献；www.ieice-hbkb.org/files/02/02gun_07hen_02.pdf（web検索 2017.3.19）、篠田浩一、伊藤影則、李晃伸、“２群（画像・音・言語）−７編（音声認識と合成）  ２章  音声認識”ver.1、電子情報通信学会「知識ベース」、電子情報通信学会、２０１０、ｐ２〜ｐ１２
【００２７】
画像取得部１０６は、撮像装置３が出力する画像を取得し、取得した画像を画像認識部１１０に出力する。
【００２８】
画像モデルＤＢ１０７には、画像モデルが格納されている。画像モデルとは、画像の特徴量に基づくモデルである。なお、画像モデルＤＢ１０７は、画像を格納していてもよい。この場合、画像の解像度が同一であることが好ましい。解像度が異なる場合、画像モデル生成部１０８が、解像度を正規化して画像モデルを生成する。
【００２９】
画像モデル生成部１０８は、画像の認証の際に、画像認識部１１０からの指示に応じて、画像モデルＤＢ１０７が格納する画像モデルを探索する。また、画像モデル生成部１０８は、探索した結果、画像モデルＤＢ１０７に認証に必要な画像モデルが格納されていない場合、画像認識部１１０からの指示に応じて、記憶部１０９が記憶するＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）アドレスを用いて通信部１１３を介してサーバー４またはネットワーク（インターネット）上から画像と音声情報を取得する。なお、通信部１１３がアクセスするＵＲＬアドレスは、画像モデル生成部１０８または通信部１１３が記憶していてもよい。具体的には、画像モデルＤＢ１０７に「ビー玉」の画像モデルが格納されていない場合、画像モデル生成部１０８は、「ビー玉」の画像を少なくとも１つ取得する。なお、画像モデル生成部１０８は、取得した画像の解像度を取得し、取得した解像度が所定の値と異なる場合、正規化するようにしてもよい。画像モデル生成部１０８は、取得した画像の特徴量を抽出し、抽出した特徴量を用いて画像モデルを生成する。なお、サーバー４またはネットワーク（インターネット）上から取得した画像を用いて画像モデルを生成する方法については、図６を用いて後述する。
画像モデル生成部１０８は、画像モデルＤＢ１０７から取得した画像モデル、または生成した画像モデルを画像認識部１１０に音声尤度の高い順に出力する。
【００３０】
記憶部１０９は、サーバー４のＵＲＬアドレスを記憶する。
【００３１】
画像認識部１１０は、撮像装置３が出力した画像の画像特徴量を算出する。なお、画像特徴量は、例えば、対象物体全体に対するウォーブレット（ｗａｖｅｌｅｔ）、対象物の局所情報に対するＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量やＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）特徴量等、局所情報のつながりであるＪｏｉｎｔ  ＨＯＧ等のいずれか１つであってもよい。また、画像認識部１１０は、撮像装置３が出力した画像に対して左右反転させた画像に対しても画像特徴量を算出するようにしてもよい。
【００３２】
ＮＮ認証部１１１は、算出された特徴量を用いて、画像モデルＤＢ１０７が格納する画像モデルに対して、例えばＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ディープニューラルネットワーク）を用いて画像認証を行う。なお、ＮＮ認証部１１１は、他のニューラルネットワーク、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；畳み込みニューラルネットワーク）等を用いてもよい。ＮＮ認証部１１１は、認証の際に、例えばＤＮＮによって、最初に画像モデルＤＢ１０７が格納する画像モデルを用いて認証する。ＮＮ認証部１１１は、画像モデルＤＢ１０７が格納する画像モデルを用いて認証出来ない場合、取得指示を画像モデル生成部１０８に出力する。なお、取得指示には、音声認識部１０３が認識した認識結果の候補である物体名が含まれる。これにより、ＮＮ認証部１１１は、画像モデル生成部１０８と通信部１１３を介して、サーバー４またはネットワークから画像を取得する。ＮＮ認証部１１１は、取得された画像から画像モデル生成部１０８が生成した画像モデルを用いて認証する。ＮＮ認証部１１１は、認証した結果を示す情報を物体認識部１１４に出力する。なお、ＤＮＮについては、後述する。
【００３３】
画像尤度算出部１１２は、算出された画像特徴量と、画像モデル生成部１０８が出力した画像モデルとを、例えばＨＭＭを用いて、候補毎に画像尤度Ｌｖ（ｖ；ｏｉ）を算出する。または、画像尤度算出部１１２は、算出された画像特徴量と、画像モデルＤＢ１０７からＤＮＮによって認証された画像モデルとを、例えばＨＭＭを用いて、候補毎に画像尤度Ｌｖ（ｖ；ｏｉ）を算出する。なお、画像尤度Ｌｖ（ｖ；ｏｉ）は、事後確率ｐ（ｏｉ｜ｖ）の算出によって求める。ここで、ｖは画像特徴量、ｏｉは画像モデル生成部１０８が出力するｉ番目の物体の画像モデルである。また、画像尤度Ｌｖは、０〜１の値であり、１に近いほど競合候補に対して尤度の差が大きかったことを表し信頼度が高いことを表す。また、画像尤度Ｌｖが０に近いほど信頼度が低いことを表す。
【００３４】
画像認識部１１０は、画像尤度算出部１１２が算出した尤度の高い方から所定の順位までの画像認識結果の候補に定める。所定の順位は、一例として１０位である。画像認識部１１０は、画像尤度算出部１１２が算出した音声尤度Ｌｖを物体認識部１１４に出力する。
また、画像認識部１１０は、サーバー４またはネットワーク（インターネット）上から取得した画像を用いて、撮像された画像の物体を認証できたとき、画像モデル生成部１０８と通信部１１３を介してサーバー４またはネットワーク（インターネット）上から取得した物体名を用いて、認識対象の物体名を認識する。画像認識部１１０は、認識した物体名を示す情報を物体認識部１１４に出力する。
【００３５】
通信部１１３は、画像モデル生成部１０８の制御に応じて、サーバー４またはネットワーク（インターネット）にアクセスし、画像を取得する。
【００３６】
物体認識部１１４は、画像認識部１１０が出力する物体名を示す情報に基づいて、物体を認識する。
または、物体認識部１１４は、音声認識部１０３が出力する音声尤度Ｌｓと、画像認識部１１０が出力する画像尤度Ｌｖとを用いて、次式（１）のロジスティック関数によって統合して物体尤度ＦＬを候補毎に求める。
【００３７】
【数１】
2018169746.tif 000003
【００３８】
式（１）において、ｖは入力された画像、ｏｉはｉ番目の画像モデル、α０、α１、α２はロジスティック関数のパラメータである。
物体認識部１１４は、次式（２）を用いて算出した物体尤度ＦＬが最大となる候補ｉ＾を推定する。
【００３９】
【数２】
2018169746.tif 000004
【００４０】
なお、式（２）において、ａｒｇ  ｍａｘ  ＦＬ（…）は、…を最大とするＦＬを与える関数である。
なお、上述した例では、ロジスティック関数を用いて、音声尤度Ｌｓと画像尤度Ｌｖとを統合する例を説明したが、これに限られない。他の関数を用いて統合するようにしてもよい。
【００４１】
ここで、ＳＩＦＴ特徴量の概要について説明する。
ＳＩＦＴの処理は、大きく分けて特徴点の検出と特徴量の記述の２段階である。特徴点の検出では、スケールの異なる平滑化画像の差分から画像特徴と思われる点（キーポイント）を決定する。そして、各キーポイントの周りで周辺の画像の勾配情報を用いることで情報を記述する。次に、各スケール間で差分を取ることで、画像の変化（物体と背景の境界など）が、どこに現れているかを算出する。この変化が極大となる点が、ＳＩＦＴの特徴点（キーポイント）候補となる。この点を探索するために，差分画像を並べ、極値探索を行う。ＳＩＦＴ特徴は、このキーポイントの周りでの画像勾配を記述することで得られる。
【００４２】
次に、ディープランニング（深層学習）の概略を説明する。
図２は、ディープランニングの概略を説明するための図である。
ディープランニングは、多層構造のニューラルネットワーク（ＤＮＮ）を用いた学習である。図２に示す例は、３つの隠れ層（中間層）を有する例である。このように、多層構造を用いることで、単純な非線形ネットワークを多段に積み重ねることによって、複雑な非線形処理が実現できる。ＮＮ認証部１１１は、ＤＮＮを用いて撮像された画像の認証を行う。このような学習は、画像から抽出した特徴量を用いて行う。
【００４３】
次に、ＮＮ認証部１１１が行う認証例を説明する。
図３は、本実施形態に係るＮＮ認証部１１１が行う認証例を示す図である。図３に示す例では、４つの画像（第１の画像〜第４の画像）を順次撮像した例である。
ＮＮ認証部１１１は、撮像された第１の画像に対して認証を行う。具体的には、ＤＮＮによって、第１の画像の特徴量と画像データＤＢ１０７の画像モデルを用いて認証する。第１の画像の認証結果は、認証ＯＫであった（＝認証できた）。
【００４４】
次に、ＮＮ認証部１１１は、撮像された第２の画像に対して、画像データＤＢ１０７の画像モデルを用いて認証を行う。第２の画像の認証結果は、認証ＯＫであった。
次に、ＮＮ認証部１１１は、撮像された第３の画像に対して、画像データＤＢ１０７の画像モデルを用いて認証を行う。第３の画像の認証結果は、認証ＯＫであった。
次に、ＮＮ認証部１１１は、撮像された第４の画像に対して、画像データＤＢ１０７の画像モデルを用いて認証を行う。第４の画像の認証結果は、認証ＮＧであった（＝認証できなかった）。
【００４５】
ＮＮ認証部１１１は、認証ＮＧであったため、サーバー４またはネットワークから画像情報（画像または画像の特徴量、または画像モデル）を取得する。ＮＮ認証部１１１は、取得した画像情報に対応する音声情報（物体名のテキスト情報）を、さらに取得する指示を画像モデル生成部１０８に出力する。
【００４６】
次に、物体認識装置１が行う撮像された画像の認証処理手順例を説明する。
図４は、本実施形態に係る物体認識装置１が行う撮像された画像の認証処理手順例を示すフローチャートである。なお、図４に示す例は、ＮＮ認証部１１１が、ＤＮＮを用いて物体を認識する例である。
【００４７】
（ステップＳ１）撮像装置３は、対象物体を含む画像を撮像し、撮像した画像を物体認識装置１へ出力する。続けて、物体認識装置１は、撮像装置３が出力する画像を取得する。
【００４８】
（ステップＳ２）ＮＮ認証部１１１は、ＤＮＮによって、画像の特徴量、画像モデルＤＢ１０７が格納する画像モデルを用いて、撮像された画像に対応する物体の画像認証を行う。
【００４９】
（ステップＳ３）ＮＮ認証部１１１は、画像モデルＤＢ１０７が格納する画像モデルを用いて、ＤＮＮにより認証できない画像であるか否かを判別する。ＮＮ認証部１１１は、ＤＮＮにより認証できる画像であると判別した場合（ステップＳ３；ＮＯ）、処理を終了する。ＮＮ認証部１１１は、ＤＮＮにより認証できない画像であると判別した場合（ステップＳ３；ＹＥＳ）、ステップＳ４の処理に進める。
【００５０】
（ステップＳ４）ＮＮ認証部１１１は、画像モデル生成部１０８と通信部１１３を介してサーバー４またはネットワークから画像を取得し、取得した画像から画像モデル生成部１０８が生成した画像モデルを用いて、撮像された画像を認証する。なお、ＮＮ認証部１１１が認証する画像は複数であってもよい。
【００５１】
（ステップＳ５）ＮＮ認証部１１１は、認証できた画像に対応する音声情報（物体名）を、画像モデル生成部１０８と通信部１１３を介してサーバー４またはネットワークから取得する。なお、ＮＮ認証部１１１は、認証した画像が複数の場合、それぞれに対応する音声情報を取得する。
【００５２】
（ステップＳ６）ＮＮ認証部１１１は、取得した音声情報を、画像モデル生成部１０８、音声認識部１０３を介して音響モデル・辞書ＤＢ１０２に記憶させる。
以上で、画像の認証処理を終了する。
【００５３】
なお、図４に示した処理によっても物体認識装置１が対象の物体を認識できなかった場合、利用者は、物体認識装置１との対話により、物体名を撮像された画像と取得された音声信号に関連付けて学習させる。
【００５４】
次に、物体認識装置１が行う処理手順例を説明する。
図５は、本実施形態に係る物体認識装置１の物体認証の処理手順例を示すフローチャートである。なお、図５に示した処理は、ＮＮ認証部１１１が、画像モデルＤＢ１０７が格納する画像を用いて撮像された画像を認証できなかった場合に行われる。
【００５５】
（ステップＳ１１）物体認識部１１４は、サーバー４またはネットワークから取得した画像を用いて、撮像された画像の認証ができたか否かを判別する。物体認識部１１４は、サーバー４またはネットワークから取得した画像を用いて認証ができたと判別した場合（ステップＳ１１；ＹＥＳ）、ステップＳ１２の処理に進める。物体認識部１１４は、画像モデルＤＢ１０７から取得した画像を用いて認証ができなかったと判別した場合（ステップＳ１１；ＮＯ）、ステップＳ１３の処理に進める。
【００５６】
（ステップＳ１２）物体認識部１１４は、画像認識部１１０が出力する物体名を示す情報に基づいて、物体を認識する。物体認識部１１４は、処理を終了する。
【００５７】
（ステップＳ１３）音声認識部１０３は、音声信号取得部１０１が収音装置２から取得した音声信号から音響特徴量を抽出する。続けて、音声認識部１０３は、抽出した音響特徴量に対して、音響モデル・辞書ＤＢ１０２を参照して、例えばＨＭＭを用いて、音声尤度Ｌｓ（ｓ；Λｉ）を算出する。
【００５８】
（ステップＳ１４）音声認識部１０３は、音声尤度算出部１０４が算出した尤度の高い方から所定の順位までの音声認識結果の候補に定める。
【００５９】
（ステップＳ１５）画像尤度算出部１１２は、撮像された画像の画像特徴量と、ＮＮ認証部１１１が認証した画像モデルとを、例えばＨＭＭを用いて、画像尤度Ｌｖ（ｖ；ｏｉ）を算出する。なお、画像尤度算出部１１２は、ＮＮ認証部１１１が複数の画像を認証した場合、認証した画像それぞれの画像尤度Ｌｖ（ｖ；ｏｉ）を算出する。
【００６０】
（ステップＳ１６）物体認証部１１３は、音声認識部１０３が出力する音声尤度Ｌｓと、画像認識部１１０が出力する画像尤度Ｌｖとを用いて、上述した式（１）のロジスティック関数によって統合して物体尤度ＦＬを候補毎に求める。
【００６１】
（ステップＳ１７）物体認証部１１３は、上述した式（２）を用いて算出した物体尤度ＦＬが最大となる候補を求めることで、物体を認識する。
以上で、物体認識装置１の物体認証の処理を終了する。
【００６２】
なお、図５に示した例では、サーバー４またはネットワークから取得した画像に基づいて、撮像された画像の認証ができた場合、サーバー４またはネットワークから取得した音声情報を用いて、物体の認識を行う例を説明したが、これに限られない。このような場合であっても、物体認識装置１は、ステップＳ１３〜ステップＳ１７の処理を行うようにしてもよい。この場合、ステップＳ１５において、画像尤度算出部１１２は、撮像された画像の画像特徴量と、サーバー４またはネットワークから取得した画像から生成された画像モデルとを、例えばＨＭＭを用いて、画像尤度Ｌｖ（ｖ；ｏｉ）を算出する。
【００６３】
次に、画像をサーバー４から取得して画像モデルを生成する処理手順例を説明する。
図６は、本実施形態に係る画像をサーバー４から取得して画像モデルを生成する処理手順例を示すフローチャートである。
【００６４】
（ステップＳ１０１）画像モデル生成部１０８は、サーバー４から認識結果候補に対応する物体の画像を取得（収集）する。
（ステップＳ１０２）画像モデル生成部１０８は、候補ぞれぞれの画像毎に、例えばＳＩＦＴ特徴量を抽出する。
【００６５】
（ステップＳ１０３）画像モデル生成部１０８は、ＳＩＦＴ特徴量に基づいて物体ごとにＶｉｓｕａｌ  Ｗｏｒｄｓを求める。ここで、Ｖｉｓｕａｌ  Ｗｏｒｄｓについて説明知る。例えば、Ｂａｇ  ｏｆ  Ｆｅａｔｕｒｅｓ（ＢｏＦ）では、物体の画像からＳＩＦＴ特徴量やＳＵＲＦ特徴量を抽出し，それらをｋ−ｍｅａｎｓ手法によってＷ個のクラスタに分類する。それぞれのクラスタのセントロイド（重心）となるベクトルのことをＶｉｓｕａｌ  Ｗｏｒｄと呼び、その数は経験的に決定される。具体的には、画像モデル生成部１０８は、全画像のＳＩＦＴ特徴量のｋ−ｍｅａｎｓクラスタリング（Ｋ平均法）を実行し、各クラスタの中心をＶｉｓｕａｌ  Ｗｏｒｄｓとする。なお、Ｖｉｓｕａｌ  Ｗｏｒｄｓは、代表的な局所パターンに相当する。
【００６６】
（ステップＳ１０４）画像モデル生成部１０８は、候補の各画像を、Ｖｉｓｕａｌ  Ｗｏｒｄｓを用いてベクトル量子化し、各画像のＢａｇ−ｏｆ−ｆｅａｔｕｒｅｓ（ＢｏＦ）表現を求める。なお、ＢｏＦ表現は、Ｖｉｓｕａｌ  Ｗｏｒｄｓの出現頻度（ヒストグラム）によって画像を表現したものである。
【００６７】
（ステップＳ１０５）画像モデル生成部１０８は、認識候補の物体毎にＢｏＦのｋ−ｍｅａｎｓクラスタリングを行い、クラスタ毎に画像モデルを生成する。
【００６８】
なお、上述した例では、画像モデル生成部１０８は、画像モデルＤＢ１０７に音声認識された結果の候補の画像が格納されていない場合にサーバー４から画像を取得して画像モデルを生成する例を説明したが、これに限られない。画像モデル生成部１０８は、画像モデルＤＢ１０７に音声認識された結果の候補の画像が格納されている場合であってもサーバー４から画像を取得するようにしてもよい。この場合、画像モデル生成部１０８は、サーバー４から取得した第２の画像に対して第２の画像モデルを生成するようにしてもよい。画像モデル生成部１０８は、画像モデルＤＢ１０７から取得した第１の画像モデルと、生成した第２の画像モデルを、画像認識部１１０に出力するようにしてもよい。そして、画像尤度算出部１１２は、第１の画像モデルと、生成した第２の画像モデルそれぞれの画像尤度を算出し、画像尤度が大きいものを選択するようにしてもよい。
【００６９】
以上のように、本実施形態では、ＤＮＮによって、撮像装置が撮像した情報（写真）を、まず画像モデルＤＢ１０７が格納する画像モデルで認証し、認証できなかった場合にインターネット上から画像情報および音声情報を取得し、学習させるようにした。また、本実施形態では、学習した内容を、ローカルに保存しておくようにした。また、本実施形態では、インターネット上でも対象画像を発見できなかった場合に、物体認識装置１と利用者の対話により学習させる（音声、画像）ようにした。
【００７０】
これにより、本実施形態によれば、画像モデルＤＢ１０７が画像モデルを格納していない物体であったとしてもインターネット上の情報を用いて認識することができる。
【００７１】
また、本実施形態によれば、画像モデルＤＢ１０７が画像モデルを格納していない物体が認証された場合、その情報を画像モデルＤＢ１０７（ローカル）に保存できるので、次回以降、物体認識速度を向上させることができる。
また、本実施形態によれば、深層学習、ＤＮＮ等を用いることで、画像認識精度を向上させることができる。
また、本実施形態によれば、インターネット上の情報を用いても画像モデルＤＢ１０７が画像モデルを格納していない物体を認識できなかった場合でも、人との対話によって学習することができる。
【００７２】
なお、上述した例では、収音装置２と撮像装置３が物体認識装置１に接続されている例を説明したが、収音装置２と撮像装置３は、物体認識装置１が備えていてもよい。
【００７３】
なお、本発明における物体認識装置１の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより物体認識装置１が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００７５】
１…物体認識装置、２…収音装置、３…撮像装置、４…サーバー、１０１…音声信号取得部、１０２…音響モデル・辞書ＤＢ、１０３…音声認識部、１０４…音声尤度算出部、１０６…画像取得部、１０７…画像モデルＤＢ、１０８…画像モデル生成部、１０９…記憶部、１１０…画像認識部、１１１…ＮＮ認証部、１１２…画像尤度算出部、１１３…通信部、１１４…物体認識部
【図１】
2018169746.tif 000005
【図２】
2018169746.tif 000006
【図３】
2018169746.tif 000007
【図４】
2018169746.tif 000008
【図５】
2018169746.tif 000009
【図６】
2018169746.tif 000010