(57)【特許請求の範囲】
【請求項１】
物体認識の対象となる認識対象画像を取得する取得手段と、
複数の画像データをタグ情報と関連付けて記憶する画像データベースから、前記認識対象画像と類似する類似画像を検索する検索手段と、
前記検索手段によって得られる前記類似画像に関連付けられたタグ情報に基づいて、前記認識対象画像に含まれる物体を認識する認識手段と、
を備え、
前記認識手段は、
前記類似画像に関連付けられているタグ情報の信頼度であるタグ情報信頼度を算出し、当該タグ情報信頼度も考慮して前記認識対象画像に含まれる物体を認識し、
１つの前記類似画像に複数のタグ情報が関連付けられている場合には、これら複数のタグ情報の間の相関に基づいてタグ情報信頼度を算出する、
物体認識装置。
【請求項２】
前記認識手段は、複数のタグ情報の間の相関を記憶したタグ情報相関データベースに対して、１つの前記類似画像に付された複数のタグ情報の相関を問い合わせ、得られた相関が高いほど前記信頼度を高く判定する、
請求項１に記載の物体認識装置。
【請求項３】
前記認識手段は、前記類似画像に付されているメタ情報と前記タグ情報とに基づいて、前記タグ情報信頼度を算出する、
請求項１または請求項２に記載の物体認識装置。
【請求項４】
物体認識の対象となる認識対象画像を取得する取得手段と、
複数の画像データをタグ情報と関連付けて記憶する画像データベースから、前記認識対象画像と類似する類似画像を検索する検索手段と、
前記検索手段によって得られる前記類似画像に関連付けられたタグ情報に基づいて、前記認識対象画像に含まれる物体を認識する認識手段と、
を備え、
前記認識手段は、前記類似画像に付されているメタ情報と前記タグ情報とに基づいて、
前記類似画像に関連付けられているタグ情報の信頼度であるタグ情報信頼度を算出し、当該タグ情報信頼度も考慮して前記認識対象画像に含まれる物体を認識する、
物体認識装置。
【請求項５】
前記認識手段は、前記類似画像に関連付けられたタグ情報の出現頻度に基づいて、前記認識対象画像に含まれる物体を認識する、
請求項１から４のいずれか１項に記載の物体認識装置。
【請求項６】
前記認識手段は、前記類似画像に関連付けられたタグ情報のうち、出現頻度が最も高いタグ情報を、前記認識対象画像に含まれる物体の認識結果とする、
請求項５に記載の物体認識装置。
【請求項７】
前記認識手段は、前記類似画像に関連付けられたタグ情報のうち、出現頻度が高い所定数のタグ情報を、前記認識対象画像に含まれる物体の認識結果とする、
請求項５に記載の物体認識装置。
【請求項８】
前記認識手段は、前記類似画像に関連付けられたタグ情報の意味あいの多様性を統一する自然言語処理を施し、自然言語処理後のタグ情報に基づいて、前記認識対象画像に含まれる物体を認識する、
請求項１から７のいずれか１項に記載の物体認識装置。
【請求項９】
前記認識手段は、前記タグ情報信頼度を重み係数とするタグ情報の重み付き出現頻度に基づいて、前記認識対象画像に含まれる物体を認識する、
請求項１から８のいずれか１項に記載の物体認識装置。
【請求項１０】
前記取得手段は、入力画像から部分領域を前記認識対象画像として抽出する、
請求項１から９のいずれか１項に記載の物体認識装置。
【請求項１１】
前記部分領域の関心度を算出する関心度算出手段をさらに備え、
前記関心度が閾値以上の部分領域について前記認識手段による認識の結果を出力する、
請求項１０に記載の物体認識装置。
【請求項１２】
コンピュータが行う物体認識方法であって、
物体認識の対象となる認識対象画像を取得する取得ステップと、
複数の画像データをタグ情報と関連付けて記憶する画像データベースから、前記認識対象画像と類似する類似画像を検索する検索ステップと、
前記検索ステップにおいて得られる前記類似画像に関連付けられたタグ情報に基づいて、前記認識対象画像に含まれる物体を認識する認識ステップと、
を含み、
前記認識ステップでは、
前記類似画像に関連付けられているタグ情報の信頼度であるタグ情報信頼度を算出し、当該タグ情報信頼度も考慮して前記認識対象画像に含まれる物体を認識し、
１つの前記類似画像に複数のタグ情報が関連付けられている場合には、これら複数のタグ情報の間の相関に基づいてタグ情報信頼度を算出する、
物体認識方法。
【請求項１３】
コンピュータが行う物体認識方法であって、
物体認識の対象となる認識対象画像を取得する取得ステップと、
複数の画像データをタグ情報と関連付けて記憶する画像データベースから、前記認識対象画像と類似する類似画像を検索する検索ステップと、
前記検索ステップにおいて得られる前記類似画像に関連付けられたタグ情報に基づいて、前記認識対象画像に含まれる物体を認識する認識ステップと、
を含み、
前記認識ステップでは、前記類似画像に付されているメタ情報と前記タグ情報とに基づいて、前記類似画像に関連付けられているタグ情報の信頼度であるタグ情報信頼度を算出し、当該タグ情報信頼度も考慮して前記認識対象画像に含まれる物体を認識する、
物体認識方法。
【請求項１４】
請求項１２または請求項１３に記載の方法の各ステップをコンピュータに実行させるためのプログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の物体を認識する技術に関する。
【背景技術】
【０００２】
従来、画像中に写されている物体が何であるかを認識する技術が存在する。例えば、特許文献１のように、画像から人の顔を検出する技術が広く普及している。このような認識技術では、認識対象についての多数の画像に基づいてあらかじめ識別器を作成し、この識別器を用いて認識処理が行われる。
【０００３】
なお従来は、画像撮影は人手によって行われ、撮影対象は人物や風景であることが多かったので、画像処理による認識の対象は限定されていた。近年のコンピュータビジョンの普及により、数多くの種類の物体を認識するニーズが高まっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２０２０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような学習ベースの認識技術では、あらかじめ学習された対象の物体しか認識することができない。世の中にはある数多くの種類の物体のそれぞれについてあらかじめ学習を行い識別器を作成することは現実的ではない。
【０００６】
また、認識精度が十分ではない場合には、学習対象の画像を収集して再学習をする必要がある。この再学習処理には専門的な知見が必要となり、一般のユーザが適切に行うことは困難である。したがって、認識精度を向上させるために時間とコストがかかってしまうという問題もある。
【０００７】
本発明は上記実情に鑑みなされたものであって、本発明の目的は、学習処理を必要とせずに物体の認識が可能な技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、認識対象画像と類似する画像を画像データベースから検索し、類似画像に関連付けられたタグ情報に基づいて、物体の認識を行う。これにより、あらかじめ学習処理を行うことなく、画像中の物体を認識することができる。
【０００９】
より具体的には、第１の態様として、本発明にかかる物体認識装置は、物体認識の対象となる認識対象画像を取得する取得手段と、複数の画像データをタグ情報と関連付けて記憶する画像データベースから、前記認識対象画像と類似する類似画像を検索する検索手段と、前記検索手段によって得られる前記類似画像に関連付けられたタグ情報に基づいて、前記認識対象画像に含まれる物体を認識する認識手段と、を備え、前記認識手段は、前記類似画像に関連付けられているタグ情報の信頼度であるタグ情報信頼度を算出し、当該タグ情報信頼度も考慮して前記認識対象画像に含まれる物体を認識し、１つの前記類似画像に複数のタグ情報が関連付けられている場合には、これら複数のタグ情報の間の相関に基づいてタグ情報信頼度を算出する。
また、第２の態様として、本発明にかかる物体認識装置は、物体認識の対象となる認識対象画像を取得する取得手段と、複数の画像データをタグ情報と関連付けて記憶する画像データベースから、前記認識対象画像と類似する類似画像を検索する検索手段と、前記検索手段によって得られる前記類似画像に関連付けられたタグ情報に基づいて、前記認識対象画像に含まれる物体を認識する認識手段と、を備え、前記認識手段は、前記類似画像に付されているメタ情報と前記タグ情報とに基づいて、前記類似画像に関連付けられているタグ情報の信頼度であるタグ情報信頼度を算出し、当該タグ情報信頼度も考慮して前記認識対象画像に含まれる物体を認識する。
【００１０】
画像データベースは、複数の画像データを検索可能に記憶する装置である。画像データベースは、物体認識装置と一体として構築されてもよいし、物体認識装置とは別に構築されてもよい。例えば、画像データベースは物体認識装置が備える記憶装置に構築されることができる。また、画像データベースは、物体認識装置が通信ネットワークを介してアクセス可能な別の装置に構築されることができる。画像データベースの作成・管理者は、物
体認識装置の作成・管理者と同一である必要はない。本発明における画像データベースとして、例えば、第三者によって管理されインターネット上で公開されている画像データベースを利用することもできる。
【００１１】
また、画像データベースには、画像データにタグ情報が関連付けて記憶される。タグ情報は、自然言語によって指定される、画像データの内容や特徴などを表す情報である。タグ情報の付加はどのように行われてもよく、例えば、人間が手動入力でタグ情報を付加してもよく、コンピュータによる画像処理によって自動的にタグ情報を付加してもよい。タグ情報は、画像データに埋め込まれて記憶されてもよいし、画像データとは異なるファイルとして記憶されてもよい。
【００１２】
認識手段は、検索手段によって得られる類似画像に関連付けられたタグ情報に基づいて、物体認識を行う。例えば、認識手段は、類似画像に関連付けられたタグ情報の出現頻度に基づいて、対象画像に含まれる物体を認識することができる。より具体的には、認識手段は、類似画像に関連付けられたタグ情報のうち、出現頻度が最も高いタグ情報を、前記認識対象画像に含まれる物体の認識結果とすることができる。あるいは、認識手段は、類似画像に関連付けられたタグ情報のうち、出現頻度が高い所定数のタグ情報を認識結果の候補とすることもできる。なお、上記の「所定数」はあらかじめ定められた値であってもよいし、検索によって得られた類似画像の数に応じて変化する値であってもよいし、出現頻度がある値以上であるタグ情報の数であってもよい。なお、認識手段による物体の認識は、タグ情報の出現頻度のみに基づいて行う必要はなく、その他の要素も考慮して物体の認識を行ってもよい。この場合、認識手段は、出現頻度が最も高いタグ情報以外のタグ情報を物体の認識結果としてもよい。
【００１３】
また、認識手段は、類似画像に関連付けられたタグ情報の意味あいの多様性を統一する自然言語処理を施し、自然言語処理後のタグ情報に基づいて、認識対象画像に含まれる物体を認識することが好ましい。意味あいの多様性を統一する処理の一例は、同じ意味を有する複数の語を一つの語に統一する処理である。また、意味あいの多様性を統一する処理の他の例は、類似するが異なる意味を有する複数の語を、これらを代表する語に統一する処理である。代表語は、複数のタグ情報に含まれるいずれかの語であってもよいし、これらを含む上位概念を表す語などその他の語であってもよい。認識手段は、例えば、統一処理が施された後に最も多く含まれるタグ情報を認識結果とすることができる。
【００１４】
また、認識手段は、類似画像に関連付けられているタグ情報の信頼度（タグ情報信頼度）を算出して、このタグ情報信頼度も考慮して認識対象に含まれる物体を認識する。画像データベース内の画像データに関連付けられるタグ情報は、必ずしも正確であるとは限らない。不正確なタグ情報に基づいて誤認識をしないように、タグ情報信頼度を用いて物体認識する。
【００１５】
タグ情報信頼度は、１つの類似画像に複数のタグ情報が関連付けられている場合に、これら複数のタグ情報の間の相関に基づいて算出することができる。１つの画像において同時に現れやすいタグ情報と、同時には現れにくいタグ情報が存在する。そこで、類似画像に含まれる複数のタグ情報の相関（あるいは共起確率）が低い場合には、当該類似画像のタグ情報信頼度が低いと判断することができる。
【００１６】
タグ情報の間の相関の取得方法は特に限定されない。例えば、複数のタグ情報の間の相関を記憶したタグ情報相関データベースに対して、問合せを行ってタグ情報の相関を取得できる。このタグ情報相関データベースは、画像データベース内に登録されている画像に関連付けられたタグ情報に基づいて生成されたデータベースであってもよいし、あるいは、一般的な単語の間の相関を記憶した一般的な辞書データベースであってもよい。また、
タグ情報の間の相関は、その都度、画像データベースに問合せを行うことによって取得することもできる。例えば、画像データベースに対して、あるタグ情報を含む画像に共起するタグ情報を取得する要求を送信し、その結果に基づいて相関を取得できる。
【００１７】
タグ情報信頼度は、また、類似画像に含まれるメタ情報とタグ情報との関係に基づいて算出することもできる。メタ情報には、画像自体についての属性情報（大きさ、色空間など）、画像撮影時の条件（撮影日時、シャッタースピード、絞り、ＩＳＯ感度、測光モード、フラッシュ有無、焦点距離、撮影位置など）が含まれる。これらの属性情報のうちのいずれか一つ以上とタグ情報との相関（共起確率）に基づいて、タグ情報との相関（共起確率）が低い属性情報を類似画像が有する場合には、この類似画像のタグ情報信頼度を低く算出することができる。例えば、メタ情報（属性情報）として撮影位置を例にとると、撮影位置が海中を指している場合に「車」というタグ情報が付けられる確率は低いので、このような場合にタグ情報信頼度を低くすることができる。なお、属性情報とタグ情報の相関（共起確率）は、あらかじめ調べて記憶手段に記憶しておくことが望ましい。
【００１８】
ある類似画像のタグ情報信頼度が低い場合には、そのタグ付けは正確ではないと考えられる。そこで、認識手段は、タグ情報信頼度に応じた重み付けを行って、重み付け後のタグ情報に基づいて物体認識を行うことができる。例えば、重み付け出現頻度が最も高いタグ情報を物体の認識結果とすることができる。また、認識手段は、タグ情報信頼度が所定の閾値よりも低い場合には、当該類似画像は用いずに物体認識してもよい。
【００１９】
認識対象画像は、画像の全体であってもよいし、部分領域であってもよい。例えば、上記取得手段は、入力画像から部分領域を認識対象画像として抽出して利用することができる。部分領域の抽出は、物体認識装置が自動的に行ってもよいし、ユーザが手動で入力してもよい。
【００２０】
また、本発明の物体認識装置は、部分領域の関心度を算出する関心度算出手段をさらに備え、取得手段が複数の部分領域を抽出した場合に、関心度が閾値以上の部分領域について認識手段による認識の結果を出力することが好ましい。部分領域の関心度の算出方法は特に限定されず、入力画像に基づいて算出してもよいし、画像データベースに対して行った部分領域と類似する画像の検索結果に基づいて算出してもよい。また、関心度が閾値以下の部分領域については物体認識を行わなくてもよいし、物体認識は行うもののその認識結果を出力しないようにしてもよい。
【００２１】
なお、本発明は、上記手段の少なくとも一部を含む物体認識装置として捉えることができる。また、本発明は、物体認識方法として捉えることもできる。また、これらの方法の各ステップをコンピュータに実行させるためのコンピュータプログラムや、当該プログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００２２】
本発明によれば、あらかじめ学習処理をしなくても、画像中の物体を認識することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】図１は、第１の実施形態にかかる物体認識装置の（ａ）ハードウェア構成と（ｂ）機能ブロックを示す図である。
【図２】図２は、物体認識処理を説明する概念図である。
【図３】図３は、第１の実施形態における物体認識処理の流れを示すフローチャートである。
【図４】図４は、（ａ）認識対象領域の例と、（ｂ）類似画像検索の結果の例を示す図である。
【図５】図５は、（ａ）タグ情報を用いた物体認識処理の詳細を示すフローチャートと、（ｂ）タグ情報に対する自然言語処理と認識結果の決定を説明する図である。
【図６】図６は、第２の実施形態にかかる物体認識装置の機能ブロックを示す図である。
【図７】図７は、第２の実施形態における（ａ）タグ情報を用いた物体認識処理の詳細を示すフローチャートと、（ｂ）タグ情報信頼度の算出基準の例を示す図である。
【図８】図８は、第３の実施形態にかかる物体認識装置の機能ブロックを示す図である。
【図９】図９は、第３の実施形態における物体認識処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２４】
（第１の実施形態）
本実施形態にかかる物体認識装置は、画像データベースに対して類似画像検索を行い、検索された類似画像に関連付けられたタグ情報に基づいて、物体認識を行う。画像データベースに登録された画像に付されたタグ情報を用いて物体認識を行うことで、識別器の作成などの学習処理を行うことなく、物体認識ができる。
【００２５】
＜構成＞
図１（ａ）は、本実施形態にかかる物体認識装置１０のハードウェア構成を示す図である。物体認識装置１０は、画像入力部１１、演算装置１２、記憶装置１３、通信装置１４、入力装置１５、出力装置１６を含む。画像入力部１１は、カメラ２０から画像データを受け取るインタフェースである。なお本実施形態ではカメラ２０から直接画像データを受け取っているが、通信装置１４を介して画像データを受け取ったり、記録媒体を経由して画像データを受け取ったりしてもよい。演算装置１２は、ＣＰＵ（Central Processing Unit）などの汎用のプロセッサであり、記憶装置１３に格納されたプログラムを実行して
、後述する機能を実現する。記憶装置１３は、主記憶装置および補助記憶装置を含み、演算装置１２によって実行されるプログラムを格納するとともに、画像データやプログラム実行中の一時データを格納する。通信装置１４は、物体認識装置１０が外部のコンピュータと通信を行うための装置である。通信の形態は、有線であっても無線であってもよく、通信規格は任意であってよい。本実施形態においては、物体認識装置１０は通信装置１４を介して、画像データベース３０にアクセスする。入力装置１５は、キーボードやマウスなどからなり、ユーザが物体認識装置に指示を入力するための装置である。出力装置１６は、表示装置やスピーカーなどからなり、物体認識装置がユーザに対する出力を行うための装置である。
【００２６】
画像データベース３０は、演算装置や記憶装置などを含むコンピュータであり、複数の画像データを検索可能に記憶する装置である。画像データベース３０は、１台のコンピュータから構成されてもよいし、複数のコンピュータから構成されてもよい。画像データベース３０に格納される画像データには、画像そのもののデータ（画素ごとの色情報など）以外に、種々の属性情報が関連付けられる。例えば、画像データのデータファイルは、Ｅｘｉｆフォーマットにしたがって種々の属性情報を含むことができる。また、画像データベース３０は、画像データのデータファイルとは異なるファイルに記憶された属性情報を、画像データと関連付けて記憶することができる。属性情報には、例えば、画像の大きさ、色空間、画像の撮影条件（撮影日時、シャッタースピード、絞り、ＩＳＯ感度、測光モード、フラッシュ有無、焦点距離、撮影異議など）、画像の内容や特徴について自然言語で記述された情報（タグ情報）などが含まれる。これらの属性情報は、画像データについ
てのメタ情報である。画像データベース３０は、インターネットなどの公衆網を介して一般に公開されており、画像データの登録や検索を受け付ける。
【００２７】
画像データベース３０に誰が画像を登録するかや、登録される画像の数は特に限定されない。例えば、物体認識装置１０のユーザが認識したい物体についての画像を登録してもよい。この場合は、登録画像が認識処理に適合した画像であり、かつ、タグ付けの精度も高いといえるので、登録画像の数はそれほど多くなくてもよい。また、第三者である一般ユーザや検索サービスなどの提供者が画像を登録してもよい。この場合、登録画像は認識処理に適合した画像でなく、また、タグ付けの精度も低い可能性がある。そのため、このような場合には、多くの画像が画像データベース３０に登録されていることが好ましい。
【００２８】
＜物体認識装置の機能と処理＞
演算装置１２は、プログラムを実行することにより、図１（ｂ）に示すような機能を実現する。すなわち、演算装置１２は、領域抽出部１１０、類似画像検索部１２０、認識部１３０、出力部１４０の各機能を提供する。各部の処理内容については以下で説明する。
【００２９】
図２は、物体認識装置１０による物体認識処理の概要を示す図であり、図３は、物体認識装置１０によって実行される物体認識処理の流れを示すフローチャートである。物体認識処理は、認識対象画像と類似する画像の画像データベースから検索し、類似画像に付されているタグ情報に基づいて物体を認識することによって行われる。以下、図３のフローチャートにしたがって詳細に説明する。
【００３０】
ステップＳ１０において、物体認識装置１０は画像（入力画像）を取得する。入力画像は、画像入力部１１を介してカメラ２０から取得されてもよいし、通信装置１４を介して他のコンピュータから取得されてもよいし、記憶装置１３を介して記憶媒体から取得されてもよい。
【００３１】
ステップＳ２０において、領域抽出部１１０が入力画像からその部分領域を認識対象領域として抽出する。認識対象領域の抽出方法は特に限定されない。本実施形態においては、ユーザが入力画像の一部の領域を指定する。ただし、注目領域抽出技術を用いて認識対象領域を自動的に抽出してもよい。注目領域抽出アルゴリズムは特に限定されない。また、注目領域抽出ステップＳ２０を省略して、入力画像全体を認識対象領域としてもよい。以下、認識対象領域の画像を認識対象画像と称する。
【００３２】
図４（ａ）は、入力画像４００と、抽出された認識対象領域４０１の例を示す図である。この例では、車両が認識対象として選択されている。なお、入力画像４００から複数の認識対象領域が抽出されてもよい。
【００３３】
ステップＳ３０において、類似画像検索部１２０は、認識対象画像と類似する画像を検索するクエリを画像データベース３０に発行して、画像データベース３０から検索結果を取得する。画像データベース３０は、検索クエリを受け付けると、検索クエリに含まれる検索画像（注目領域の画像）と類似する画像をデータベースから検索して、検索結果を送信する。画像データベース３０における類似画像検索のアルゴリズムは、既知の任意のアルゴリズムを採用することができる。例えば、画像全体と画像全体の照合を行うアルゴリズムや、画像全体と画像の一部の照合を行うアルゴリズムや、画像の一部と画像の一部の照合を行うアルゴリズムを採用可能である。画像データベース３０は、検索により得られた類似画像とその属性情報を、検索結果として物体認識装置１０に送信する。
【００３４】
図４（ｂ）は、ステップＳ３０における検索結果の例を示す図である。図４（ｂ）では、認識対象画像（検索画像）と類似する画像（類似度が所定の閾値以上の画像）について
、画像番号５０１、類似度５０２、類似画像の全体サイズ５０３、類似画像のうち注目領域と類似する領域のサイズ５０４、類似画像に関連付けて記憶されているタグ情報５０５を示しているが、これら以外の情報が検索結果に含まれてもよい。
【００３５】
ステップＳ４０において、物体認識装置１０の認識部１３０は、画像データベース３０から得られた検索結果、特にタグ情報に基づいて、認識対象領域に含まれる物体の認識を行う。典型的には、検索結果に含まれるタグ情報のうち、最も出現頻度が高いものを物体の認識結果とする。ただし、画像データベース３０中の画像に付されているタグ情報は、表記の揺れなどがあることも想定されるので、自然言語処理によってタグの意味あいを統一する処理を行ってから、物体認識を行うことが好ましい。
【００３６】
図５（ａ）は、タグ情報を用いた物体認識処理Ｓ４０の詳細を示すフローチャートである。ステップＳ４１において、認識部１３０は、ステップＳ３０における検索結果に含まれる類似画像に付されているタグ情報を取得する。そして、ステップＳ４２において、認識部１３０は、自然言語処理によってタグ情報の意味解析および意味あいを統一する。意味あいの統一処理の例は、「自動車」「車両」「車」「クルマ」「くるま」などの同じ意味の異なる標記の語を統一する処理である。他の例は、「車両」「自動車」「バス」「スポーツカー」など類似する概念の語を、一つの語（例えば「車両」）に統一する処理である。また、ここではタグ情報が単語である場合のみを示しているが、タグ情報は文章として表されてもよく、その場合も自然言語処理によって意味を決定できる。
【００３７】
ステップＳ４３において、認識部１３０は、意味あい統一処理後のタグ情報の出現回数をカウントする。ステップＳ４４において、認識部１３０は、出現回数が最も多い（出現頻度が最も高い）タグ情報を、物体の認識結果として取得する。
【００３８】
図５（ｂ）は上記のタグ情報を用いた認識処理の例を説明する図である。図５（ｂ）の左図は、ステップＳ４１において取得されるタグ情報とその出現回数を示す。図５（ｂ）の右図は、ステップＳ４２の自然言語処理（意味あいの統一処理）後のタグ情報と出現回数を示す。この例では、自然言語処理によって「自動車」「クルマ」「スポーツカー」「くるま」が全て「自動車」に統一される。自然言語処理後のタグ情報の出現回数は「自動車」が最大となるので、認識部１３０は、認識対象領域に含まれる物体を「自動車」であると判断する。
【００３９】
なお、図５（ｂ）では検索ヒット数を１００件としているが、画像データベース３０の規模によっては、検索ヒット数は数万件以上あるいは数十万件以上となることもありうる。このような場合、自然言語処理やタグの出現回数カウント処理などは、画像データベース３０あるいはその他の装置など高度な演算リソースを有する装置で行われてもよい。
【００４０】
ステップＳ５０において、出力部１４０は、認識部１３０による認識結果を出力する。出力の態様は任意であってよく、例えば、ディスプレイなど出力装置１６に認識結果を表示してもよいし、記憶装置１３に認識結果を格納してもよいし、通信装置１４を介して他の装置に認識結果を送信してもよい。また、認識結果を物体認識装置１０による他の処理の入力として用いてもよい。
【００４１】
＜本実施形態の効果＞
本実施形態によれば、画像データベースに含まれている画像のタグ情報に基づいて物体の認識を行っているので、あらかじめ認識対象について識別器作成などの学習処理を行う必要がない。本実施形態による物体認識処理にはタグ付けされた画像を格納する画像データベースが必要であるが、これは一般のユーザでも簡単に作成できるし、また既に第三者によって公開されている画像データベースを用いることもできる。
【００４２】
また、物体認識精度を向上させる必要がある場合には、画像データベースにタグ付きの画像を登録するだけでよいので、簡単かつ低コストである。
【００４３】
また、画像データベースに登録されている画像の中に不適切なタグ情報が付けられている画像があっても、画像データベースに大量のデータが格納されていれば、不正確なタグ付けがされた画像による悪影響を抑制でき精度のよい認識が行える。
【００４４】
＜変形例＞
上記の例では、検索結果として得られるタグ情報に自然言語処理を施して意味あいの多様性を統一してから出現回数をカウントしているが、意味あいの多様性の統一を行わずに出現回数をカウントしてもよい。また、最も出現頻度の高いタグ情報を物体の認識結果として出力しているが、出現頻度が高い所定数のタグ情報を認識結果の候補として出力してもよい。ここで、所定数は、あらかじめ定められた値であってもよいし、検索によって得られた類似画像の数に応じた値であってもよいし、出現頻度がある値以上であるタグ情報の数であってもよい。
【００４５】
上述のように、画像データベースに対して新たなタグ付き画像を登録することで、本実施形態に係る物体認識装置による認識精度を向上させることができる。したがって、物体認識装置は、画像データベースにタグ付き画像を登録するための登録手段を有することも好ましい。登録手段は、画像の入力と当該画像に対するタグ（キーワードや説明文）の入力を受け付けて、これらを関連付けて画像データベースに登録する機能部である。
【００４６】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態は第１の実施形態と基本的に同様であるが、類似画像に関連付けられて記憶されているタグ情報の信頼度を考慮して認識を行う点が異なる。画像データベース３０が、インターネットに公開されユーザが自由にタグ付けをできる場合には、タグが正確に付されない場合もある。画像データベース３０に登録されるデータの数が多ければ（ビッグデータ）、個々の画像に対するタグ付けの不正確さは吸収されてある程度精度のよい認識が行えることが期待できる。しかしながら、それでも認識精度が十分ではないこともありうる。そこで、本実施形態では、タグ情報の信頼度を考慮することで、認識精度を向上させる。
【００４７】
本実施形態にかかる物体認識装置２００のハードウェア構成は第１の実施形態（図１（ａ））と同様である。図６は、本実施形態にかかる物体認識装置２００の演算装置１２がプログラムを実行することによって実現される機能ブロックを示す図である。物体認識装置３００の機能ブロックも第１の実施形態（図１（ｂ））と基本的に同様であるが、タグ間相関度データベース１５０およびタグ−属性相関度データベース１６０を備える点が異なる。
【００４８】
タグ間相関度データベース１５０は、画像データベース３０において、ある特定の複数のタグが１つの画像に同時に付されている頻度（共起確率、相関）を記憶する。例えば、画像データベース３０中にタグＡが付されている画像が１００個あり、そのうちの３０個はタグＢも付されている場合には、タグＡとタグＢの共起確率または相関は０．３である。なお、タグ情報に対して意味あいの統一などの自然言語処理を施してから、タグの間の相関を作成することが好ましい。
【００４９】
タグ−属性相関度データベース１６０は、画像データベース３０において、１つの画像が、ある特定のタグとある特定の属性情報を同時に有している頻度（共起確率、相関）を記憶する。例えば、画像データベース３０にタグＡが付されている画像が１００個あり、
そのうちの４０個は属性情報Ｃを有している場合には、タグＡと属性情報Ｃの共起確率または相関は０．４である。なお、相関を求める際に、画像に関連付けられた属性情報そのものとタグとの相関を求める必要はなく、画像に関連付けられた属性情報を加工して得られる情報とタグとの相関を求めてもよい。例えば、位置情報（緯度・経度情報）を加工して位置の種類（都市部、山間部、海岸部、海上部などの分類）を使用したり、時刻情報を加工して時間帯（朝、昼、夕、夜などの分類）を使用したりすることができる。
【００５０】
タグ−属性相関度データベース１６０に格納される相関の具体的な例として、「海」というタグと撮影位置に関する属性情報の関係が挙げられる。「海」タグが付されている画像の撮影位置は、海岸部あるいは海上部である確率が高く、内陸である確率は低い。また別の例は、「夕日」というタグと撮影時刻に関する属性情報の関係である。「夕日」タグが付されている画像の撮影時刻は夕刻（概ね午後３時から午後９時の間）である確率が高いが、その他の時刻である確率は低い。
【００５１】
タグ間相関度データベース１５０およびタグ−属性相関度データベース１６０は、画像データベース３０に記憶されている画像およびそれに関連付けられるタグ情報および属性情報に基づいて作成されることが好ましい。ただし、タグ間相関度データベース１５０は、画像データベース３０を参照せずに、一般的な用語間の共起確率に基づいて作成することができる。タグ−属性相関度データベース１６０も、画像データベース３０以外の画像に基づいて作成することもできる。本実施形態では、タグ間相関度データベース１５０およびタグ−属性相関度データベース１６０が物体認識装置２００内に構築されているが、これらのデータベースは物体認識装置２００の外部の装置に構築されて、物体認識装置２００がアクセスするように構成してもよい。
【００５２】
本実施形態における物体認識処理の全体の流れは第１の実施形態（図３）と同様である。本実施形態においては、ステップＳ４０の処理が第１の実施形態と異なる。図７（ａ）は、本実施形態におけるタグ情報に基づく物体認識処理Ｓ４０の詳細を示すフローチャートである。第１の実施形態（図５（ａ））と同様の処理については、同じ符号を付してその詳細な説明は省略する。
【００５３】
タグ情報の取得処理（Ｓ４１）およびタグ情報に対する自然言語処理（Ｓ４２）は、第１の実施形態と同様であるので説明は省略する。ステップＳ４２後のステップＳ４５において、認識部１３０は、検索で得られた類似画像ごとに、タグ情報信頼度を算出する。タグ情報信頼度は、類似画像に付されているタグ同士の相関あるいはタグと画像属性情報の相関などに基づいて決定される。タグ情報相関度の算出基準の例を、図７（ｂ）に示す。
【００５４】
タグ同士の相関は、１つの類似画像に含まれる複数のタグの間の相関が高いほど高く算出される信頼度である。頻繁に同時に付せられるタグが類似画像に付されている場合はタグが信頼できるが、頻度の少ない（ありそうにない）複数のタグが同時に付されている場合にはタグが信頼できないと判断できる。認識部１３０は、類似画像に付されている複数のタグについての相関を、タグ間相関度データベース１５０に問い合わせ、得られる相関度に基づいてタグ情報信頼度を算出する。
【００５５】
属性情報（メタ情報）とタグの相関は、類似画像に含まれるタグとこの類似画像の属性情報の間の相関が高いほど高く算出される信頼度である。上述のように、あるタグが特定の時刻や位置において撮影された画像に付されることが多い場合には、類似画像に含まれるタグ情報と属性情報がこの関係を満たせばタグが信頼できると判断でき、満たさなければ信頼できないと判断できる。認識部１３０は、類似画像に付されているタグと属性情報についての相関を、タグ−属性相関度データベース１６０に問い合わせ、得られる相関度に基づいてタグ情報信頼度を算出する。
【００５６】
画像中の大きさは、類似画像検索処理において、検索画像と類似する部分領域を有する画像を検索する際にタグ情報の信頼度の算出基準として用いることができる。検索画像と類似する領域の画像全体に対する領域が大きいほどタグはその領域に含まれる物体に関するものである確率が高く、検索画像と類似する領域の画像全体に対する領域が小さいほどタグはその領域に含まれる物体に関するものである確率は低い。したがって、類似領域の画像全体に対する大きさは、タグ情報の信頼度を測る目安となる。認識部１３０は、類似画像中における類似領域の相対的な大きさに基づいて、タグ情報信頼度を算出する。
【００５７】
画像中の位置は、類似画像検索処理において、検索画像と類似する部分領域を有する画像を検索する際にタグ情報の信頼度の算出基準として用いることができる。検索画像と類似する領域の画像全体における位置が中央に近いほどタグはその領域に含まれる物体に関するものである確率が高く、検索画像と類似する領域の画像全体における周辺部に近いほどタグはその領域に含まれる物体に関するものである確率は低い。したがって、類似領域の画像全体における位置は、タグ情報の信頼度を測る目安となる。認識部１３０は、類似画像中における類似領域の位置に基づいて、タグ情報信頼度を算出する。
【００５８】
類似検索における類似度もタグ情報の信頼度を表す目安として用いることができる。画像データベース３０内の画像に正しくタグ情報が付されている場合であっても、検索画像との類似度が低い画像は、検索画像に含まれる物体と類似画像に含まれる物体が異なることもあり得る。したがって、類似度が低い場合には類似画像に含まれるタグが検索画像に含まれる物体を表す確率が低いといえるので、認識部１３０はタグ情報信頼度を低く算出する。逆に、類似度が高い場合には、認識部１３０はタグ情報信頼度を高く算出する。
【００５９】
認識部１３０は、このようにして求めた複数のタグ情報信頼度（個別信頼度）を統合して、最終的なタグ情報信頼度を算出する。統合方法は任意であってよく、例えば、全ての個別信頼度の積（総乗）や平均（単純平均または加重平均）や最大値や最小値などを最終的なタグ情報信頼度とすることができる。なお、個別信頼度を０から１の間に正規化しておくことが望ましい。ここで例に挙げたタグ情報信頼度（個別信頼度）は一例に過ぎず、これら全てを考慮して最終的なタグ情報信頼度を算出する必要はなく、これらのうちの一部のみに基づいてタグ情報信頼度を算出してもよく、またこれら以外の基準に基づいてタグ情報信頼度を算出してもよい。
【００６０】
ステップＳ４６において、認識部１３０は、ステップＳ４５で求めたタグ情報信頼度を重み係数とした重み付き出現回数を、タグ情報ごとにカウントする。なお、タグ情報信頼度の値と重み係数の値は必ずしも同一の値とする必要はなく、タグ情報信頼度が高いほど重みが大きければよい。また、タグ情報信頼度がある閾値以上の場合だけ出現回数をカウントするようにしてもよい。これは、タグ情報信頼度が閾値以上の場合に重み付け係数を１とし、閾値よりも小さい場合に重み付け係数を０とした例である。
【００６１】
ステップＳ４４の処理は第１の実施形態と同様であるが、本実施形態ではタグ情報信頼度を考慮した出現回数が最も多いタグ情報を、物体の認識結果とする点が異なる。
【００６２】
本実施形態によれば、画像データベースに格納された画像に付されたタグ情報の信頼度も考慮して、物体の認識が行える。これにより、画像に正確ではないタグが付されている場合に、その影響を抑制して精度の良い認識が行える。
【００６３】
本実施形態では、タグ間相関度データベース１５０およびタグ−属性相関度データベース１６０をあらかじめ作成する例を説明したが、認識部１３０は、タグ間の相関度やタグと属性情報の間の相関度が必要になる度に、画像データベース３０に問い合わせてこれら
の相関度を得るようにしても構わない。
【００６４】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、第１および第２の実施形態と比較して、物体認識結果の出力処理が異なる。具体的には、物体認識対象領域の関心度が高い場合のみ、物体認識結果を出力する。本実施形態は、物体認識対象領域を物体認識装置が自動的に決定する場合に特に有効といえる。なお、以下では第１の実施形態を変形した実施形態を例に説明するが、第２の実施形態を元に本実施形態を実施しても構わない。
【００６５】
本実施形態にかかる物体認識装置３００のハードウェア構成は第１の実施形態（図１（ａ））と同様である。図８は、本実施形態にかかる物体認識装置３００の演算装置１２がプログラムを実行することによって実現される機能ブロックを示す図である。物体認識装置３００は、第１の実施形態の機能に加えて、関心度算出部１７０を備える。
【００６６】
図９は、本実施形態に係る物体認識装置３００によって実行される注目領域抽出処理の流れを示すフローチャートである。第１の実施形態（図３）と同様の処理については、同じ符号を付してその詳細な説明は省略する。
【００６７】
入力画像の取得処理Ｓ１０は第１の実施形態と同様である。認識対象領域の取得処理Ｓ２０も第１の実施形態と同様であるが、本実施形態においては、ユーザからの入力によってではなく、領域抽出部１１０が所定のアルゴリズムにしたがって認識対象領域を抽出する。この処理は、画像から注目領域を抽出するものであれば任意のものを採用可能である。類似画像検索処理Ｓ３０は第１の実施形態と同様である。
【００６８】
本実施形態においては、ステップＳ３０の処理後のステップＳ６０において、認識対象領域の関心度を算出する。関心度は、人間が当該部分領域に対して持つと予想される関心の高さ、あるいは、当該部分領域に対して持つべき関心の高さを表す指標である。ある部分領域についての関心度が高いということは、人間は当該部分領域についてより高い関心を持つか、あるいは当該部分領域についてより高い関心を持つべきであることを意味する。関心度の算出方法は、本実施形態においては特に限定されない。例えば、入力画像に含まれる情報のみから関心度を算出することができる。例えば、注目領域抽出処理の際のスコアを関心度とすればよい。あるいは、ステップＳ３０における類似画像検索の結果を用いて関心度を算出してもよい。例えば、検索でヒットする類似画像の数が多いほど関心度を高く算出したり、類似画像に付されているタグ情報の意味あいの収束性が高いほど関心度を高く算出したりすることができる。また、類似画像における類似領域の大きさや位置あるいは属性情報（メタ情報）などに基づいて関心度を算出することもできる。
【００６９】
ステップＳ６５において、認識部１３０は、算出された関心度が閾値以上であるか否かを判定する。関心度が閾値以上である場合（Ｓ６５−ＹＥＳ）には、認識部１３０は、認識対象領域について物体認識処理（Ｓ４０）および認識結果の出力処理（Ｓ５０）を実行するが、関心度が閾値未満である場合（Ｓ６５−ＮＯ）には物体認識処理は行わない。ステップＳ４０の物体認識処理およびステップＳ５０の出力処理は第１の実施形態と同様である。
【００７０】
本実施形態によれば、物体認識装置が、入力画像から注目すべき領域を自動的に抽出してその領域の物体識別結果を出力することができる。ここで、抽出された領域の関心度を算出しているので、本来は注目領域ではないのに誤って注目領域として抽出された場合であっても、関心度から誤検出であったことが判断できる。また、関心度算出に、画像データベースに対する類似画像検索の結果を用いているので、入力画像からだけでは得られな
い知識に基づいて関心度を算出することができ、精度良く関心度を算出することができる。また、類似画像検索の結果に基づいて、関心度算出と物体認識の２つの処理の一部を共通化しており、処理の効率化が図れる。
【００７１】
（その他の実施形態）
上記の実施形態の説明は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明は、その技術的思想の範囲内で種々の変形が可能である。
【００７２】
上記の説明において、画像データベースは物体認識装置とは別の装置として構成される例を説明したが、画像データベースは物体認識装置と一体として構成されてもよい。また、画像データベースに含まれる画像データは、物体認識装置の製造者が登録してもよいし、ユーザが登録してもよい。また、物体認識装置は、装置内部の画像データベースと装置外部の画像データベースを含む複数の画像データベースを用いてもよい。
【００７３】
本発明にかかる物体認識装置は、デスクトップ型コンピュータ、ノート型コンピュータ、スレート型コンピュータ、スマートフォン、携帯電話機、デジタルカメラ、デジタルビデオカメラなど任意の情報処理装置（コンピュータ）として実装することができる。
【符号の説明】
【００７４】
１０，２００，３００：物体認識装置,
２０：カメラ，    ３０：画像データベース
１１０：領域抽出部，    １２０：類似画像検索部，    １３０：認識部
１４０：出力部，    １５０：タグ間相関度データベース
１６０：タグ−属性相関度データベース，    １７０：関心度算出部
【図１】
0006402653.tif 000002
【図２】
0006402653.tif 000003
【図３】
0006402653.tif 000004
【図４】
0006402653.tif 000005
【図５】
0006402653.tif 000006
【図６】
0006402653.tif 000007
【図７】
0006402653.tif 000008
【図８】
0006402653.tif 000009
【図９】
0006402653.tif 000010