(57)【要約】【課題】  被写体認識が困難な画像領域について、被写体種類を推定する。【解決手段】  本発明の被写体認識装置は、認識困難な画像領域と類似する画像領域を、別の画像データから探索する。この類似する画像領域を含む別の画像データについて被写体認識を実施し、類似する画像領域に映っている被写体種類を特定する。この被写体種類を、認識困難な画像領域に映っている被写体種類とみなすことで代替的に被写体認識を行う。【選択図】      図２
2008158976.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取り込む画像入力部と、
被写体種類を特定するための被写体条件から、前記画像データ中の被写体種類を特定する処理部とを備え、
前記処理部は、
前記画像データから被写体種類が認識できない画像領域を抽出する抽出部と、
前記認識できない画像領域と類似する画像領域を、前記画像入力部に取り込まれる別の画像データから探索する探索部と、
前記類似する画像領域に映っている被写体種類を特定し、前記被写体種類を前記認識できない画像領域の被写体種類とする認識部とを備えた
ことを特徴とする被写体認識装置。
【請求項２】
請求項１に記載の被写体認識装置において、
前記探索部は、前記認識できない画像領域を含む前記画像データと撮影時間差が予め定められた範囲に収まる前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索する
ことを特徴とする被写体認識装置。
【請求項３】
請求項１または請求項２に記載の被写体認識装置において、
前記探索部は、前記認識できない画像領域を含む前記画像データと撮影範囲が少なくとも一部重複する前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索する
ことを特徴とする被写体認識装置。
【請求項４】
請求項３に記載の被写体認識装置において、
前記探索部は、前記認識できない画像領域を含む前記画像データがクロップ処理後の場合、クロップ前の元画像データから前記類似する画像領域を探索する
ことを特徴とする被写体認識装置。
【請求項５】
請求項３に記載の被写体認識装置において、
前記探索部は、前記認識できない画像領域を含む前記画像データがズームレンズの望遠側で撮影されている場合、前記ズームレンズの広角側で撮影された別の画像データから前記類似する画像領域を探索する
ことを特徴とする被写体認識装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の被写体認識装置において、
前記探索部は、色の特徴およびパターンの特徴の少なくとも一方に基づいて、前記認識できない画像領域と類似する画像領域を、前記画像入力部から取り込まれる画像データから探索する
ことを特徴とする被写体認識装置。
【請求項７】
被写体種類を特定する被写体条件から、画像データに映っている被写体種類を特定する被写体認識ステップと、
認識された被写体種類に関連したキーワード情報を、前記画像データに対応付けて記録するステップとを備え、
前記被写体認識ステップは、
前記画像データから被写体種類の認識できない画像領域を抽出する抽出ステップと、
前記認識できない画像領域と類似する画像領域を、別の画像データから探索する探索ステップと、
前記類似する画像領域に映っている被写体種類を特定し、該被写体種類を前記認識できない画像領域に映っている被写体種類とする認識ステップとを備えた
ことを特徴とする画像検索方法。
【請求項８】
コンピュータを、請求項１ないし請求項６のいずれか１項に記載の被写体認識装置として機能させるための被写体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体認識装置、画像検索方法、および被写体認識プログラムに関する。
【背景技術】
【０００２】
従来、画像の顔認識技術のように、画像データに映っている顔部分を認識する技術が知られている。例えば、下記の特許文献１や特許文献２には、画像データの被写体を認識する装置が開示されている。
一方、インターネット上などの検索サイトでは、画像データに付随するテキスト情報（画像ファイル名、撮影日時情報など）をキーワード検索することにより、画像検索サービスを提供している。
【特許文献１】特開２００１−１１３０９７号公報
【特許文献２】特開２００１−３３０８８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述した被写体の認識技術では、画像データ中の被写体の配置状況や大きさによって、被写体認識が困難になる場合がある。
例えば、道路という被写体を、路面と左右の路肩（または中央分離線）とからなり、遠方の消失点を頂点とする略三角形状と定義し、そのパターン認識に従って道路を認識する。この場合、路肩の一部が画像データからはみ出すと、略三角形状の認識が困難になり、道路の被写体認識ができなくなる。
そこで、本発明では、被写体認識が難しい画像データであっても、被写体種類を認識する技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
《１》  本発明の被写体認識装置は、画像入力部、および処理部を備える。
画像入力部は、画像データを取り込む。
処理部は、被写体種類を特定するための被写体条件から、画像データ中の被写体種類を特定する。
さらに、処理部は、下記の抽出部、探索部、および認識部を備える。
抽出部は、画像データから被写体種類が認識できない画像領域を抽出する。
探索部は、認識できない画像領域と類似する画像領域を、画像入力部に取り込まれる別の画像データから探索する。
認識部は、類似する画像領域に映っている被写体種類を特定し、被写体種類を認識できない画像領域の被写体種類とする。
《２》  なお好ましくは、探索部は、認識できない画像領域を含む画像データと撮影時間差が予め定められた範囲に収まる別の画像データを選択し、選択された別の画像データから類似する画像領域を探索する。
《３》  また好ましくは、探索部は、認識できない画像領域を含む画像データと撮影範囲が少なくとも一部重複する別の画像データを選択し、選択された別の画像データから類似する画像領域を探索する。
《４》  なお好ましくは、探索部は、認識できない画像領域を含む画像データがクロップ処理後の場合、クロップ前の元画像データから類似する画像領域を探索する。
《５》  また好ましくは、探索部は、認識できない画像領域を含む画像データがズームレンズの望遠側で撮影されている場合、ズームレンズの広角側で撮影された別の画像データから類似する画像領域を探索する。
《６》  なお好ましくは、探索部は、色の特徴およびパターンの特徴の少なくとも一方に基づいて、認識できない画像領域と類似する画像領域を、画像入力部から取り込まれる画像データから探索する。
《７》  本発明の画像検索方法は、下記ステップを実行する。
(1)被写体種類を特定する被写体条件から、画像データに映っている被写体種類を特定する被写体認識ステップ
(2)認識された被写体種類に関連したキーワード情報を、画像データに対応付けて記録するステップ
さらに、上記の被写体認識ステップでは、被写体認識の困難な画像領域を、下記ステップに従って処理する。
(1A)画像データから被写体種類の認識できない画像領域を抽出する抽出ステップ
(1B)認識できない画像領域と類似する画像領域を、別の画像データから探索する探索ステップ
(1C)類似する画像領域に映っている被写体種類を特定し、該被写体種類を認識できない画像領域に映っている被写体種類とする認識ステップ
《８》  本発明の被写体認識プログラムは、コンピュータを、請求項１ないし請求項６のいずれか１項に記載の被写体認識装置として機能させるためのプログラムである。
【発明の効果】
【０００５】
本発明では、別の画像データによる被写体認識の結果から、被写体種類を特定することができる。
【発明を実施するための最良の形態】
【０００６】
図１は、画像検索システム１１の構成を示すブロック図である。
図１において、画像検索システム１１は、被写体認識装置１２、画像データベース１３、および端末装置１４（ユーザーのパソコンなど）を、インターネットなどの通信回線により通信接続して構成される。
なお、この画像検索システム１１を、コンピュータ単体で実現することにより、コンピュータ内に記憶される画像データを高速検索するシステムを構築してもよい。
この被写体認識装置１２は、画像入力部２１、被写体辞書部２２、および処理部２３を備えて構成される。この処理部２３には、特徴量演算部３１、特徴量記憶部３２、制御部３３、および被写体キーワード記憶部３４が設けられる。この制御部３３は、抽出部、探索部、および認識部としての機能を備える。
【０００７】
なお、このような被写体認識装置１２の一部または全部を、コンピュータ上で被写体認識プログラムを実行することによって、ソフトウェア的に実現してもよい。また、被写体認識装置１２の一部または全部を、ハードウェア的に実現してもよい。
【０００８】
以下、画像検索システム１１の動作について、具体的に説明する。
図２は、画像データの被写体認識とキーワード付与を説明する流れ図である。以下、この図２に示すステップ番号に沿って、動作説明を行う。
【０００９】
ステップＳ１：  画像入力部２１は、画像データベース１３のデータ更新を定期的に監視する。画像入力部２１は、この監視によって、画像データベース１３内にキーワード未付与の新規な画像データを発見すると、この画像データを取り込む。
【００１０】
ステップＳ２：  特徴量演算部３１は、取り込んだ画像データを画像領域に区分し、画像領域別に画像特徴量を抽出する。ここでの画像領域は、画像データを単純にタイル区分したものであってもよいし、絵柄の輪郭線に沿って区分したものでもよい。画像領域別に抽出された画像特徴量は、特徴量記憶部３２に記憶され、後述する被写体条件との照合に使用される。
【００１１】
この種の画像特徴量としては、例えば、下記のようなデータが好ましい。
(1)画像領域の色相ヒストグラム（色相の頻度をプロットしたもの）…風景被写体／人物被写体などを色傾向により認識する際に使用する。
(2)画像領域の抽出エッジ…エッジの形状（方向・強さなど）に基づいて特定被写体の認識に使用する。
(3)輪郭が閉曲線とみなせる領域…顔や物などの閉領域の認識に使用する。
(4)顔（肌色）部分の部分画像…特定個人の認識に使用する。
(5)唇付近の色…男女の認識に使用する。
(6)髪付近の色…男女や高齢者の認識に使用する。
(7)画像内のテクスチャー…目／鼻／口／衣服の模様／草原／樹林などの認識に使用する。
(8)縦ラインの頻度…建物／樹林などの認識に使用する。
(9)画面を横断する横ライン…水平線／地平線などの認識に使用する。
(10)画像領域の推定色温度…室内／屋外などの認識に使用する。
(11)画像領域の画素値…パターンマッチングに使用する。
(12)ＧＰＳ情報、撮影日時、被写体距離、露出情報、音声データ、画像の縦、横方向を示す情報、焦点制御情報などの付随情報
【００１２】
ステップＳ３：  被写体辞書部２２の被写体辞書には、個々の被写体種類を特定するための被写体条件が予め登録されている。制御部３３は、上述した画像領域別の画像特徴量を、これらの被写体条件に逐一照合することにより、その画像領域に被写体種類が映っているか否かを判断する。
例えば、人物については、色相ヒストグラムに肌色の高頻度分布が現れるなどの被写体条件が成立すれば、その画像領域に人物被写体が映っていると判断する。
また例えば、風景については、色相ヒストグラムに青色や緑色の高頻度分布が現れ、かつ被写体距離が遠方であるなどの被写体条件が成立すれば、その画像領域に風景被写体が映っていると判断する。
また例えば、道路については、水平線の高さ付近に頂点（遠近法の消失点）を有する略三角形状をなし、かつ路面色（アスファルト色や土色など）を呈する場合に、その画像領域に道路が映っていると判断する。
【００１３】
ステップＳ４：  制御部３３は、画像領域の中から、被写体種類の特定ができない画像領域（認識困難領域）を抽出する。
例えば、この認識困難領域には、ステップＳ３においていずれの被写体条件も満足しなかった画像領域を選ぶことが好ましい。
また例えば、この認識困難領域には、ステップＳ３において被写体条件との合致度合いが低く、被写体認識の信頼性の低い画像領域を選ぶことが好ましい。
【００１４】
ステップＳ５：  制御部３３は、ステップＳ４において画像データに認識困難領域が存在するか否かを判定する。
画像データに認識困難領域が存在した場合、制御部３３はステップＳ６に動作を移行する。
また、画像データに認識困難領域が存在しない場合、制御部３３はステップＳ１０に動作を移行する。
【００１５】
ステップＳ６：  一般に、認識ができない理由については、画像データに被写体の一部しか映っていない、または被写体が小さく映っている、あるいは被写体の一部が別の被写体に隠れているといったケースが多い。そこで、本実施形態では、該当する被写体がより確実に映っている別の画像データを選別し、その別の画像データから、認識困難領域の被写体を推定する。
そこで、取得可能な画像データの全てを、別の画像データの選択候補としてもよい。しかしながら、画像データの数が多くなれば、別の画像データの選別に時間がかかってしまう。そこで、本ステップでは、絵柄が一部重複する可能性がある画像候補をまず粗く選別する。
【００１６】
この種の選別条件としては、例えば、下記のいずれか一つが好ましい。
（条件１）認識困難領域が抽出された画像データと、撮影時間の差が所定範囲内（撮影時間が近いもの）。撮影時間が近いことによって、同一シーンの可能性が高いものを選別できる。例えば、一連の連写画像，一コマ〜数十コマ前後に撮影された画像，撮影時間の差が数秒以内、数分以内、または２時間以内の画像，もしくは同日に撮影された画像などが選別される。なお、撮影時間差が小さい画像から順に所定画像数を選別してもよい。
（条件２）認識困難領域が抽出された画像データがクロップ処理後の場合、クロップ処理前の元画像データを選別する。この場合、画像周辺域の同一被写体がより完全に映っているものを選別できる。
（条件３）認識困難領域が抽出された画像データがズームレンズの望遠側で撮影された場合、ズームレンズの広角側で撮影された画像データを選別する。この場合、画像周辺域の同一被写体がより完全に映っているものを選別できる。
（条件４）認識困難領域が抽出された画像データよりも、撮影距離の長い画像データを選別する。この場合、画像周辺域の同一被写体がより完全に映っているものを選別できる。
（条件５）認識困難領域が抽出された画像データと、同じイベント（結婚式など）の画像データを選別する。同じイベントで撮影された画像データであれば、同一被写体が映っている可能性が高い。このイベントの自動判別には、撮影者が画像データに書き込んだイベントのコメント情報などを参照することで可能になる。また、画像中で認識されたその他の被写体種類から、イベントを類推することも可能である。
（条件６）認識困難領域が抽出された画像データと、撮影位置が所定距離内に収まる画像データを選別する。同じ地点で撮影された画像データであれば、同一被写体が映っている可能性が高い。なお、この種の撮影位置には、ＧＰＳ（Global Positioning System）情報などが使用できる。撮影位置情報は画像データに関連付けられて画像データベース１３に記憶されている。
（条件７）小さな認識困難領域が画像のフレーム枠から離れている場合、被写体が小さいために被写体認識が困難になったと想定される。この状況では、ズームレンズの望遠側の画像データ、または撮影距離の短い画像データを選別する。選別された画像データには、同一被写体がより大きく映っている可能性が高くなる。
【００１７】
なお、これら個々の選別条件のいくつかを組み合わせて、論理和を取ることによって、画像データの選別候補の数を増やしてもよい。
また、これら個々の選別条件のいくつかを組み合わせて、論理積を取ることによって、画像データの選別候補の数を適宜に絞ってもよい。
【００１８】
ステップＳ７：  制御部３３は、ステップＳ６で粗く選別された画像データの中から、認識困難領域と類似する類似領域を探索する。ここでは、パターンおよび／または色の特徴などの画像特徴量が認識困難領域に一致するか否かによって、類似領域を探索することが好ましい。
【００１９】
なお、類似領域の探索に先立って、次のような事前処理を実施することが好ましい。
まず、認識困難領域と類似領域とで画像サイズ（撮影倍率）が異なる状況では、画像拡大または画像縮小の処理により、両領域の画像サイズ（撮影倍率）を予め揃えておくことが好ましい。この場合の撮影倍率については、画像データを撮影した際のカメラの焦点距離および撮影距離などのデータから情報取得することができる。
【００２０】
また、縦位置撮影と横位置撮影の違いから、認識困難領域と類似領域とで画像の向きが異なる状況では、画像の縦横変換の処理により、両領域の向きを予め揃えておくことが好ましい。この種の画像向きについては、画像データのＥＸＩＦ情報などから求めることができる。
【００２１】
ステップＳ８：  制御部３３は、類似領域を有する別の画像データに対して、ステップＳ２，３と同様の被写体認識を実施し、類似領域（または類似領域を包含する領域）に映っている被写体種類を特定する。
なお、別の画像データについて被写体認識を既に完了している場合は、制御部３３は、この認識結果を活用することで、類似領域（または類似領域を包含する領域）に映っている被写体種類を迅速に特定してもよい。
【００２２】
ステップＳ９：  制御部３３は、ステップＳ８で求めた類似領域の被写体種類を、認識困難領域の被写体種類とする。
【００２３】
ステップＳ１０：  制御部３３は、ステップＳ３またはステップＳ９で特定された被写体種類に関連するキーワードを、ステップＳ１で取り込んだ画像データに対応付けて、被写体キーワード記憶部３４に記録する。
【００２４】
ステップＳ１１：  制御部３３は、被写体辞書部２２から被写体辞書のバージョン情報を取得し、この画像データに対応付けて被写体キーワード記憶部３４に記録する。
以上の動作により、画像データに対する被写体認識と、キーワード付与の処理が完了する。
図３は、本実施形態における画像検索を説明する流れ図である。以下、図３に示すステップ番号に沿って、この動作を説明する。
【００２５】
ステップＳ４１：  ユーザーは、所望の被写体が映っている画像データを検索するため、その被写体に関連するキーワードを端末装置１４に入力する。端末装置１４は、この入力キーワードを制御部３３に伝達する。
【００２６】
ステップＳ４２：  制御部３３は、被写体キーワード記憶部３４に入力キーワードを照会し、入力キーワードに合致または類似する画像データを選び出す。
【００２７】
ステップＳ４３：  制御部３３は、ステップＳ４２で選出された画像データのサムネイルを並べて、リンク付きサムネイル頁を作成する。制御部３３は、作成したサムネイル頁のデータを、画像検索結果として端末装置１４に転送する。ユーザーは、端末装置１４を用いてこのサムネイル頁を閲覧し、サムネイル頁のリンクを辿ることで、探索結果である画像データにアクセスすることができる。
【００２８】
この動作により、画像データ群の中から、入力キーワードに関連する被写体が映っているものを迅速に検索することが可能になる。
本実施形態では、画像データ中に被写体認識の困難な画像領域が存在した場合、別の画像データの類似領域を代わりに使って被写体認識を行う。このような代替的な被写体認識の処理によって、被写体認識な困難な画像領域についても被写体種類を特定することが可能になる。なお、被写体の種類には被写体を個別に特定することが含まれてもよい。
【００２９】
例えば、図４に示す画像データＡには、道路の右側の路肩が部分的に映っている。そのため、この路肩部分の画像領域は、道路の被写体条件（略三角の輪郭形状）を満足せず、認識困難な領域となる。この場合、本実施形態では、画像データＡに拘らず、認識困難領域（すなわち路肩部分）が類似する別の画像データＢを、被写体認識の処理対象に加える。この別の画像データＢは、画像データＡの前後にパンニング撮影された画像データであり、画像データＡでフレームアウトしていた道路がほぼ完全な形状で映っている。したがって、画像データＢについて被写体認識を行うことによって、画像データＡの認識困難領域を道路と特定することが可能になる。
【００３０】
また例えば、図５に示す画像データＣにも、道路の右側の路肩が部分的に映っている。この場合も、路肩部分の画像領域については認識困難領域となる。この場合、画像データＣに拘らず、認識困難領域（すなわち路肩部分）が類似する別の画像データＤを、被写体認識の処理対象に加える。この画像データＤは、画像データＣのクロップ前の画像データであり、画像データＣでフレームアウトしていた道路がほぼ完全な形状で映っている。したがって、画像データＤについて被写体認識を行うことによって、画像データＣの認識困難領域を道路と特定することが可能になる。
【００３１】
また、本実施形態では、認識困難な領域を含む画像データと撮影時間差が予め定められた範囲に収まる別の画像データを選択し、選択された別の画像データから、類似する画像領域の探索を行う。一般に、撮影時間に関連が強い（撮影時間間隔が短いなど）画像データ間では、共通の被写体が映っている可能性が高く、類似領域を効率良く探索することができる。
【００３２】
また、本実施形態では、認識困難領域を含む画像データがクロップ処理後の場合、クロップ前の元画像データから類似領域を探索する。クロップ前の元画像データには、認識困難領域と共通の被写体がより完全に映っている可能性が高く、類似領域を効率良く探索することができる。
【００３３】
さらに、本実施形態では、認識困難領域を含む画像データがズームレンズの望遠側で撮影されている場合、ズームレンズの広角側で撮影された別の画像データから類似領域を探索する。広角側で撮影された別の画像データは撮影範囲が広いために、認識困難領域と共通の被写体がより完全に映っている可能性が高く、類似領域を効率良く探索することができる。
【００３４】
また、本実施形態では、認識困難領域と色の特徴が合致することを条件として、類似領域を探索する。この場合、画像データが手ブレやピントズレによって不鮮明な場合でも、類似領域の探索が可能になる。そのため、手ブレやピントズレを原因として被写体認識が困難になった領域についても、類似領域を利用して被写体種類を特定することができる。
【００３５】
さらに、本実施形態では、認識困難領域とパターン（輪郭形状またはテクスチャー）の特徴が合致することを条件として、類似領域を探索する。この場合、色の特徴の少ない認識困難領域であっても、パターンの特徴に従って類似領域を厳密に探索することができる。
【００３６】
なお、上述した実施形態では、画像検索の用途を中心に説明した。しかしながら、この用途に限定されるものではない。例えば、画像データに映っている被写体種類を判別し、その被写体種類に対応する画像処理（画質調整を含む）を画像データに施してもよい。この動作により、被写体種類に適した画像処理を選択実行する画像処理装置を実現することができる。
【００３７】
また、上述した実施形態では、画像データから画像特徴量を抽出している。しかしながら、これに限定されるものではない。被写体種類を示すテンプレート画像（被写体条件に相当）と画像データとをパターンマッチングで照合することにより、画像データ内に被写体種類が映っているか否かを判定してもよい。
【００３８】
なお、上述した実施形態では、被写体キーワード記憶部３４に画像データのキーワードや被写体辞書のバージョン情報を記録している。しかしながら、これに限定されるものではない。画像データのファイル内（例えばEXIFデータなど）に、キーワード情報および／または被写体辞書のバージョン情報を記録してもよい。
【００３９】
また、上述した実施形態では、色またはパターンの特徴が認識困難領域と類似することを条件として、類似領域を探索する。しかしながら、本発明はこれに限定されるものではない。例えば、明るさなどの特徴が類似することを条件として、類似領域を探索してもよい。また、公知のブロックマッチング処理を用いて画像間の動きベクトルを求めることによって、認識困難領域に対応する類似領域を求めてもよい。
【産業上の利用可能性】
【００４０】
以上説明したように、本発明は、画像検索システム、被写体認識装置、画像処理装置などに利用可能な技術である。
【図面の簡単な説明】
【００４１】
【図１】画像検索システム１１の構成を示すブロック図である。
【図２】画像データの被写体認識とキーワード付与を説明する流れ図である。
【図３】本実施形態における画像検索を説明する流れ図である。
【図４】被写体認識の一例を示す図である。
【図５】被写体認識の一例を示す図である。
【符号の説明】
【００４２】
１１…画像検索システム，１２…被写体認識装置，１３…画像データベース，１４…端末装置，２１…画像入力部，２２…被写体辞書部，２３…処理部，３１…特徴量演算部，３２…特徴量記憶部，３３…制御部，３４…被写体キーワード記憶部
【図１】
2008158976.tif 000003
【図２】
2008158976.tif 000004
【図３】
2008158976.tif 000005
【図４】
2008158976.tif 000006
【図５】
2008158976.tif 000007