(57)【要約】【課題】被写体の内容を認識する。【解決手段】複数のオブジェクトの各々について、オブジェクトが撮影された画像の画像特徴量とオブジェクトの内容を表すオブジェクト情報を記録するデータベースと、一の画像又は一の画像を縮小した縮小画像を取得する画像取得手段と、縮小画像から一の画像に写されている被写体を検出する被写体検出手段と、被写体検出手段が被写体を検出できた場合に縮小画像から画像特徴量を抽出し、抽出した画像特徴量とデータベースに記録された画像特徴量を比較することにより、被写体情報を抽出する第１の被写体情報抽出手段と、被写体検出手段が被写体を検出でき、かつ第１の被写体情報抽出手段が被写体情報を抽出できなかった場合に、一の画像から画像特徴量を抽出し、抽出した画像特徴量とデータベースに記録された画像特徴量を比較することにより、被写体情報を抽出する第２の被写体情報抽出手段と、を備える。【選択図】図１
2007323382.tif 000002
【特許請求の範囲】
【請求項１】
複数のオブジェクトの各々について、当該オブジェクトが撮影された画像の画像特徴量と当該オブジェクトの内容を表すオブジェクト情報を記録するデータベースと、
一の画像又は当該一の画像を縮小した縮小画像を取得する画像取得手段と、
前記縮小画像から、前記一の画像に写されている被写体を検出する被写体検出手段と、
前記被写体検出手段が前記被写体を検出できた場合に、前記縮小画像から画像特徴量を算出し、算出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体の内容を表す被写体情報として抽出する第１の被写体情報抽出手段と、
前記被写体検出手段が前記被写体を検出でき、かつ前記第１の被写体情報抽出手段が前記被写体情報を抽出できなかった場合に、前記一の画像から画像特徴量を算出し、算出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出する第２の被写体情報抽出手段と、を備えることを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置であって、
前記被写体検出手段は、前記縮小画像の中の前記被写体が存在する領域を示す被写体領域を検出し、
前記第１の被写体情報抽出手段は、前記被写体領域から画像特徴量を抽出することを特徴とする画像認識装置。
【請求項３】
請求項２に記載の画像認識装置であって、
前記被写体検出手段は、前記縮小画像の特徴に基づいて被写体の輪郭を抽出することにより前記被写体領域を検出することを特徴とする画像認識装置。
【請求項４】
請求項２に記載の画像認識装置であって、
前記被写体検出手段は、前記縮小画像から２つ以上の前記被写体領域を検出した場合は、２つ以上の前記被写体領域の位置又は大きさに基づいて、２つ以上の前記被写体領域から一つの前記被写体領域を選択することを特徴とする画像認識装置。
【請求項５】
請求項２に記載の画像認識装置であって、
前記第２の被写体情報抽出手段は、前記被写体領域に対応する前記一の画像の中の領域から画像特徴量を抽出することを特徴とする画像認識装置。
【請求項６】
請求項２に記載の画像認識装置であって、
前記第１の被写体情報抽出手段及び前記第２の被写体情報抽出手段は、前記被写体領域から算出される前記被写体の形状又は大きさを前記被写体情報に含めることを特徴とする画像認識装置。
【請求項７】
請求項１に記載の画像認識装置であって、
前記第１の被写体情報抽出手段及び前記第２の被写体情報抽出手段は、前記一の画像に付加された情報であるメタデータを前記被写体情報に含めることを特徴とする画像認識装置。
【請求項８】
請求項１に記載の画像認識装置であって、
前記第２の被写体情報抽出手段による前記被写体情報の抽出を行うかどうかを確認するための指示を入力する第１の確認手段をさらに備えることを特徴とする画像認識装置。
【請求項９】
請求項１に記載の画像認識装置であって、
前記被写体情報を編集するためのユーザーインターフェースを表示して、前記被写体情報を編集する被写体情報編集手段と、
前記被写体情報編集手段による前記被写体情報の編集を行うかどうかを確認するための指示を入力する第２の確認手段をさらに備え、
前記第２の確認手段は、前記第１の被写体情報抽出手段が抽出した前記被写体情報の確信度、又は前記第２の被写体情報抽出手段が抽出した前記被写体情報の確信度に基づいて、前記被写体情報の編集をするかどうかを確認することを特徴とする画像認識装置。
【請求項１０】
一の画像又は当該一の画像を縮小した縮小画像を取得する画像取得工程と、
前記縮小画像から、前記一の画像に撮影された被写体を検出する被写体検出工程と、
複数のオブジェクトの各々について、当該オブジェクトが撮影された画像の画像特徴量と当該オブジェクトの内容を表すオブジェクト情報を記録したデータベースを用いて、前記縮小画像から前記被写体の内容を表す被写体情報を抽出する第１の被写体情報抽出工程と、
前記データベースを用いて、前記一の画像から前記被写体情報を抽出する第２の被写体情報抽出工程と、を有し、
前記第１の被写体情報抽出工程は、前記被写体検出工程が前記被写体を検出できた場合に、前記縮小画像から画像特徴量を抽出し、抽出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出し、
前記第２の被写体情報抽出工程は、前記被写体検出工程が前記被写体を検出でき、かつ前記第１の被写体情報抽出工程が前記被写体情報を抽出できなかった場合に、前記一の画像から画像特徴量を抽出し、抽出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出することを特徴とする画像認識方法。
【請求項１１】
一の画像又は当該一の画像を縮小した縮小画像を取得する画像取得機能と、
前記縮小画像から、前記一の画像に撮影された被写体を検出する被写体検出機能と、
複数のオブジェクトの各々について、当該オブジェクトが撮影された画像の画像特徴量と当該オブジェクトの内容を表すオブジェクト情報を記録したデータベースを用いて、前記縮小画像から前記被写体の内容を表す被写体情報を抽出する第１の被写体情報抽出機能と、
前記データベースを用いて、前記一の画像から前記被写体情報を抽出する第２の被写体情報抽出機能と、をコンピュータに実現させ、
前記第１の被写体情報抽出機能は、前記被写体検出機能が前記被写体を検出できた場合に、前記縮小画像から画像特徴量を抽出し、抽出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出し、
前記第２の被写体情報抽出機能は、前記被写体検出機能が前記被写体を検出でき、かつ前記第１の被写体情報抽出機能が前記被写体情報を抽出できなかった場合に、前記一の画像から画像特徴量を抽出し、抽出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出することを特徴とする画像認識プログラム。
【請求項１２】
請求項１１に記載の画像認識プログラムをコンピュータに読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの内容を認識する、特に画像データに撮影されている被写体の内容を認識する画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラなどで撮影した大量の撮影画像の中から、犬、猫などの所望の被写体が撮影されている撮影画像を検索する技術が検討されてきている。こうした検索技術では、撮影画像に撮影されている被写体の名称などの被写体の内容を認識する技術が重要である。被写体の内容の認識は、犬、猫など検索対象になり得るオブジェクトを撮影したサンプル画像から抽出した画像特徴量と、撮影画像から抽出した画像特徴量を比較することにより行われる。特許文献１の被写体認識装置は、撮影画像から被写体を検出し、検出した被写体の画像特徴量を用いて被写体の内容を認識する。また、特許文献２には、認識処理を高速化するために、撮影画像を縮小したサムネイル画像から認識に使用する画像特徴量を抽出する技術が開示されている。
【０００３】
【特許文献１】特許第３００８２３３号公報
【特許文献２】特開２００５−２３５１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、デジタルスチルカメラで撮影した撮影画像は非常に画素数が多いため、撮影画像から被写体を検出し、検出した被写体の画像特徴量から被写体の内容を認識する処理時間が長くなる。そのため、検索対象とする撮影画像が多くなると、実用的な時間内に被写体の内容を認識することができなくなるという問題がある。また、特許文献２の技術は、画像特徴量を抽出するための処理時間を短縮するために、画素数の少ないサムネイル画像から画像特徴量を抽出する。しかし、サムネイル画像では撮影されている被写体が小さくなりすぎて潰れてしまう場合がある。そのため、サムネイル画像から抽出した画像特徴量を用いて被写体の内容の認識をすると被写体の認識精度が悪くなる場合がある。
【０００５】
本発明は、このような従来の問題点に着目してなされたもので、その目的は、被写体の内容の認識を高い精度で実行すると共に、高速に被写体の内容の認識ができる画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る画像認識装置は、上記課題を解決すべく、基本的に、複数のオブジェクトの各々について、当該オブジェクトが撮影された画像の画像特徴量と当該オブジェクトの内容を表すオブジェクト情報を記録するデータベースと、一の画像又は当該一の画像を縮小した縮小画像を取得する画像取得手段と、前記縮小画像から、前記一の画像に写されている被写体を検出する被写体検出手段と、前記被写体検出手段が前記被写体を検出できた場合に、前記縮小画像から画像特徴量を算出し、算出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体の内容を表す被写体情報として抽出する第１の被写体情報抽出手段と、前記被写体検出手段が前記被写体を検出でき、かつ前記第１の被写体情報抽出手段が前記被写体情報を抽出できなかった場合に、前記一の画像から画像特徴量を算出し、算出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出する第２の被写体情報抽出手段と、を備えることを要旨とする。
【０００７】
本発明に係る画像認識装置によれば、第１の被写体情報抽出手段は、画像取得手段が取得した縮小画像から被写体検出手段が被写体を検出できた場合に、縮小画像から画像特徴量を算出し、算出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、被写体に類似するオブジェクトのオブジェクト情報を被写体情報として抽出する。第２の被写体情報抽出手段は、被写体検出手段が被写体を検出でき、かつ第１の被写体情報抽出手段により被写体情報が抽出できなかった場合に、一の画像から画像特徴量を算出し、算出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、被写体に類似するオブジェクトのオブジェクト情報を被写体情報として抽出する。このようにして、第１の被写体情報抽出手段また第２の被写体情報抽出手段から抽出された被写体情報が一の画像に撮影されている被写体の内容を表す情報になる。
【０００８】
こうすれば、被写体検出手段が一の画像に撮影されている被写体を縮小画像から検出できた場合だけ、第１の被写体情報抽出手段又は第２の被写体情報抽出手段が被写体情報を抽出する。そのため、被写体が検出できない場合、すなわち、一の画像に被写体が写っていない場合は、画像取得手段による縮小画像の取得と、被写体検出手段による被写体の検出だけ行うことになる。こうすれば、被写体が写っていない画像のような被写体の内容の認識をする必要のない画像に対する処理を早くすることができる。しかも、被写体の検出は画素数の少ない縮小画像から行うので高速に処理できる。
【０００９】
また、第１の被写体情報抽出手段は、画素数の少ない縮小画像から画像特徴量を抽出し、データベースに格納されているオブジェクトの画像特徴量と比較するので、被写体情報を抽出する時間を短くすることができる。また、縮小画像では、被写体が小さくなりすぎて被写体の内容の認識が失敗する場合、すなわち、第１の被写体情報抽出手段が被写体情報の抽出ができない場合は、縮小していない一の画像を用いて被写体の内容を認識するので、縮小画像から被写体の内容を認識することに伴う認識精度の低下を防ぐことができる。
【００１０】
また、上記した本発明に係る画像認識装置では、前記被写体検出手段は、前記縮小画像の中の前記被写体が存在する領域を示す被写体領域を検出し、前記第１の被写体情報抽出手段は、前記被写体領域から画像特徴量を抽出する。
【００１１】
こうすれば、第１の被写体情報抽出手段は、被写体の存在する領域から画像特徴量を抽出すれば良いので、縮小画像全体から画像特徴量を抽出する場合に比べて処理時間を早くすることができる。
【００１２】
また、上記した本発明に係る画像認識装置は、前記被写体検出手段は、前記縮小画像の特徴に基づいて被写体の輪郭を抽出することにより前記被写体領域を検出する。
【００１３】
こうすれば、被写体検出手段が抽出した被写体の輪郭により被写体領域を検出することができるので、被写体領域をより明確にすることができる。
【００１４】
また、上記した本発明に係る画像認識装置は、前記被写体検出手段は、前記縮小画像から２つ以上の前記被写体領域を検出した場合は、２つ以上の前記被写体領域の位置又は大きさに基づいて、２つ以上の前記被写体領域から一つの前記被写体領域を選択する。
【００１５】
こうすれば、２つ以上被写体領域を検出した場合に、被写体領域の位置又は大きさに基づいて一つの被写体領域を選択することができる。例えば、画像の中央に近い位置にある被写体領域又は他の被写体よりも大きい被写体領域を選択することによって、撮影者が撮影したかった被写体を選択することができる。このように、被写体領域の位置又は大きさに基づいて被写体領域を選択することで、撮影者が撮影したかった被写体を選択することができる。
【００１６】
また、上記した本発明に係る画像認識装置によれば、前記第２の被写体情報抽出手段は、前記被写体領域に対応する前記一の画像の中の領域から画像特徴量を抽出する。
【００１７】
こうすれば、第２の被写体情報抽出手段が画像特徴量を抽出する時間を早くすることができる。
【００１８】
また、上記した本発明に係る画像認識装置は、前記第１の被写体情報抽出手段及び前記第２の被写体情報抽出手段は、前記被写体領域から算出される前記被写体の形状又は大きさを前記被写体情報に含める。
【００１９】
こうすれば、画像認識装置が抽出した被写体情報を画像検索で利用する場合に、被写体の情報だけでなく、被写体が撮影されている位置又は被写体の大きさで検索することができる。
【００２０】
また、上記した本発明に係る画像認識装置は、前記第１の被写体情報抽出手段及び前記第２の被写体情報抽出手段は、前記一の画像に付加された情報であるメタデータを前記被写体情報に含める。
【００２１】
こうすれば、画像認識装置が抽出した被写体情報を画像検索で利用する場合に、被写体の情報だけでなく、一の画像に付加されたメタデータで検索することができる。メタデータに一の画像が撮影された日時があれば、被写体の情報に加えて、日時で検索できることになる。
【００２２】
また、上記した本発明に係る画像認識装置は、前記第２の被写体情報抽出手段による前記被写体情報の抽出を行うかどうかを確認するための指示を入力する第１の確認手段をさらに備える。
【００２３】
こうすれば、第２の被写体情報抽出手段による処理時間の長い一の画像から被写体情報の抽出を実行するかどうかを本発明の画像認識装置の利用者が指示することができる。
【００２４】
また、本発明に係る画像認識装置は、前記被写体情報を編集するためのユーザーインターフェースを表示して、前記被写体情報を編集する被写体情報編集手段と、前記被写体情報編集手段による前記被写体情報の編集を行うかどうかを確認するための指示を入力する第２の確認手段をさらに備え、前記第２の確認手段は、前記第１の被写体情報抽出手段が抽出した前記被写体情報の確信度、又は前記第２の被写体情報抽出手段が抽出した前記被写体情報の確信度に基づいて、前記被写体情報の編集をするかどうかを確認する。
【００２５】
第１の被写体情報抽出手段又は第２の被写体情報抽出手段が抽出した被写体情報の確信度に基づいて、第２の確認手段は被写体情報の編集を行うかどうかの確認をする。被写体情報編集手段は、第２の確認手段により被写体情報の編集を行う指示が入力された場合に、被写体情報の編集を行うためのユーザーインターフェースを表示して被写体情報を編集する。こうすれば、第１の被写体情報抽出手段又は第２の被写体情報抽出手段が抽出した被写体情報の確信度が低いとき、すなわち、被写体情報が間違っている可能性があるときに被写体情報編集手段により被写体情報の修正を行うことができる。
【００２６】
また、上記した本発明の画像認識装置に対応する画像認識方法は、一の画像又は当該一の画像を縮小した縮小画像を取得する画像取得工程と、前記縮小画像から、前記一の画像に撮影された被写体を検出する被写体検出工程と、複数のオブジェクトの各々について、当該オブジェクトが撮影された画像の画像特徴量と当該オブジェクトの内容を表すオブジェクト情報を記録したデータベースを用いて、前記縮小画像から前記被写体の内容を表す被写体情報を抽出する第１の被写体情報抽出工程と、前記データベースを用いて、前記一の画像から前記被写体情報を抽出する第２の被写体情報抽出工程と、を有し、前記第１の被写体情報抽出工程は、前記被写体検出工程が前記被写体を検出できた場合に、前記縮小画像から画像特徴量を抽出し、抽出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出し、前記第２の被写体情報抽出工程は、前記被写体検出工程が前記被写体を検出でき、かつ前記第１の被写体情報抽出工程が前記被写体情報を抽出できなかった場合に、前記一の画像から画像特徴量を抽出し、抽出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出することを要旨とする。
【００２７】
また、上記した本発明の画像認識装置に対応する画像認識プログラムは、一の画像又は当該一の画像を縮小した縮小画像を取得する画像取得機能と、前記縮小画像から、前記一の画像に撮影された被写体を検出する被写体検出機能と、複数のオブジェクトの各々について、当該オブジェクトが撮影された画像の画像特徴量と当該オブジェクトの内容を表すオブジェクト情報を記録したデータベースを用いて、前記縮小画像から前記被写体の内容を表す被写体情報を抽出する第１の被写体情報抽出機能と、前記データベースを用いて、前記一の画像から前記被写体情報を抽出する第２の被写体情報抽出機能と、をコンピュータに実現させ、前記第１の被写体情報抽出機能は、前記被写体検出機能が前記被写体を検出できた場合に、前記縮小画像から画像特徴量を抽出し、抽出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出し、前記第２の被写体情報抽出機能は、前記被写体検出機能が前記被写体を検出でき、かつ前記第１の被写体情報抽出機能が前記被写体情報を抽出できなかった場合に、前記一の画像から画像特徴量を抽出し、抽出した画像特徴量と前記データベースに記録された画像特徴量を比較することにより、前記被写体に類似する前記オブジェクトの前記オブジェクト情報を前記被写体情報として抽出することを要旨とする。
【００２８】
また、本発明は、上記した画像認識プログラムを記録した記録媒体としても捉えることができる。記録媒体としてはフレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＩＣカード、パンチカードなど、コンピュータが読み取り可能な様々な媒体を利用できる。
【００２９】
上記した画像認識方法、画像認識プログラム、及び記録媒体によれば、本発明の画像認識装置と同等の効果が得られる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明を具体化した実施例について図面を用いて説明する。
【実施例１】
【００３１】
図１は、本発明の画像認識装置を用いた画像検索システムの概略構成を説明するための説明図である。この画像検索システムは、画像認識装置１００、検索対象の画像の各々について画像認識装置１００が認識した結果をインデックスデータベース２００に格納するインデックスデータ作成部１９０、インデックスデータベース２００を用いて画像を検索する画像検索部２１０から構成される。
【００３２】
画像認識装置１００は、検索対象とする複数の画像ファイルを解析して、各画像ファイルに撮影されている被写体の名称などの情報及び撮影日など画像ファイルに付加されているメタデータを被写体情報として抽出する。
【００３３】
インデックスデータ作成部１９０は、画像認識装置１００が抽出した被写体情報と画像ファイル名を対応付けたデータをインデックスデータベース２００に格納する。また、被写体情報と画像ファイル名をインデックスデータベース２００に格納する際には、被写体の名称などをキーとして画像ファイルを検索できるようにする。
【００３４】
画像検索部２１０は、画像検索用に用意されたユーザーインターフェース（図示略）にて画像検索システムの利用者が指定した検索クエリに従って、インデックスデータベース２００を検索し、検索クエリに合致する画像ファイルを利用者に提示する。
【００３５】
次に、画像認識装置１００の構成の詳細を説明する。
【００３６】
画像取得手段１１０は、検索対象の画像ファイルから、画像データ（以下、本画像と呼ぶ）、本画像を縮小した縮小画像、及び画像ファイルに付加されているメタデータを取得する。
【００３７】
被写体検出手段１２０は、画像取得手段１１０が取得した縮小画像から被写体の存在する画素データの位置を示す被写体領域を検出する。
【００３８】
サンプル画像データベース１４０は、様々なオブジェクトを撮影した画像の特徴を表す画像特徴量をオブジェクトの名称と共に格納する。
【００３９】
第１の被写体情報抽出手段１３０は、縮小画像のなかの被写体領域に相当する画素データから画像特徴量を算出し、算出した画像特徴量に最も類似するサンプル画像データベース１４０の画像特徴量から、本画像に撮影されている被写体の名称などを示す被写体情報を抽出する。
【００４０】
第１の確認手段１６０は、第１の被写体情報抽出手段１３０が被写体情報を抽出できなかった画像に対して、第２の被写体情報抽出手段１５０による被写体情報の抽出を行うかどうかを画像検索システムの利用者に確認する。
【００４１】
第２の被写体情報抽出手段１５０は、本画像のなかの被写体領域に相当する画素データから画像特徴量を算出し、算出した画像特徴量に最も類似するサンプル画像データベース１４０のなかの画像特徴量から本画像に撮影されている被写体の名称などを示す被写体情報を抽出する。
【００４２】
第２の確認手段１７０は、第１の被写体情報抽出手段１３０又は第２の被写体情報抽出手段１５０が抽出した被写体情報の確信度が低い画像データに対して、被写体情報を編集するかどうかを利用者に確認する。実施例１では、確信度として、縮小画像又は本画像から算出した画像特徴量とサンプル画像データベース１４０のなかの画像特徴量とが類似しているかどうかを示す類似度を用いる。
【００４３】
被写体情報編集手段１８０は、第２の確認手段１７０により、被写体情報を編集することが利用者により指示された場合に、被写体情報を利用者に編集させる。
【００４４】
以上の構成の画像認識装置１００を含む画像検索システムは、上記の各部における処理をソフトウェアプログラムで実現し、その処理プログラムをインストールしたコンピュータにより構成される。このコンピュータ（図示なし）は、ＣＰＵ，ＲＯＭ，ＲＡＭ，ハードディスク、インターフェース等を備え、キーボード、ディスプレイ等と接続された一般的な計算機である。このコンピュータのＲＯＭには処理プログラムが記憶され、ＣＰＵが処理プログラムを実行することにより、画像認識装置１００及び画像検索システムとして機能する。ハードディスクには、複数の検索対象の画像ファイル、サンプル画像データベース１４０、インデックスデータベース２００が格納され、これらのデータは、ＣＰＵにより読み取られて処理される。また、これらのデータは、コンピュータにインターフェースを介して接続されるメモリカードなどの外部記憶装置に格納されても良い。
【００４５】
以下に、このコンピュータでＣＰＵにより実行される上記各部の処理について、図２のフローチャートを用いて説明する。
【００４６】
処理を開始すると、ＣＰＵは、検索対象とする画像ファイル群から画像ファイルのリストを作成する（ステップＳ１００）。このリストには、ハードディスクなどに格納された画像ファイルのファイル名など、検索対象とする画像ファイルを一意に特定するための情報が格納される。
【００４７】
次に、ＣＰＵは、リストにある画像ファイルから、まだ処理がされていない画像ファイルを一つ選択し、選択された画像ファイルから縮小画像を取得し、縮小画像の被写体領域を検出する（ステップＳ１１０）。縮小画像は、画像ファイルの中に縮小画像が含まれていれば、画像ファイルから縮小画像を取り出して取得する。縮小画像が含まれていない画像ファイルの場合は、本画像の画素データを間引くなどして縮小画像を作成する。
【００４８】
そして、取得した縮小画像から被写体の輪郭及び被写体領域を検出する。輪郭の検出は、例えば、次のようなアルゴリズムにて実行される。すわなち、着目画像における画素値とこれに隣接する画素の画素値との差が、予め設定された閾値を超えるとき、当該着目画素と隣接画素との間が物体の輪郭であると判別する。なお、ここでいう画素値とは、画素の色を各種の色空間において規定する座標値だけでなく、輝度を示す値なども含まれる。
【００４９】
図３は、縮小画像から被写体の輪郭及び被写体領域の検出の例を説明するための説明図である。図３（Ａ）の縮小画像３００には、中央に猫が撮影されている。この縮小画像３００から上述したアルゴリズムで輪郭を検出した結果が図３（Ｂ）の猫の輪郭３１０である。なお、図３（Ａ）の縮小画像３００の場合、検出した猫の輪郭３１０と共に、目、鼻、体の斑点などの輪郭も検出される。しかし、これらの輪郭は接近しているので、一番外側にある猫と輪郭３１０を検出結果とする。
【００５０】
このように被写体の輪郭を検出することで、被写体が含まれる画素データと被写体以外の背景などの画素データを分離することができる。そのため、その後の、画像特徴量の算出処理などで被写体に関係のない画素データを計算することを少なくすることができる。
【００５１】
そして、縮小画像を予め定めてある間隔の格子で区切り、検出した猫の輪郭３１０が入る最も大きい長方形３２０（図３（Ｃ））を被写体領域として検出する。
【００５２】
また、ＣＰＵは、同時に被写体の大きさと形状も検出する。また、被写体の大きさは、輪郭の縦又は横方向の画素数のうち、大きいほうを画素数とする。被写体の形状は、予め定めてある長方形、ひし形、円などの形状のうち、被写体の輪郭に最も近い形状とする。
【００５３】
また、実施例１では、被写体が入る最も大きい長方形３２０を被写体領域としたが、猫の輪郭３１０を構成する座標列を被写体領域としても良い。
【００５４】
こうすれば、被写体領域の検出をサイズの小さい縮小画像から行うので、被写体の検出処理が早くできる。また、縮小画像から被写体の輪郭が検出できない画像は、被写体が撮影されていない画像であるか画像処理による被写体情報の検出が困難な画像であると言える。したがって、被写体領域の検出できた画像ファイルだけ被写体情報を抽出することで、画像特徴量の算出及び被写体情報の抽出処理を行う画像ファイルの数を少なくすることができる。
【００５５】
次に、ＣＰＵは、リストにある画像ファイルのすべてに対して、縮小画像の取得と被写体領域を検出する処理が行われたかどうかを調べる（ステップＳ１２０）。リストにある画像ファイルのすべてに対して、縮小画像の取得と被写体領域の検出処理が行われた場合（ステップＳ１２０：ＹＥＳ）は、ステップＳ１３０に進む。一方、縮小画像の取得と被写体領域の検出処理が行われていない画像ファイルがある場合（ステップＳ１２０：ＮＯ）は、ステップＳ１１０に進む。このようにして、リストにあるすべての画像ファイルに対して、被写体領域の検出処理を行う。
【００５６】
次に、ＣＰＵは、被写体領域を検出することができなかった画像ファイルをリストから削除する（ステップＳ１３０）。このようにして、後の処理では被写体領域を検出できた画像ファイルを簡単に識別できるようにする。
【００５７】
ＣＰＵは、被写体情報の抽出サブルーチンを呼び出して、リストにある画像ファイルから被写体情報を抽出する（ステップＳ１４０）。図４及び図５は、被写体情報の抽出処理を説明するためのフローチャートである。
【００５８】
ＣＰＵは、リストから一つ画像ファイルを選択し、選択した画像ファイルから縮小画像を取得する（ステップＳ２００）。
【００５９】
ＣＰＵは、取得した縮小画像の中の被写体領域に含まれる画素データから画像特徴量を算出する（ステップＳ２１０）。実施例１では、ＭＰＥＧ−７で採用されている色配置（ＣｏｌｏｒＬａｙｏｕｔ）の手法を用いて画像特徴量を算出する。
【００６０】
具体的には、ＣＰＵは、被写体領域を８×８の小ブロックに分割し、各小ブロックを構成する画素データの値（Ｒ，Ｇ，Ｂ）の平均値（Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅ）を各小ブロックの代表値（Ｒｒｅｐ，Ｇｒｅｐ，Ｂｒｅｐ）として用いる。ＣＰＵは、求めた代表値を用いて８×８の画素データから構成される被写体領域を更に小さくした画像データを作成する。ＣＰＵは、作成した画像データを輝度色差信号（Ｙ，Ｃｂ，Ｃｒ）に変換し、さらにＹ，Ｃｂ，Ｃｒの各成分について離散コサイン変換（ＤＣＴ）を行う。ＤＣＴによって、画像データは周波数成分に変換される。
【００６１】
Ｙ，Ｃｂ，Ｃｒの各成分について離散コサイン変換した結果は、式（１）のように８×８の係数値として表すことができる。
【００６２】
Ｙｃ［８］［８］＝｛ｙｃ００，ｙｃ０１，ｙｃ０２，・・・，ｙｃ７６、ｙｃ７７｝
Ｃｂｃ［８］［８］＝｛ｃｂｃ００，ｃｂｃ０１，ｃｂｃ０２，・・・，ｃｂｃ７６、ｃｂｃ７７｝
Ｃｒｃ［８］［８］＝｛ｃｒｃ００，ｃｒｃ０１，ｃｒｃ０２，・・・，ｃｒｃ７６、ｃｒｃ７７｝    …（１）
【００６３】
このようにして算出した係数値Ｙｃ［８］［８］，Ｃｂｃ［８］［８］，Ｃｒｃ［８］［８］を被写体領域の画像特徴量とする。なお、画像特徴量としては、Ｒ，Ｇ，Ｂ各成分のヒストグラムを用いる方法、最大・最小輝度値及び平均輝度値を用いる方法など、周知の様々な手法を用いるものとしても良い。
【００６４】
次に、ＣＰＵは、算出した画像特徴量とサンプル画像データベース１４０の画像特徴量から被写体情報を抽出する（ステップＳ２２０）。
【００６５】
サンプル画像データベース１４０には、様々なオブジェクトを撮影した画像から算出した画像特徴量が格納される。図６は、サンプル画像データベース１４０の一例を説明するための表である。サンプル画像データベース１４０には、サンプル画像データベース１４０内のレコードを一意に識別する整数ｋ、オブジェクトの名称であるＯ（ｋ）、画像特徴量（Ｙｃｐ（ｋ）［８］［８］，Ｃｂｃｐ（ｋ）［８］［８］，Ｃｒｃｐ（ｋ）［８］［８］）が格納される。また、以下の説明では、サンプル画像データベース内の一つのオブジェクトを、例えば、オブジェクトｋのように整数ｋで表すことにする。
【００６６】
サンプル画像データベース１４０に格納される画像特徴量は、縮小画像から被写体領域を検出し、被写体領域から画像特徴量を算出したのと同じ方法で算出される。また、図６では、サンプル画像データベース１４０の例として３つのレコードを示している。
【００６７】
ＣＰＵは、被写体領域から抽出した画像特徴量とサンプル画像データベース１４０に格納されている画像特徴量を比較することにより、縮小画像に撮影されている被写体とサンプル画像データベース１４０に格納されているオブジェクトｋとがどの程度似ているかを表す画像特徴量の距離Ｄ（ｋ）を算出する。画像特徴量の距離Ｄ（ｋ）は、例えば、ユークリッド距離を用いて、以下の式で算出される。
【００６８】
【数１】
2007323382.tif 000003
【００６９】
なお、Ｙｃｑ，Ｃｂｃｑ，Ｃｒｃｑは、被写体領域から算出した画像特徴量を示す。
【００７０】
ＣＰＵは、画像特徴量の距離Ｄ（ｋ）を用いて、被写体とオブジェクトｋの類似度を表す信頼度係数ＴＣ（ｋ）（確信度）を算出する。信頼度係数ＴＣ（ｋ）は、サンプル画像データベース１４０の画像特徴量と被写体領域の画像特徴量との差、つまり、上記の距離Ｄ（ｋ）に応じて決定される係数であり、両者の画像特徴量が近い（距離Ｄ（ｋ）が小さい）ほど、被写体とオブジェクトｋが同じものである可能性が高いとして、係数は大きな値となる。具体的には、次式により算出される。
【００７１】
ＴＣ（ｋ）＝Ｄｒｅｆ（ｋ）／Ｄ（ｋ）  …（３）
【００７２】
なお、Ｄｒｅｆ（ｋ）は、距離Ｄ（ｋ）に対する一つの基準値であり、両者の画像データをほぼ同じものであると判断できる基準値であり、予め設定されている。すなわち、この式において、距離Ｄ（ｋ）がＤｒｅｆ（ｋ）以下であり、信頼度係数ＴＣ（ｋ）が１を超えるような場合には、被写体とオブジェクトｋはほぼ一致すると判断する。また、信頼度係数ＴＣ（ｋ）が１より小さくなるに従って、被写体とオブジェクトｋが一致する可能性が少なくなる。
【００７３】
このようにして、サンプル画像データベース１４０内のすべてのオブジェクトに対して、信頼度係数ＴＣ（ｋ）を算出する。そして、算出したＴＣ（ｋ）のうち、最も大きいＴＣ（ｋ）であるＴＣ（ｋｍａｘ）を見つける。そして、ＴＣ（ｋｍａｘ）が閾値Ａ（０＜Ａ≦１）よりも大きいときは、被写体とオブジェクトｋｍａｘは一致し、被写体名の名称はＯ（ｋ）であるとする。閾値Ａは、Ａ＜ＴＣ（ｋｍａｘ）の時に、被写体とオブジェクトｋｍａｘが一致する確率が高くなるように予め設定される値である。閾値Ａを（０＜Ａ≦１）とすることで、サンプル画像データベース１４０と縮小画像に撮影されている被写体の画像が多少違っても、被写体と一致するオブジェクトｋｍａｘを見つけることができる。また、ＴＣ（ｋｍａｘ）≦Ａのときは、被写体と一致するオブジェクトｋｍａｘを見つけることができなかった場合であり、この場合は、被写体情報が抽出できなかったことになる。
【００７４】
信頼度係数ＴＣ（ｋｍａｘ）から決定された被写体の名称Ｏ（ｋｍａｘ）は、被写体の大きさと形状、及び画像ファイルに付加されているメタデータから取り出した撮影日、撮影地点、画像サイズの情報と共に、被写体情報として保存される。このようにして、ＣＰＵは、被写体情報を抽出する。図７は、抽出した被写体情報の例である。この例によれば、猫、トンボ、トラの３つの被写体情報が抽出されている。
【００７５】
被写体情報は、インデックスデータベース２００に格納されるので、被写体情報に、被写体の形、大きさ、及びメタデータから取得した撮影日、撮影地点、画像サイズを加えることで、被写体の名称だけでなく、被写体の形、大きさ、撮影日、撮影地点、画像サイズでも検索することができる。
【００７６】
次に、ＣＰＵは、リストのすべての画像ファイルに対して被写体情報を抽出する処理を行ったかどうかを調べる（ステップＳ２３０）。リストのすべての画像ファイルに対して被写体情報を抽出する処理を行った場合（ステップＳ２３０：ＹＥＳ）は、ステップＳ２４０に進む。一方、リストのすべての画像ファイルに対して被写体情報を抽出する処理を行っていない場合（ステップＳ２３０：ＮＯ）は、ステップＳ２００に進む。このようにして、リストのすべての画像ファイルに対して、縮小画像から被写体情報を抽出する処理を行う。
【００７７】
ＣＰＵは、被写体情報が抽出できた画像ファイルのうち、信頼度係数ＴＣ（ｋｍａｘ）が低い画像ファイルに対して被写体情報を編集するかを確認する（ステップＳ２４０）。ＣＰＵは、ステップＳ２２０にて算出された信頼度係数ＴＣ（ｋｍａｘ）が予め定めてある閾値Ｂ（Ａ＜Ｂ≦１）よりも小さい場合は、ステップＳ２２０で決定した被写体の名称Ｏ（ｋｍａｘ）の信頼性が低いと判断する。すなわち、被写体情報の確信度が低いと判断する。閾値Ｂは、信頼度係数ＴＣ（ｋｍａｘ）＞Ｂのとき、被写体とオブジェクトｋｍａｘが一致する可能性が高くなるように予め定められた定数であり、（Ａ＜Ｂ≦１）の値をとる。
【００７８】
ＣＰＵは、被写体情報を抽出した縮小画像のうち、Ａ＜ＴＣ（ｋｍａｘ）≦Ｂとなる縮小画像について、これらの縮小画像から抽出した被写体情報を編集するかどうかを確認する画面を表示する。図８は、被写体情報を編集するかどうかを確認するための画面である。図８の例は、ステップＳ２２０にて抽出した被写体情報のうち、２７枚の画像ファイルの被写体情報の信頼度係数ＴＣ（Ｋｍａｘ）が閾値以下であった場合である。
【００７９】
ＣＰＵは、利用者によりＹＥＳのボタンを押された場合に、被写体情報の編集を行う指示がされたと判断する。一方、ＮＯのボタンが押された場合は、被写体情報の編集を行わない指示がされたと判断する。
【００８０】
次に、ＣＰＵは、図８の画面により、被写体情報の編集を行う指示が出されたかどうかを調べる。被写体情報の編集を行う指示が出された場合（ステップＳ２５０：ＹＥＳ）は、ＣＰＵは被写体情報の編集を行う（ステップＳ２６０）。図９が、被写体情報の編集を行うための画面である。
【００８１】
この画面の右側には、信頼度係数ＴＣ（ｋｍａｘ）が閾値Ａより大きく、閾値Ｂ以下であった画像を一覧表示する。一覧表示した各画像の右側には、被写体の名称を表示する。また、画面右端には、スクロールバーが設置される。一覧表示する画像ファイルの数が多い場合は、このスクロールバーによりスクロールすることで、すべての画面を表示することができる。利用者は、画像と被写体の名称を順次確認し、被写体名称が間違っている画像に対して被写体の名称を修正する。被写体の名称の表示は文字列の編集ができるコントロールが用いられる。利用者は、被写体の名称の修正をこのコントロール上で行い、ＣＰＵがコントロールを介して、修正された被写体名称を取得し、被写体情報を修正する。また、実施例１では、被写体の名称だけを修正できるようにしたが、被写体の形、大きさなど他の被写体情報を修正しても良い。
【００８２】
こうすれば、信頼度係数ＴＣ（ｋｍａｘ）が小さく、被写体情報の確信度が低いときに、利用者は、被写体情報の修正を行うかどうかを選択することができる。
【００８３】
また、利用者により画面の戻るボタンが押されると、被写体情報の編集を終了し、ステップＳ２７０に進む。
【００８４】
ＣＰＵは、ステップＳ２２０にて被写体情報が抽出できた画像ファイルをリストから削除する（ステップＳ２７０）。この結果、リストには、縮小画像から被写体領域の検出ができたが、被写体領域の画像特徴量からの被写体情報の抽出ができなかった画像ファイルだけになる。
【００８５】
次に、ＣＰＵは、縮小画像から被写体領域の検出ができたが、被写体領域の画像特徴量からの被写体情報の抽出ができなかった画像ファイルに対して、本画像から画像特徴量を算出し被写体情報を抽出するかどうかを確認する（図５：ステップＳ３００）。
【００８６】
図１０は、本画像から画像特徴量を算出し被写体情報を抽出するかどうかを確認するために表示する画面である。図１０の例は、検索対象の画像ファイルの数＝２００、被写体領域を検出できなかった画像ファイルの数＝４５、ステップＳ２２０にて被写体情報の抽出ができた画像ファイルの数＝９０、ステップＳ２２０にて被写体情報の抽出ができなかった画像ファイルの数＝６５の場合である。この画面を利用者に表示して、ステップＳ２２０にて被写体情報の抽出ができなかった画像ファイルに対して、本画像で画像特徴量を算出し被写体情報を抽出するかどうかを確認する。
【００８７】
デジタルスチルカメラなどで撮影した本画像は非常に画素数が多いため、画像特徴量の算出処理にかかる時間が長くなるため、本画像から画像特徴量を算出する画像ファイルの数によっては、利用者がコンピュータの前で待つことができる時間内に終わらない可能性がある。図１０の画面を出して本画像から画像特徴量の算出をする前に、利用者に確認することで、利用者が処理時間を調整することができる。
【００８８】
利用者によりＹＥＳボタンが押されると、ＣＰＵは、ステップＳ２２０にて被写体情報の抽出ができなかった画像ファイルに対して本画像で画像特徴量を算出し被写体情報を抽出する指示がされたと判断する。一方、ＮＯボタンが押されると、ＣＰＵは、ステップＳ２２０にて被写体情報の抽出ができなかった画像ファイルに対して本画像で画像特徴量を算出し被写体情報を抽出しない指示がされたと判断する。
【００８９】
ＣＰＵは、ステップＳ２２０にて被写体情報の抽出ができなかった画像ファイルに対して本画像で画像特徴量を算出し被写体情報を抽出する指示がされたかどうかを調べる（ステップＳ３１０）。ステップＳ２２０にて被写体情報の抽出ができなかった画像ファイルに対して本画像で画像特徴量を算出し被写体情報を抽出する指示がされた場合（ステップＳ３１０：ＹＥＳ）は、リストにある画像ファイルのうちの一つの画像ファイルから本画像を取得する（ステップＳ３２０）。
【００９０】
ＣＰＵは、本画像の被写体領域に相当する画像からステップＳ２１０と同じ方法で画像特徴量を算出する（ステップＳ３３０）。そして、ＣＰＵは、ステップＳ２１０と同じ方法で、算出した画像特徴量とサンプル画像データベース１４０の画像特徴量から被写体情報を抽出する（ステップＳ３４０）。
【００９１】
撮影されている被写体が小さい場合は、縮小画像内の被写体が小さく潰れてしまうなどして、縮小画像の被写体とサンプル画像データベース１４０のオブジェクトの画像との差が大きくなりすぎ、被写体情報が抽出できない場合がある。縮小画像から被写体が抽出できない場合は、ステップＳ３２０からステップＳ３４０にて、サイズの大きな本画像から被写体情報を抽出する。こうすれば、縮小画像から被写体情報が抽出できない場合でも本画像から被写体情報を抽出するので、被写体情報を抽出できる確率を高くすることができる。また、最初に処理時間の早い縮小画像からの被写体情報の抽出を行い、その後縮小画像から被写体情報の抽出ができなかった画像ファイルだけ処理時間のかかる本画像からの被写体情報の抽出を行う。そのため、サイズの大きな本画像からの被写体情報の抽出処理の処理時間を少なくすることができる。
【００９２】
また、縮小画像からの被写体情報の抽出及び本画像からの被写体情報の抽出処理と共に、画像特徴量の算出を被写体領域の画素データから行うので、画像特徴量に必要な計算量を少なくすることができる。
【００９３】
ＣＰＵは、リストにあるすべての画像ファイルに対して、本画像からの画像特徴量の算出と被写体情報の抽出をする処理を行ったかどうかを調べる（ステップＳ３５０）。リストにあるすべての画像ファイルに対して、本画像からの画像特徴量の算出と被写体情報の抽出を行っていない場合（ステップＳ３５０：ＮＯ）は、ステップＳ３２０に進む。一方、リストにあるすべての画像ファイルに対して、本画像からの画像特徴量の算出と被写体情報の抽出を行った場合（ステップＳ３５０：ＹＥＳ）は、ステップＳ３６０に進む。このようにしてリストにあるすべての画像ファイルに対して画像特徴量の算出と被写体情報の抽出処理を行う。
【００９４】
ＣＰＵは、ステップＳ３４０にて、本画像から被写体情報が抽出できた画像ファイルのうち、信頼度係数が低い画像ファイルに対して、被写体情報を編集するかを確認する（ステップＳ３６０）。ＣＰＵは、被写体情報の編集を行う指示が出されたかどうかを調べる（ステップＳ３７０）。被写体情報の編集を行う指示が出された場合（ステップＳ３７０：ＹＥＳ）は、ＣＰＵは被写体情報の編集を行う（ステップＳ３８０）。また、ステップＳ３６０、ステップＳ３７０、ステップＳ３８０の各処理は、ステップＳ２４０、ステップＳ２５０、ステップＳ２６０と同様に処理するので、詳細の説明を省く。
【００９５】
被写体情報の編集を行う指示がなかった場合（ステップＳ３７０：ＮＯ）、ステップＳ３８０の処理の後、及びステップＳ２２０にて被写体情報の抽出ができなかった画像ファイルに対して本画像で画像特徴量を算出し被写体情報を抽出する指示がされなかった場合（ステップＳ３１０：ＮＯ）は、被写体情報の抽出処理を終了し、ステップＳ１５０（図２）に進む。
【００９６】
ＣＰＵは、抽出した被写体情報をインデックスデータベース２００に記録する（ステップＳ１５０）。このようにして、検索対象の画像ファイルから被写体情報が抽出され、その結果がインデックスデータベース２００に格納される。
【００９７】
以下、実施例１における画像検索システムに関する変形例を記載する。
（変形例１）
【００９８】
ステップＳ１１０（図２）にて、ＣＰＵは、２つ以上の被写体領域を検出した場合、２つ以上の被写体領域の位置及び大きさで１つの被写体領域を決定する。例えば、縮小画像の面積Ｔ、縮小画像の中心点から被写体領域の重心までの距離Ｆ、と被写体領域の面積Ｗを用いて、検出した被写体の各々について評価点をＴ／（Ｆ＋１）＋Ｗで計算する。そして、評価点が最も大きい被写体領域を選択する。こうすれば、縮小画像の中央に近く、また大きい被写体のある位置が被写体領域として選択できる。そのため、撮影者の撮影したかった被写体を被写体領域として検出することが可能になる。また、２つ以上の被写体領域からの選択は、画面の中央から被写体領域までの距離だけ、又は被写体領域の面積だけで選択しても良い。
【図面の簡単な説明】
【００９９】
【図１】本発明の画像認識装置を用いた画像検索システムの概略構成を説明するための説明図。
【図２】画像検索システムの処理手順を説明するフローチャート。
【図３】縮小画像から被写体の輪郭及び被写体領域の検出の例を説明するための説明図。
【図４】被写体情報の抽出処理を説明するためのフローチャート。
【図５】被写体情報の抽出処理を説明するためのフローチャート。
【図６】サンプル画像データベースの一例を説明するための表。
【図７】抽出した被写体情報の例を説明するための説明図。
【図８】被写体情報を編集するかどうかを確認するための画面を説明するための説明図。
【図９】被写体情報の編集を行うための画面を説明するための説明図。
【図１０】本画像から画像特徴量を算出し被写体情報を抽出するかどうかを確認するかどうかを確認するために表示する画面を説明するための説明図。
【符号の説明】
【０１００】
１００…画像認識装置、１１０…画像取得手段、１２０…被写体検出手段、１３０…第１の被写体情報抽出手段、１４０…サンプル画像データベース、１５０…第２の被写体情報抽出手段、１６０…第１の確認手段、１７０…第２の確認手段、１８０…被写体情報編集手段、１９０…インデックスデータ作成部、２００…インデックスデータベース、２１０…画像検索部、３００…縮小画像、３１０…猫の輪郭、３２０…長方形。
【図１】
2007323382.tif 000004
【図２】
2007323382.tif 000005
【図３】
2007323382.tif 000006
【図４】
2007323382.tif 000007
【図５】
2007323382.tif 000008
【図６】
2007323382.tif 000009
【図７】
2007323382.tif 000010
【図８】
2007323382.tif 000011
【図９】
2007323382.tif 000012
【図１０】
2007323382.tif 000013