(57)【要約】【課題】  適切な画像認識を行なう画像認識装置を提供する。【解決手段】  複数の対象物毎の画像特徴量と共に、対象物毎の実際の大きさの情報を記憶するデータベースと、撮影画像を入力し、特徴に基づいて撮影画像内の所定領域をオブジェクトとして抽出するオブジェクト抽出手段と、オブジェクトの画像特徴量を抽出する特徴量抽出手段と、撮影画像に付帯する撮影情報を取得する撮影情報取得手段と、オブジェクトを解析し、ピントのずれが所定の閾値内であるか否かをオブジェクト毎に判断するピント判断手段と、ピントのずれが所定閾値内であり、ピントがずれていない場合に、撮影情報を用いてオブジェクト毎の実際の大きさを算出する実体長算出手段と、実際の大きさを、画像特徴量と共に用いて、撮影画像の内容としてのオブジェクトを表わす対象物の候補を、データベースから選択する候補選択手段とを備える。【選択図】  図１
2007058630.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像の内容を認識する画像認識装置であって、
複数の対象物毎の画像特徴量と共に、該対象物毎の実際の大きさの情報を記憶するデータベースと、
前記撮影画像を入力し、該撮影画像の特徴に基づいて該撮影画像内に含まれる所定領域をオブジェクトとして抽出するオブジェクト抽出手段と、
前記オブジェクトの画像特徴量を抽出する特徴量抽出手段と、
前記撮影画像に付帯する撮影情報を取得する撮影情報取得手段と、
前記抽出されたオブジェクトを解析し、該オブジェクトのピントのずれが所定の閾値内であるか否かを該オブジェクト毎に判断するピント判断手段と、
前記ピントのずれが所定閾値内であり、該ピントがずれていないと判断された場合に、前記撮影情報を用いて前記オブジェクト毎の実際の大きさを算出する実体長算出手段と、
前記算出された実際の大きさを前記抽出された画像特徴量と共に用いて、前記撮影画像の内容としての前記オブジェクトを表わす前記対象物の候補を、前記データベースから選択する候補選択手段と
を備えた画像認識装置。
【請求項２】
請求項１に記載の画像認識装置であって、
前記撮影情報取得手段は、前記撮影情報として、少なくとも被写体距離および焦点距離の情報を取得し、
前記実体長算出手段は、前記オブジェクトの大きさであるイメージサイズを求め、当該イメージサイズと前記被写体距離および前記焦点距離とを用いて、該オブジェクトの実際の大きさを算出する
画像認識装置。
【請求項３】
請求項２に記載の画像認識装置であって、
前記撮影情報取得手段は、前記撮影情報として、さらに、前記撮影画像を撮影した撮像機器の撮像素子の情報を取得し、
前記実体長算出手段は、前記撮像素子の情報を利用して、前記イメージサイズを求める
画像認識装置。
【請求項４】
請求項３に記載の画像認識装置であって、
前記撮影情報取得手段は、
前記撮像機器の機種名と前記撮像素子の情報とを関連付けて記憶した機種データベースを備えており、
前記撮像素子の情報に代えて、前記撮像機器の機種名を取得し、
前記取得した機種名を用いて、前記機種データベースから前記撮影素子の情報を取得する
画像認識装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像認識装置であって、
前記ピント判断手段は、
前記所定閾値を第１の閾値とし、該第１の閾値よりも大きい第２の閾値を備え、
前記ピントのずれが前記第１の閾値を超え、前記第２の閾値内に収まる場合には、前記ピントのずれが許容範囲内であり、該ピントがずれていないと判断する
画像認識装置。
【請求項６】
請求項５に記載の画像認識装置であって、
前記候補選択手段は、前記実際の大きさが、前記ピントのずれが前記第１の閾値を超え、前記第２の閾値内に収まる場合に算出されたものであるときは、前記データベースの実際の大きさの情報に、所定量の誤差を考慮して、前記オブジェクトを表わす前記対象物の候補を選択する
画像認識装置。
【請求項７】
請求項１ないし６のいずれかに記載の画像認識装置であって、
前記実体長算出手段は、前記ピントがずれていると判断された場合には、前記オブジェクトの実際の大きさの算出を中止し、
前記候補選択手段は、前記実際の大きさを利用することなく、前記オブジェクトを表わす前記対象物の候補を前記データベースから選択する
画像認識装置。
【請求項８】
請求項１ないし６のいずれかに記載の画像認識装置であって、
前記実体長算出手段は、前記ピントがずれていると判断された場合には、前記実体長の算出処理に先立って、前記オブジェクトのエッジを強調する処理を実行する画像認識装置。
【請求項９】
撮影画像の内容を認識する画像認識方法であって、
複数の対象物毎の画像特徴量と共に、該対象物毎の実際の大きさの情報を、データベースに記憶し、
前記撮影画像を入力し、該撮影画像の特徴に基づいて該撮影画像内に含まれる所定領域をオブジェクトとして抽出し、
前記オブジェクトの画像特徴量を抽出し、
前記撮影画像に付帯する撮影情報を取得し、
前記抽出されたオブジェクトを解析し、該オブジェクトのピントのずれが所定の閾値内であるか否かを該オブジェクト毎に判断し、
前記ピントのずれが所定閾値内であり、該ピントがずれていないと判断された場合に、前記撮影情報を用いて前記オブジェクト毎の実際の大きさを算出し、
前記算出された実際の大きさを前記抽出された画像特徴量と共に用いて、前記撮影画像の内容としての前記オブジェクトを表わす前記対象物の候補を、前記データベースから選択する
画像認識方法。
【請求項１０】
撮影画像の内容を認識する画像認識装置を制御するコンピュータプログラムであって、
複数の対象物毎の画像特徴量と共に、該対象物毎の実際の大きさの情報を、データベースに記憶する機能と、
前記撮影画像を入力し、該撮影画像の特徴に基づいて該撮影画像内に含まれる所定領域をオブジェクトとして抽出する機能と、
前記オブジェクトの画像特徴量を抽出する機能と、
前記撮影画像に付帯する撮影情報を取得する機能と、
前記抽出されたオブジェクトを解析し、該オブジェクトのピントのずれが所定の閾値内であるか否かを該オブジェクト毎に判断する機能と、
前記ピントのずれが所定閾値内であり、該ピントがずれていないと判断された場合に、前記撮影情報を用いて前記オブジェクト毎の実際の大きさを算出する機能と、
前記算出された実際の大きさを前記抽出された画像特徴量と共に用いて、前記撮影画像の内容としての前記オブジェクトを表わす前記対象物の候補を、前記データベースから選択する機能と
を前記画像認識装置に実現させるコンピュータプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの内容を認識する技術に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラなどの撮像機器の記録容量の増大に伴い、大量の撮影画像の中から所望の撮影画像を検索する種々の技術が検討されている。こうした検索技術の一つとして、「撮影画像に、被写体として何が写っているか」、つまり画像内容を認識する技術がある。例えば、下記特許文献１には、撮影画像から所定領域のオブジェクトを抽出し、抽出したオブジェクトの画像特徴量から画像内容を認識する技術が開示されている。また、下記特許文献２には、撮影画像の撮影情報を利用して撮影画像の被写体の実際の大きさを算出し、算出した実際の大きさを一つの判断基準として、所定の図鑑データから被写体の情報を抽出する技術が開示されている。
【０００３】
【特許文献１】特許第３００８２３３号公報
【特許文献２】特開２００５−１０８０２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、かかる画像認識の技術では、画像内容をある程度まで認識できるものの、対象とするオブジェクトによっては、画像認識が困難な場合があった。例えば、上記の特許文献１では、オブジェクトの実際の大きさが考慮されないため、「トラ」と「ネコ」や、「実物のビルディング」と「模型のビルディング」などの違いまでは判断が困難である。また、上記特許文献２では、被写体の実際の大きさを算出するものの、撮影画像における被写体の画像状態とは無関係に算出するため、算出結果の精度上の信頼性が低く、結局、画像認識が困難となる場合があった。
【０００５】
本発明は、適切な画像認識が難しいといった問題を踏まえ、適切な画像認識を行なう画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像認識装置は、上記課題に鑑み、以下の手法を採った。すなわち、撮影画像の内容を認識する画像認識装置であって、複数の対象物毎の画像特徴量と共に、該対象物毎の実際の大きさの情報を記憶するデータベースと、前記撮影画像を入力し、該撮影画像の特徴に基づいて該撮影画像内に含まれる所定領域をオブジェクトとして抽出するオブジェクト抽出手段と、前記オブジェクトの画像特徴量を抽出する特徴量抽出手段と、前記撮影画像に付帯する撮影情報を取得する撮影情報取得手段と、前記抽出されたオブジェクトを解析し、該オブジェクトのピントのずれが所定の閾値内であるか否かを該オブジェクト毎に判断するピント判断手段と、前記ピントのずれが所定閾値内であり、該ピントがずれていないと判断された場合に、前記撮影情報を用いて前記オブジェクト毎の実際の大きさを算出する実体長算出手段と、前記算出された実際の大きさを前記抽出された画像特徴量と共に用いて、前記撮影画像の内容としての前記オブジェクトを表わす前記対象物の候補を、前記データベースから選択する候補選択手段とを備えたことを要旨としている。
【０００７】
また、本発明の画像認識装置に対応する画像認識方法は、撮影画像の内容を認識する画像認識方法であって、複数の対象物毎の画像特徴量と共に、該対象物毎の実際の大きさの情報を、データベースに記憶し、前記撮影画像を入力し、該撮影画像の特徴に基づいて該撮影画像内に含まれる所定領域をオブジェクトとして抽出し、前記オブジェクトの画像特徴量を抽出し、前記撮影画像に付帯する撮影情報を取得し、前記抽出されたオブジェクトを解析し、該オブジェクトのピントのずれが所定の閾値内であるか否かを該オブジェクト毎に判断し、前記ピントのずれが所定閾値内であり、該ピントがずれていないと判断された場合に、前記撮影情報を用いて前記オブジェクト毎の実際の大きさを算出し、前記算出された実際の大きさを前記抽出された画像特徴量と共に用いて、前記撮影画像の内容としての前記オブジェクトを表わす前記対象物の候補を、前記データベースから選択することを要旨としている。
【０００８】
本発明の画像認識装置およびその画像認識方法によれば、オブジェクトのピントのずれを判断し、ピントがずれていないオブジェクトについて、実際の大きさを算出する。そして、算出された実際の大きさを、オブジェクト（つまり、撮影画像）の認識における一判断材料として用いる。したがって、単に、オブジェクトの画像特徴量を用いた判断による画像認識に比べ、認識の精度を高めることができる。また、ピントがずれていないオブジェクトについて実際の大きさを算出するため、撮影情報を有効に利用した画像認識を行なうことができる。その結果、適切な画像認識を行なうことができる。
【０００９】
上記の構成を有する画像認識装置の撮影情報取得手段は、前記撮影情報として、少なくとも被写体距離および焦点距離の情報を取得し、前記実体長算出手段は、前記オブジェクトの大きさであるイメージサイズを求め、当該イメージサイズと前記被写体距離および前記焦点距離とを用いて、該オブジェクトの実際の大きさを算出するものとしても良い。
【００１０】
かかる画像認識装置によれば、撮影情報として撮影画像に付帯する被写体距離および焦点距離の情報を用いて、撮影画像上のイメージサイズからオブジェクトの実際の大きさを求める。こうした撮影画像に予め付帯する撮影情報を用いることで、比較的容易に実際の大きさを求めることができる。
【００１１】
上記の構成を有する画像認識装置の撮影情報取得手段は、前記撮影情報として、さらに、前記撮影画像を撮影した撮像機器の撮像素子の情報を取得し、前記実体長算出手段は、前記撮像素子の情報を利用して、前記イメージサイズを求めるものとしても良い。
【００１２】
かかる画像認識装置によれば、イメージサイズの算出に撮像素子の情報を利用し、その撮像素子の情報を撮影情報として取得する。撮影画像に予め付帯する撮影情報を用いることで、比較的容易にイメージサイズを求めることができる。
【００１３】
上記の構成を有する画像認識装置の撮影情報取得手段は、前記撮像機器の機種名と前記撮像素子の情報とを関連付けて記憶した機種データベースを備えており、前記撮像素子の情報に代えて、前記撮像機器の機種名を取得し、前記取得した機種名を用いて、前記機種データベースから前記撮影素子の情報を取得するものとしても良い。
【００１４】
かかる画像認識装置によれば、撮影情報として機種名を取得し、撮像素子の情報を撮影情報として取得できない場合であっても、機種データベースを参照して、機種名から撮像素子の情報を取得することができる。つまり、直接的に撮像素子の情報を取得できなくても、間接的に撮像素子の情報を取得して、イメージサイズを求めることができる。
【００１５】
上記の構成を有する画像認識装置のピント判断手段は、前記所定閾値を第１の閾値とし、該第１の閾値よりも大きい第２の閾値を備え、前記ピントのずれが前記第１の閾値を超え、前記第２の閾値内に収まる場合には、前記ピントのずれが許容範囲内であり、該ピントがずれていないと判断するものとしても良い。
【００１６】
かかる画像認識装置によれば、ピントのずれが第１の閾値内に収まらない場合であっても、第２の閾値内に収まる場合には、ピントがずれていないと見なして、オブジェクトの実際の大きさを算出する。すなわち、ピントのずれの判断に所定の幅を持たせ、多少のピントのずれを有するオブジェクトについても、実際の大きさを算出する。こうすることで、画像認識の判断材料として実際の大きさを用いることができ、画像認識の精度を向上することができる。
【００１７】
上記の構成を有する画像認識装置の候補選択手段は、前記実際の大きさが、前記ピントのずれが前記第１の閾値を超え、前記第２の閾値内に収まる場合に算出されたものであるときは、前記データベースの実際の大きさの情報に、所定量の誤差を考慮して、前記オブジェクトを表わす前記対象物の候補を選択するものとしても良い。
【００１８】
かかる画像認識装置によれば、ピントのずれが第１の閾値を超えて第２の閾値内に収まる場合には、実際の大きさを算出し、データベースの実際の大きさの情報に誤差を考慮する。つまり、ピントがずれていることによる実際の大きさの算出誤差を考慮して、候補を選択する。したがって、画像認識の判断材料として実際の大きさを有効に活用することができる。
【００１９】
上記の構成を有する画像認識装置の実体長算出手段は、前記ピントがずれていると判断された場合には、前記オブジェクトの実際の大きさの算出を中止し、前記候補選択手段は、前記実際の大きさを利用することなく、前記オブジェクトを表わす前記対象物の候補を前記データベースから選択するものとしても良い。
【００２０】
かかる画像認識装置によれば、ピントがずれている場合には、実際の大きさの算出を中止し、候補の選択にはこれを用いない。換言すると、ピントがずれている場合には、実際の大きさを画像認識の判断材料から除外する。算出誤差の大きいオブジェクトの実際の大きさを候補の選択に用いないため、適切な画像認識を行なうことができる。
【００２１】
上記の構成を有する画像認識装置の実体長算出手段は、前記ピントがずれていると判断された場合には、前記実体長の算出処理に先立って、前記オブジェクトのエッジを強調する処理を実行するものとしても良い。
【００２２】
かかる画像認識装置によれば、ピントがずれているオブジェクトであっても、エッジ強調の処理によってオブジェクトのエッジを強調し、イメージサイズの算出時の誤差を低減することができる。
【００２３】
本発明は、コンピュータプログラムおよびコンピュータプログラムを記録した媒体としても実装することができる。記録媒体としては、フレキシブルディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ，光磁気ディスク、メモリカード、ハードディスクなどコンピュータが読取り可能な種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．画像認識装置の構成：
Ｂ．画像認識処理：
Ｃ．実体長処理：
Ｄ．変形例：
【００２５】
Ａ．画像認識装置の構成：
図１は、本発明の一実施例としての画像認識装置の概略構成を示す説明図である。この画像認識装置１０は、主に、撮影した画像データから所定領域をオブジェクトとして抽出する抽出部２０、抽出したオブジェクトの実際の大きさを求める実体長処理部３０、複数の対象物毎の実際の大きさの情報などを備えた記憶部４０、抽出したオブジェクトを表わす対象物の候補を選択する物体候補選択部５０などから構成され、一の画像データのオブジェクトを表わす対象物の候補を選択することで、一の画像データの画像内容を認識する装置である。
【００２６】
抽出部２０は、オブジェクト抽出部２４と色認識部２６とからなり、実体長処理部３０と接続している。オブジェクト抽出部２４は、撮影した画像データを入力し、画像データから線画（輪郭線）を抽出して、これをオブジェクトとする。オブジェクト抽出部２４は、こうして抽出したオブジェクトについて形状、位置姿勢などを決定する。色認識部２６は、抽出されたオブジェクトに使用されている色の割合を検出している。すなわち、オブジェクト抽出部２４と色認識部２６とからなる抽出部２０は、画像データから抽出されたオブジェクトの画像特徴量も抽出し、これらを実体長処理部３０に出力している。
【００２７】
実体長処理部３０は、Ｅｘｉｆデータ取得部３２，ピント照合部３４，センサ情報取得部３６，機種データベース３７，実体長計算部３８などから構成され、物体候補選択部５０と接続している。
【００２８】
Ｅｘｉｆデータ取得部３２は、入力した画像データに付帯する撮影情報を取得する。本実施例で取り扱う画像データは、デジタルスチルカメラなどの撮像機器で一般的に取り扱われるＥｘｉｆ形式のデータである。Ｅｘｉｆ形式のデータは、ＪＰＥＧ形式の画像データを基本に、画像データを撮影した際の撮影情報、サムネイル画像など、所定の情報を、Ｅｘｉｆ規約に準拠した形式で埋め込んで構成されている。
【００２９】
撮影情報としては、撮影日時，露出時間，レンズ絞り値，シャッタースピード，ＩＳＯ感度，レンズの焦点距離，被写体距離，デジタルスチルカメラのメーカ名，機種名（モデル名），画像幅，画像高さ，ＣＣＤの画素密度，ＧＰＳ（Global  Positioning  Systems）を用いた撮影位置情報など種々の情報が記憶されている。Ｅｘｉｆデータ取得部３２は、こうした種々の情報のうち、特に「レンズの焦点距離」，「被写体距離」，「メーカ名」，「機種名」，「画像幅」，「画像高さ」，「ＣＣＤの画素密度」などを取得し、これらの情報をセンサ情報取得部３６へ出力している。
【００３０】
ピント照合部３４は、抽出されたオブジェクトを解析し、オブジェクトのピントのずれが所定範囲内であるか否かを判断する。特に、抽出されたオブジェクトが複数ある場合には、ピントのずれが所定範囲内であるオブジェクトを、処理対象として特定している。通常、撮影画像は、主要な被写体にピントを合わせて撮影されるため、ピントのずれが所定範囲内に収まるオブジェクトを処理対象として選定することで、撮影画像の画像内容を適切に認識することができる。ピント照合部３４は、ピントのずれが所定範囲内であるとして特定したオブジェクトを、センサ情報取得部３６へ出力している。なお、ピントのずれの判断処理については、後述する。
【００３１】
センサ情報取得部３６は、上述のＥｘｉｆデータ取得部３２，ピント照合部３４の他、機種データベース３７や実体長計算部３８とも接続し、Ｅｘｉｆデータ取得部３２から入力した情報、または、入力した情報を基に機種データベース３７から取得した撮像機器のセンサの情報を、実体長計算部３８へ出力する。
【００３２】
機種データベース３７は、複数種類のデジタルスチルカメラに対して、メーカ名や機種名と、その機種におけるセンサの情報とを対応付けて記憶している。ここでのセンサ情報とは、その機種の撮像素子であるＣＣＤの幅と高さの値を示した「ＣＣＤサイズ」の情報を意味している。例えば、「機種名：ＣＰ−５００，ＣＣＤサイズ：４．８ｍｍ（Ｗ）×３．６ｍｍ（Ｈ）」といったセンサの情報が記憶されている。
【００３３】
センサ情報取得部３６は、「ＣＣＤ画素密度」の情報が取得できない（データがない）場合でも、Ｅｘｉｆデータ取得部３２からの「メーカ名」，「機種名」を入力し、機種データベース３７を参照して、その機種に対応する「ＣＣＤサイズ」を取得する。センサ情報取得部３６は、取得した「ＣＣＤサイズ」と、入力した「画像幅」，「画像高さ」を用いて、「ＣＣＤ画素密度」を算出している。
【００３４】
こうして「ＣＣＤ画素密度」の情報を取得した後、「レンズの焦点距離」，「被写体距離」，「ＣＣＤ画素密度」の情報と、ピント照合部３４から入力したオブジェクトとを、実体長計算部３８へ出力している。なお、Ｅｘｉｆ形式のデータに予め「ＣＣＤ画素密度」の情報が付帯されている場合には、機種データベース３７を利用することなく、Ｅｘｉｆデータ取得部３２から入力された「ＣＣＤ画素密度」を、そのまま実体長計算部３８へ出力する。
【００３５】
実体長計算部３８は、センサ情報取得部３６より入力したオブジェクトと、「レンズの焦点距離」，「被写体距離」，「ＣＣＤ画素密度」の情報とを用いて、オブジェクトの実際の大きさを算出する。具体的には、オブジェクトを解析し、「ＣＣＤ画素密度」を用いて画像上（いわゆるフィルム上）のオブジェクトのサイズ（イメージサイズＸ）を求める。このイメージサイズＸと、焦点距離ｆと、被写体距離Ｗとから、オブジェクトの実際の大きさＹを算出する。
【００３６】
図２は、オブジェクトの実際の大きさを求める算出処理の説明図である。図示するように、画像上のオブジェクトＡのイメージサイズＸと、焦点距離ｆと、被写体距離Ｗと、オブジェクトの実際の大きさＹとは、Ｘ：ｆ＝Ｙ：Ｗの関係にある。この関係から、オブジェクトの実際の大きさＹは、Ｙ＝Ｗ・Ｘ／ｆにより算出される。
【００３７】
なお、Ｅｘｉｆ形式のデータにおける被写体距離Ｗは、撮影倍率Ｍと焦点距離ｆとを用いて、Ｗ＝（１+１／Ｍ）×ｆにより計算された値が記憶されている。
【００３８】
実体長処理部３０は、こうして算出されたオブジェクトの実際の大きさを、抽出部２０から入力したオブジェクトの画像特徴量と共に、物体候補選択部５０へ出力している。
【００３９】
物体候補選択部５０は、複数のデータベースを備えた記憶部４０と接続しており、入力したオブジェクトの実際の大きさや、画像特徴量から、撮影画像のオブジェクトを表現する候補を選択する。記憶部４０内の複数のデータベースは、対象物と、その形状、位置姿勢等とを対応付けたオブジェクトデータベース４４，対象物と、その対象物を構成する色の割合とを対応つけた色認識データベース４６などを備えると共に、特に本実施例では、対象物と、その対象物の大きさとを対応付けた物体実体長データベース４２を備えている。
【００４０】
図３は、物体実体長データベース４２に記憶されているデータの内容の説明図である。図示するように、この物体実体長データベース４２には、「トラ」，「ネコ」，「ヒト」，「ビルディング（模型）」などの物体（対象物）と、各物体の実際の長さ（大きさ）の範囲とが記憶されている。例えば、大人の「トラ」であれば、長さが８０ｃｍから２００ｃｍ程度として設定され、大人の「ネコ」であれば、長さが２０ｃｍから５０ｃｍ程度として設定されている。
【００４１】
物体候補選択部５０は、こうした複数のデータベースを備えた記憶部４０を参照する。例えば、抽出したオブジェクトの形状や色などを用い、オブジェクトデータベース４４，色認識データベース４６を参照した結果、オブジェクトの候補として「ネコ」または「トラ」が選択されたとする。ここで、オブジェクトの実際の大きさが１００ｃｍであったとすると、物体実体長データベース４２を参照した結果、オブジェクトは「トラ」である可能性が高いこととなる。こうして選択された「トラ」が、オブジェクト（撮影画像）の内容を表現する最も有力な候補とされて、出力される。
【００４２】
以上の構成の画像認識装置１０は、上記の各部における処理をソフトウェアプログラムで実現し、その処理プログラムをインストールしたコンピュータにより構成される。このコンピュータ（図示なし）は、ＣＰＵ，ＲＯＭ，ＲＡＭ，ハードディスク等を備え、キーボード，ディスプレイ等と接続された一般的な計算機であり、複数の撮影画像を備えたデジタルスチルカメラと接続されている。こうしたコンピュータのＲＯＭに、処理プログラムが記憶され、ハードディスクの一記憶領域に、上記の各データベースが記憶されている。以下に、このコンピュータで実行される上記各部の処理（画像認識処理）について説明する。
【００４３】
なお、ここでは、デジタルスチルカメラから直接的に画像データを入力するものとして説明するが、Ｅｘｉｆ形式であって上述の撮影情報を備えている画像データであれば、デジタルビデオカメラやカメラ付き携帯電話などの撮像機器からの入力や、メモリカードやハードディスクなどの記録媒体からの入力であっても良い。
【００４４】
Ｂ．画像認識処理：
図４は、画像認識処理の流れを示すフローチャートである。キーボードを介したユーザ指示により、ディスプレイ上には、デジタルスチルカメラ内の撮影画像が表示される。ユーザがディスプレイ上で一の撮影画像を選択する操作を行なうことで、この処理はＣＰＵにより実行される。
【００４５】
処理を開始すると、ＣＰＵは、一の撮影画像の画像データを入力し、その画像データから輪郭線を抽出する（ステップＳ４００）。具体的には、画像データの輝度値が急激に変化する場所を物体の境界であるとして、境界線を抽出するエッジ検出を実行し、検出されたエッジを連結して輪郭線を抽出している。こうして輪郭線を抽出することで、画像データ内のオブジェクトを取得すると共に、その形状、位置姿勢などの画像特徴量を取得している。なお、抽出されるオブジェクトが複数ある場合には、オブジェクト毎に画像特徴量を取得する。
【００４６】
続いて、ＣＰＵは、輪郭線を基に取得されたオブジェクトについて、色認識処理を実行する（ステップＳ４１０）。具体的には、オブジェクトの画像特徴量として、オブジェクトを構成する色の割合を検出している。
【００４７】
こうしてオブジェクトおよびその画像特徴量を取得したＣＰＵは、オブジェクトの実際の大きさを求める実体長処理を実行する（ステップＳ４２０）。実体長処理では、ピントのずれが所定範囲内、つまり、ピントのあったオブジェクトについて、実際の大きさを算出する。この実体長処理については、後に詳しく説明する。
【００４８】
ＣＰＵは、算出したオブジェクトの実際の大きさや、オブジェクトの画像特徴量から、入力した画像データのオブジェクト（つまり、主要な被写体が何であるか）を決定し（ステップＳ４３０）、一連の画像認識処理を終了する。具体的には、ハードディスク上の各種データベースを参照しつつ、オブジェクトを表わす対象物として適切なものを抽出し、ディスプレイ上に表示する。なお、適切であると判断された対象物が複数ある場合には、複数の候補をディスプレイ上に表示している。
【００４９】
以上の画像認識処理によれば、ピントのあったオブジェクトの実際の大きさを、オブジェクト（つまり、撮影画像）の認識における一判断要素として用いる。したがって、単に、オブジェクトから抽出される画像特徴量を用いた判断による画像認識に比べ、認識の精度を高めることができる。
【００５０】
Ｃ．実体長処理：
図５は、画像認識処理のサブルーチンとしての実体長処理の流れを示すフローチャートである。この処理は、入力された一の画像データにおいて、オブジェクト、画像特徴量が取得された後に、ＣＰＵにより実行される。
【００５１】
処理を開始すると、ＣＰＵは入力された一の画像データについて、Ｅｘｉｆ形式のデータ（Ｅｘｉｆデータ）の有無を判断する（ステップＳ５０５）。ステップＳ５０５で、Ｅｘｉｆデータが無い（Ｎｏ）と判断した場合には、実体長の算出を行なうことなく、リターンに抜けて、図４のステップＳ４３０へ戻る。
【００５２】
他方、ステップＳ５０５で、Ｅｘｉｆデータが有る（Ｙｅｓ）と判断した場合には、Ｅｘｉｆデータを取り出す処理を行なう（ステップＳ５１０）。具体的には、Ｅｘｉｆデータのうち、「レンズの焦点距離」，「被写体距離」，「メーカ名」，「機種名」，「画像幅」，「画像高さ」，「ＣＣＤの画素密度」の項目に記録されているデータを取得している。
【００５３】
続いて、ＣＰＵは、取得されたオブジェクトについてピントのずれを判断し、処理対象として特定する被写体特定処理を実行する（ステップＳ５２０）。具体的には、取得されたオブジェクトのエッジ（輪郭線）の幅を検出し、エッジの幅が予め設定した所定閾値に収まる場合には「ピントがあっている」（ピントのずれが少ない）と判断し、所定閾値を超える場合には「ピントがあっていない」（ピントのずれが大きい）と判断する。こうしたピントの判断処理により、ピントがあっているオブジェクトを処理対象として特定している。例えば、オブジェクトが複数取得されている場合には、各オブジェクト毎についてピントの判断処理を実行し、ピントの閾値条件を満たすものの中で、最もピントがあっているものを処理対象として特定している。
【００５４】
被写体特定処理を実行したＣＰＵは、ピントのあったオブジェクトが存在するか否かを判断する（ステップＳ５３５）。すなわち、ピントの閾値条件を満たし、特定された一のオブジェクトの有無を判断している。
【００５５】
ステップＳ５３５で、ピントのあったオブジェクトが存在しない（Ｎｏ）と判断した場合、つまり、取得したオブジェクトは幾つかあるものの、全て、ピントの閾値条件を満たさないような場合には、実体長の算出を行なうことなく、リターンに抜けて、図４のステップＳ４３０へ戻る。
【００５６】
他方、ステップＳ５３５で、ピントのあったオブジェクトが存在する（Ｙｅｓ）と判断した場合には、「ＣＣＤの画素密度」の情報が有るか否かを判断する（ステップＳ５４５）。具体的には、Ｅｘｉｆデータから取り出した「ＣＣＤの画素密度」がヌル（ゼロ）である場合に情報が無いと、それ以外の場合には情報が有ると、それぞれ判断している。
【００５７】
ステップＳ５４５で、ＣＣＤ画素密度の情報が有る（Ｙｅｓ）と判断した場合には、実体長計算処理（ステップＳ５８０）へ移行する。
【００５８】
他方、ステップＳ５４５で、ＣＣＤ画素密度の情報が無い（Ｎｏ）と判断した場合には、「機種名」の情報の有無を判断する（ステップＳ５５５）。
【００５９】
ステップＳ５５５で、機種名の情報が有る（Ｙｅｓ）と判断した場合には、センサ情報取得処理を実行する（ステップＳ５７０）。この処理では、機種データベース３７を参照して、「メーカ名」，「機種名」から「ＣＣＤサイズ」の情報を取得し、「ＣＣＤサイズ」と、「画像幅」，「画像高さ」とを用いて、「ＣＣＤ画素密度」を算出している。ＣＰＵは、「ＣＣＤ画素密度」を算出後、実体長計算処理（ステップＳ５８０）へ移行する。
【００６０】
また、ステップＳ５５５で、機種名の情報が無い（Ｎｏ）と判断した場合、すなわち、Ｅｘｉｆデータの該当箇所にデータが記憶されていないような場合には、実体長の算出を行なうことなく、リターンに抜けて、図４のステップＳ４３０へ戻る。つまり、この場合には、デジタルスチルカメラ固有の情報が取得できないため、実体長の計算は行なわない。
【００６１】
「レンズの焦点距離」，「被写体距離」，「ＣＣＤの画素密度」を取得し、ピントのあったオブジェクトを特定したＣＰＵは、実体長計算処理を実行し（ステップＳ５８０）、リターンに抜けて一連の処理を終了し、図４のステップＳ４３０へ戻る。実体長計算処理では、図２に示したように、ＣＣＤ画素密度を用いてオブジェクトのイメージサイズＸを算出し、焦点距離ｆ，被写体距離Ｗを用いて、オブジェクトの実際の大きさＹを算出する。
【００６２】
例えば、図６に示すように、「机上の牛乳パック」を撮影した画像データのＥｘｉｆデータとして、被写体距離が２８００[ｍｍ]、レンズの焦点距離が５０[ｍｍ]、ＣＣＤ画素密度が２０４８０００／５９５[ｄｐｉ]を取得し、オブジェクトとしての「牛乳パック」の画像上のドット数が２２８ドットであると検出されたとする。この場合、１[ｉｎ]を２５．４[ｍｍ]とすると、画像上のイメージサイズＸは、Ｘ＝２５．４×５９５／２０４８０００×２２８＝１．６８[ｍｍ]となる。これを用いて、実際の大きさＹは、Ｙ＝２８００×１．６８／５０＝９４．８[ｍｍ]と算出される。
【００６３】
こうして算出されたオブジェクトの実際の大きさは、図４のステップＳ４３０における被写体の決定処理で利用され、適切な画像認識が実行される。
【００６４】
以上の実体長処理を含む画像認識処理によれば、オブジェクトのピントのずれを考慮して、画像認識を行なう。すなわち、ピントのずれが所定閾値内に収まる場合に、実際の大きさを算出し、これを認識処理に利用する。したがって、オブジェクトの実際の大きさの算出に伴う誤差を低減することができる。その結果、実際の大きさを利用した場合の画像認識の精度を向上することができる。
【００６５】
また、ピントのずれが大きい場合には、処理を行なわない。この場合には、画像認識処理におけるオブジェクトの画像特徴量によって、オブジェクトの候補が決定される。こうしたピントのずれが大きいオブジェクトは、被写体距離やイメージサイズが不正確となり、実体長の算出処理を実行しても、計算結果の誤差が大きい。かかる結果を利用することで、かえって、オブジェクトの認識精度を低下させてしまう場合がある。本実施例では、こうした場合には実体長を算出しないため、オブジェクトの実体長を画像認識に有効に利用することができる。
【００６６】
なお、本実施例ではステップＳ５２０の処理において、一つの閾値を用いてピントのずれが所定範囲内である（ピントがあっている）か否かを判断するものとしたが、ピントがあっていないと判断しても、ある程度のピントのずれであれば、実体長計算を実行するものとしても良い。この場合、ピントのずれの判断に第１、第２の２つの閾値（第１の閾値＜第２の閾値）を用い、第１の閾値を超えても第２の閾値の範囲内であれば、実体長計算を実行する。そして、図３に示した物体実体長データベース４２における対象物の実際の長さの範囲に所定の幅δ（誤差）を持たせ、図４のステップＳ４３０では、幅δを持たせた実際の長さの範囲に基づいて被写体を決定する。
【００６７】
具体的には、図５に示した実体長処理のステップＳ５２０を、図７に示すステップＳ５２０ａ〜Ｓ５２０ｇの処理に置き換えれば良い。すなわち、Ｅｘｉｆデータを取得したＣＰＵは、所定のオブジェクトについて、ピントのずれ量としてのエッジ幅αを算出する（ステップＳ５２０ａ）。ＣＰＵは、エッジ幅αが第１の閾値Ｔｈ１よりも小さいか否かを判断する（ステップＳ５２０ｂ）。
【００６８】
ステップＳ５２０ｂで、エッジ幅αが第１の閾値Ｔｈ１よりも小さい（Ｙｅｓ）と判断された場合には、まず、そのオブジェクトを処理対象の候補として一時的に記憶しておく（ステップＳ５２０ｅ）。
【００６９】
他方、ステップＳ５２０ｂで、エッジ幅αが第１の閾値Ｔｈ１以上である（Ｎｏ）と判断された場合には、エッジ幅αが第２の閾値Ｔｈ２よりも小さいか否かを判断する（ステップＳ５２０ｃ）。ステップＳ５２０ｃで、エッジ幅αが第２の閾値Ｔｈ２よりも小さい（Ｙｅｓ）と判断された場合には、誤差を考慮した（つまり幅δを持たせた）物体実体長データベース４２を使用する条件を付け（ステップＳ５２０ｄ）、これを処理対象の候補として一時的に記憶しておく（ステップＳ５２０ｅ）。また、ステップＳ５２０ｃで、エッジ幅αが第２の閾値Ｔｈ２以上である（Ｎｏ）と判断された場合には、そのオブジェクトを処理対象の候補とはしない。
【００７０】
続いて、ＣＰＵは、オブジェクトの全部について処理を実行したか否かを判断する（ステップＳ５２０ｆ）。図４のステップＳ４００で、オブジェクトが複数抽出された場合には、ＣＰＵはこの数を一時的に記憶している。さらに、ＣＰＵはステップＳ５２０ａの処理を実行する度に、その処理回数をカウントしている。ＣＰＵは、カウント値が記憶した数字と一致した場合に、全オブジェクトについて処理を実行したと判断している。
【００７１】
ステップＳ５２０ｆで、まだ修理済みでない（Ｎｏ）と判断した場合には、ステップＳ５２０ａに戻り、次のオブジェクトについてピントのずれの判断を実行する。他方、ステップＳ５２０ｆで、処理済である（Ｙｅｓ）と判断した場合には、記憶した処理対象候補の中から最もピントのずれの少ないものを処理対象として特定する（ステップＳ５２０ｇ）。こうして特定されたオブジェクトについて、実体長を計算する処理が実行される。勿論、ステップＳ５２０ｅにおける処理対象の候補として記憶されたオブジェクトが存在しない場合も有り得る。この場合には、画像認識に実際の大きさを判断しない。
【００７２】
こうした処理（図７に示した処理）を実行することで、ピントのずれが第１の閾値範囲に収まる場合に比べて精度は低下するものの、画像認識の判断材料として実際の大きさを用いることができるため、画像認識の精度を向上することができる。
【００７３】
さらに、図８に示すように、ピントのずれが第１の閾値Ｔｈ１を超えて、第３の閾値Ｔｈ３以内である場合には、エッジ強調を実行するものとしても良い。図８は、図７のステップＳ５２０ｃ，Ｓ５２０ｄの処理を、ステップＳ８２０ｃ、Ｓ８２０ｄの処理に置き換えたフローチャートである。図示するように、ステップＳ５２０ｂで、エッジ幅αが第１の閾値Ｔｈ１以上である（Ｎｏ）と判断された場合には、エッジ幅αが第３の閾値Ｔｈ３よりも小さいか否かを判断する（ステップＳ８２０ｃ）。ここで第３の閾値Ｔｈ３は、第１の閾値Ｔｈ１よりも大きい所定の閾値であり、第２の閾値Ｔｈ２と同じ値であっても良い。
【００７４】
ステップＳ８２０ｃで、エッジ幅αが第３の閾値Ｔｈ３以上である（Ｎｏ）と判断された場合には、そのオブジェクトを処理対象の候補とはしない。他方、ステップＳ８２０ｃで、エッジ幅αが第３の閾値Ｔｈ３よりも小さい（Ｙｅｓ）と判断された場合には、エッジ強調を実行し（ステップＳ８２０ｄ）、そのオブジェクトを処理対象の候補とする。
【００７５】
エッジ強調は、所定のフィルタを用いてエッジ（輪郭線）を強調する処理である。エッジ強調を施してオブジェクトのエッジをシャープに見せる加工を行なうことで、図５のステップＳ５８０においてイメージサイズの算出時の誤差を減らすことができる。
【００７６】
また、本実施例では、オブジェクトを解析してピントのずれを判断するものとしたが、こうしたピントに関する情報がＥｘｉｆ形式の撮影情報に含まれる場合には、撮影情報から抽出したピントの情報を用いて、実体長処理を実行するものとしても良い。具体的には、ピントを合わせた位置の情報から、その位置に存在するオブジェクトを、処理対象として特定する。こうした撮影情報を利用することで、迅速な処理を実行することができる。
【００７７】
Ｄ．変形例：
本実施例では、画像データからの輪郭線の抽出（つまり、オブジェクトの取得）処理（ステップＳ４００）を実行し、その後、ピントのずれの判断による被写体特定処理（ステップＳ５２０）を実行し、どちらの処理もオブジェクトのエッジに関する処理を実行するものとして説明したが、ステップＳ４００の輪郭線の抽出処理と共に、エッジ幅を検出して、「ピントがあっているか否か」を判断しておくものとしても良い。こうすることで、迅速な画像認識処理を実行することができる。
【００７８】
また、本実施例では、オブジェクトが複数となる場合には、最もピントのあうものを１つ決定し、そのオブジェクトについて実体長を算出するものとしたが、処理対象とするオブジェクトは１つに限るものではない。ピントの条件を満たすオブジェクトであれば、複数のオブジェクトについて実体長を求めるものとしても良い。
【００７９】
本実施例では、記憶部４０に備えた３つのデータベースを参照して、画像認識を行なうものとしたが、更に、複数のデータベースを用意して、画像認識を行なうものとしても良い。例えば、花や動物などの対象物について、生息域のデータベースを用意しておく。撮影画像のＥｘｉｆデータには、ＧＰＳによる撮影位置の情報が含まれている場合があるため、生息域のデータとＧＰＳによる撮影位置とを比較して、オブジェクトが何であるかを決定する。こうすることで、より一層、画像認識の精度を向上することができる。
【００８０】
さらに、本実施例では、コンピュータのハードディスク上に種々のデータベースを構築するものとしたが、例えば、ネットワーク上のサーバにデータベースを構築するものとしても良い。この場合、一般的なコンピュータに備わるネットワークとの接続機能を利用すれば良い。こうすることで、大容量のデータベースを構築することができる。
【００８１】
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。本実施例では、画像認識処理はソフトウェアプログラムの態様にて実行されるが、上記の各処理（ステップ）を実行する論理回路を備えたハードウェア回路を用いるものとしても良い。こうすることで、ＣＰＵの負荷を軽減することができると共に、より一層高速に各処理を実行することができる。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施例としての画像認識装置を示す説明図である。
【図２】オブジェクトの実際の大きさを求める算出処理の説明図である。
【図３】物体実体長データベースに記憶されているデータの内容の説明図である。
【図４】画像認識処理の流れを示すフローチャートである。
【図５】実体長処理の流れを示すフローチャートである。
【図６】実際の大きさを求める処理の具体例である。
【図７】所定のピントのずれを許容する場合の実体長処理のフローチャートである。
【図８】エッジ強調を加えた実体長処理のフローチャートである。
【符号の説明】
【００８３】
１０...画像認識装置
２０...抽出部
２４...オブジェクト抽出部
２６...色認識部
３０...実体長処理部
３２...Ｅｘｉｆデータ取得部
３４...ピント照合部
３６...センサ情報取得部
３７...機種データベース
３８...実体長計算部
４０...記憶部
４２...物体実体長データベース
４４...オブジェクトデータベース
４６...色認識データベース
５０...物体候補選択部
Ａ...オブジェクト
Ｗ...被写体距離
Ｘ...イメージサイズ
ｆ...焦点距離
【図１】
2007058630.tif 000003
【図２】
2007058630.tif 000004
【図３】
2007058630.tif 000005
【図４】
2007058630.tif 000006
【図５】
2007058630.tif 000007
【図６】
2007058630.tif 000008
【図７】
2007058630.tif 000009
【図８】
2007058630.tif 000010