(57)【要約】【課題】  効率よく撮影年月日の情報がない画像の撮影時期を特定することができる画像処理装置を提供する。【解決手段】  部分画像識別部１４は、画像入力部１２により入力された入力画像からオブジェクトを抽出し、その種類を識別する。特徴情報生成部１６は、各オブジェクトについて算出した特徴量に基づいて各オブジェクトの特徴情報を生成する。部分画像データベース２４は、オブジェクトの種類毎に複数設けられている。類似度算出部１８は、各オブジェクトについて、その種類に対応する部分画像データベースに登録された全てのオブジェクトとの類似度を、両者の特徴情報に基づいて算出する。撮影時期特定部２０は、類似度算出部１８によって算出された各類似度から撮影時期を特定する。登録部２２は、抽出したオブジェクトを、特定した撮影時期と関連付けて、対応する種類の部分画像データベースに登録する。【選択図】      図１
2005115672.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から部分画像を抽出する部分画像抽出手段と、
前記部分画像の種類を判別する種類判別手段と、
前記種類毎に設けられ、登録部分画像と前記登録部分画像の撮影時期とが関連付けられて記憶された複数の部分画像データベースと、
前記部分画像及び前記登録部分画像の特徴情報を生成する特徴情報生成手段と、
前記部分画像と前記部分画像の種類に対応した部分画像データベースに記憶された登録部分画像との類似度を、両者の特徴情報に基づいて算出する類似度算出手段と、
前記類似度算出手段による算出結果に基づいて、前記入力画像の撮影時期を特定する撮影時期特定手段と、
特定した撮影時期を出力する出力手段と、
を備えた画像処理装置。
【請求項２】
前記撮影時期特定手段は、前記類似度算出手段により算出した類似度のうち所定閾値以上で且つ最も高い類似度の登録部分画像の撮影時期を、前記入力画像の撮影時期として特定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記部分画像を、前記撮影時期特定手段により特定された撮影時期の情報と共に、対応する前記部分画像データベースに登録する登録手段をさらに備えたことを特徴とする請求項１又は請求項２記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、より詳しくは、撮影手段により撮影された撮影画像を部分画像に分割し、各々の部分画像に基づいて撮影画像の年代を推定する画像処理装置に関する。
【背景技術】
【０００２】
従来、画像に含まれるオブジェクトの類似度を検索し、そのオブジェクトに関する情報を提供する技術が提案されている。例えば、特許文献１には、予めオブジェクトを複数の条件で撮影した得た複数の画像の特徴量を抽出し、これを同一のオブジェクトに関する特徴量ごとにオブジェクトに関する情報と共に関連付けたオブジェクトを生成してデータベースに格納し、このデータベースを用いて、入力された画像に含まれるオブジェクトの類似度を検索し、そのオブジェクトに関する情報を提供する技術が提案されている。
【０００３】
また、特許文献２には、クラスタリングを利用した領域分割によってオブジェクトを抽出して類似度を検索する場合に、画像の背景マスクを生成し、この背景マスクに基づいて背景領域を検出、除去してオブジェクトを抽出する技術が提案されている。
【０００４】
このような画像のオブジェクトの類似度を検索する際に用いる画像のデータベースは、従来では、利用者自らが予めオブジェクトの種類や名称を設定し、設定した種類や名称のオブジェクトのデータベースに登録する必要があり、データベースの登録作業等の手間が煩雑であった。
【０００５】
また、特許文献３には、ＧＰＳ（Global Positioning System）装置が接続されたデジタルカメラで撮影された画像を、ＧＰＳ装置によって得られた位置情報と時刻情報等のＧＰＳ情報に基づいて効率的にカテゴライズする技術が提案されている。
【特許文献１】特開２００１−２２９３８２号公報
【特許文献２】特開２００２−１１７４０９号公報
【特許文献３】特開平１０−２３３９８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献３に記載された技術では、撮影場所に応じたアルバムを作成することが可能になるものの、古いアルバム等に収められた写真等の過去に撮影した画像のうち、撮影年月日の記録がない画像の撮影時期を知り、撮影時期に応じて分類したいという要求に対して応えることはできない。
【０００７】
本発明は、上記事実に鑑みて成されたものであり、効率よく撮影年月日の情報がない画像の撮影時期を特定することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１記載の発明は、入力画像から部分画像を抽出する部分画像抽出手段と、前記部分画像の種類を判別する種類判別手段と、前記種類毎に設けられ、登録部分画像と前記登録部分画像の撮影時期とが関連付けられて記憶された複数の部分画像データベースと、前記部分画像及び前記登録部分画像の特徴情報を生成する特徴情報生成手段と、前記部分画像と前記部分画像の種類に対応した部分画像データベースに記憶された登録部分画像との類似度を、両者の特徴情報に基づいて算出する類似度算出手段と、前記類似度算出手段による算出結果に基づいて、前記入力画像の撮影時期を特定する撮影時期特定手段と、特定した撮影時期を出力する出力手段と、を備えたことを特徴とする。
【０００９】
この発明によれば、部分画像抽出手段によって入力画像から部分画像が抽出され、抽出された部分画像は、種類判別手段により、その種類が判別される。
【００１０】
部分画像データベースは部分画像の種類毎に複数設けられ、登録部分画像と、その登録部分画像の撮影時期とが関連付けられて記憶されている。
【００１１】
特徴情報生成手段は、部分画像及び部分画像データベースに登録された登録部分画像の特徴情報を生成する。
【００１２】
類似度算出手段は、部分画像抽出手段によって抽出された部分画像と、種類判別手段によって判別された部分画像の種類に対応した部分画像データベースに記憶された登録部分画像との類似度を、両者の特徴情報、すなわち部分画像抽出手段によって抽出された部分画像の特徴情報と、部分画像データベースに登録された登録部分画像の特徴情報とに基づいて算出する。
【００１３】
撮影時期特定手段は、類似度算出手段による算出結果に基づいて、入力画像の撮影時期を特定する。例えば請求項２に記載したように、前記撮影時期特定手段は、前記類似度算出手段により算出した類似度のうち所定閾値以上で且つ最も高い類似度の登録部分画像の撮影時期を、前記入力画像の撮影時期として特定することができる。特定された撮影時期は、出力手段によって出力される。
【００１４】
このように、入力画像から部分画像を抽出して、まず抽出した部分画像の種類を特定した上で、その種類の部分画像データベースに登録された登録部分画像から類似度の高い登録部分画像を検索して撮影時期を特定するので、入力画像と類似する登録部分画像を効率よく検索することができ、撮影時期が不明な入力画像の撮影時期を精度よく特定することができる。
【００１５】
また、請求項３に記載したように、前記部分画像を、前記撮影時期特定手段により特定された撮影時期の情報と共に、対応する前記部分画像データベースに登録する登録手段をさらに備えた構成とすることができる。これにより、画像を入力する毎に部分画像データベースに部分画像が蓄積され、類似する画像の検索や撮影時期の特定の精度を向上させることができる。
【発明の効果】
【００１６】
以上説明したように、本発明によれば、効率よく撮影年月日の情報がない画像の撮影時期を特定することができる、という優れた効果を有する。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【００１８】
図１には、本発明に係る画像処理装置１０の概略ブロック図を示した。図１に示すように、画像処理装置１０は、画像入力部１２、部分画像識別部１４、特徴情報生成部１６、類似度算出部１８、撮影時期特定部２０、登録部２２、部分画像データベース２４、及び出力部２６を含んで構成されている。
【００１９】
画像入力部１２は、撮影時期が不明な画像を入力するためのものであり、例えばプリント写真等の反射原稿に光を照射し、その反射光を読み取ることにより原稿の画像を得るスキャナを用いることができる。
【００２０】
なお、画像入力部１２は、画像を入力できるものであればよく、スキャナに限らず、例えば写真フィルム等の透過原稿を読み取るフィルムスキャナ、メモリーカード等の記録媒体に記録されたデジタル画像を読み取るためのカードリーダー、ＣＤ、ＤＶＤ等に記録されたデジタル画像を読み取るためのドライブ装置、ネットワーク転送されたデジタル画像を受信する通信インターフェース装置等を用いることもできる。
【００２１】
部分画像識別部１４は、画像入力部１２によって入力された画像から各オブジェクト毎に領域分割してオブジェクト領域を抽出し、抽出したオブジェクトの種類を識別する。
【００２２】
部分画像識別部１４におけるオブジェクトの種類の識別については、従来より公知の方法を用いることができるが、例えば本出願人が出願した特願２００２−２２１３００号、特願２００２−２２１３０２号に記載された技術を用いることができる。これにより、オブジェクトの種類を正確に識別することができる。
【００２３】
すなわち、部分画像識別部１４は、図２に示すように、ブロック領域生成手段３０と、特徴量抽出手段３２、写像手段３４、及び種類出力手段３６から成るブロック領域識別手段３８と、オブジェクト抽出手段４０と、オブジェクト識別手段４２と、を含んで構成することができる。
【００２４】
以下、部分画像識別部１４について概略的に説明する。
【００２５】
ブロック領域生成手段３０は、入力画像を予め設定された画素数毎に分割した複数のブロック領域を生成する。
【００２６】
特徴量抽出手段３２は、ブロック領域生成手段３０により分割されたブロック領域から、色成分、明度成分、及び像的特徴成分からなる複数のブロック特徴量ＢＣＲを抽出する。
【００２７】
写像手段３４は、例えば自己組織化マップからなる二次元空間を有し、複数のブロック特徴量を、この二次元空間上に写像する。
【００２８】
種類出力手段３６は、二次元空間上の位置毎に種類情報を定義した種類頻度分布マップを有しており、写像手段３４により写像された二次元空間上の座標情報ＣＩから種類頻度分布マップを用いてブロック領域の種類情報ＫＩを出力する。これにより、各ブロック領域の種類を識別することができる。
【００２９】
オブジェクト抽出手段４０は、入力画像を各オブジェクト毎に領域分割してオブジェクト領域を生成し、オブジェクト識別手段４２へ出力する。オブジェクト抽出手段４０は、図示しない特徴量分類手段、領域分割手段、データベース、最小クラスタ領域抽出手段、統合領域判定手段、領域統合手段等を含んで構成される。
【００３０】
特徴量分類手段は、入力画像を構成する各画素から複数の画素特徴量を抽出し、類似した画素特徴量毎に画素を分類する。この特徴量分類手段には、例えば本出願人が出願した特願２００２−２４６３９５号に記載された技術を用いることができる。これにより、特徴量の分類を精度よく行うことができる。
【００３１】
領域分割手段は、特徴量分類手段によって分類された画素の分類毎に領域分割して複数のクラスタリング領域を生成する。
【００３２】
最小クラスタ領域抽出手段は、データベース内のクラスタリング領域のうち、最も画素数の少ない最小クラスタリング領域を抽出する。
【００３３】
統合領域判断手段は、最小クラスタリング領域と隣接する隣接クラスタリング領域をデータベース内から抽出する。
【００３４】
領域統合手段は、最小クラスタ領域抽出手段によって抽出された最小クラスタリング領域と、統合領域判断手段によって抽出された隣接クラスタリング領域とに基づいて、領域分割手段により分割されたクラスタリング領域を統合してオブジェクト領域を抽出する。
【００３５】
オブジェクト識別手段４２は、種類手段から送られた各ブロック領域の種類情報ＫＩを用いて、オブジェクト抽出手段４０によって抽出されたオブジェクト領域の種類を識別する。具体的には、オブジェクト領域内のブロック領域の種類情報ＫＩを集計し、最も多い種類情報を、そのオブジェクトの種類と識別する。
【００３６】
なお、領域分割に関しては、例えば本出願人が出願した特願２００２−２４６３９６号に記載された技術を用いるようにしてもよい。これにより、入力画像をテクスチャ領域とそれ以外の領域とに精度よく分割することができる。
【００３７】
特徴情報生成部１６は、識別された各オブジェクトについて特徴量を算出し、この特徴量に基づいて各オブジェクトの特徴情報を生成する。また、同様に、部分画像データベース２４に登録されたオブジェクトの特徴情報も生成する。
【００３８】
類似度算出部１８は、各オブジェクトについて、部分画像データベース２４に登録されたオブジェクトとの類似度を、両者の特徴情報に基づいて算出する。
【００３９】
部分画像データベース２４は、オブジェクトの種類毎に複数の部分画像データベースから構成されている。本実施の形態では、部分画像データベース２４は、一例として、建物データベース２４Ａ、ファッションデータベース２４Ｂ、髪型データベース２４Ｃ、小物データベース２４Ｄ等を含んで構成されている。各々のデータベースには、予め様々な時期に撮影されたオブジェクトの部分画像データが、その撮影時期情報等の付加情報と共に関連付けられて記憶されている。ここで、撮影時期とは、例えば平成１年というように、その年だけをいう場合に限らず、平成１〜３年のように、複数年にまたがる場合も含む。また、年に限らず、月、日まで含むようにしてもよい。
【００４０】
建物データベース２４Ａには、例えばビルや家屋等の建物の他、各種記念碑、ランドマーク等の部分画像データが記憶される。
【００４１】
ファッションデータベース２４Ｂには、各年代毎の一般的な服装又は流行した服装の部分画像データベースが記憶される。
【００４２】
髪型データベース２４Ｃには、各年代毎の一般的な髪型又は流行した髪型の部分画像データベースが記憶される。なお、髪型だけでなく、各年代毎の一般的なメーク又は流行したメークの部分画像データベースを記憶するようにしてもよい。
【００４３】
小物データベース２４Ｄには、各年代毎の郵便ポストや公衆電話、当時人気だったキャラクター商品やブランド商品等の部分画像データが記憶される。
【００４４】
また、上記の部分画像データベースの種類や、部分画像データベースの内容は一例であって、その他、撮影時期を特定したい入力画像の種類等に応じて、様々な部分画像データベースを設けることができる。例えば、入力画像の種類が、鉄道の各駅周辺を撮影した画像のような場合には、建物データベース２４Ａには、駅舎や、その周辺のランドマーク等の部分画像を含めることができる。この場合、各年代の各駅の画像を蓄積することができる。また、木や道路等の風景画像を記憶するための部分画像データベースを設けるようにしてもよい。
【００４５】
さらに、家族写真を入力画像とする場合、その家族専用の部分画像データベースを設けるようにしてもよい。この場合、各人の各年代における部分画像がその部分画像データベースに登録される。また、付加情報に、その家族の各人に関する情報（生年月日、存命期間、トピックス等）を含めるようにしてもよい。これにより、古いアルバムに収容された撮影時期の不明な写真の撮影時期を特定することが可能になると共に、家族史として活用することが可能となる。
【００４６】
なお、付加情報に撮影時期情報以外の情報を含めるようにしてもよい。例えば、建物データベース２４Ａに、建物の建築時期の情報や、建て直し時期の情報等を含め、この情報を撮影時期の特定の判断に用いるようにしてもよい。
【００４７】
特徴情報生成部１６による特徴情報の生成及び類似度算出部１８による類似度の算出は、本出願人が出願した特願２００２−２４９２０７号に記載された技術を用いることができる。
【００４８】
すなわち、特徴情報には、例えばオブジェクト名、オブジェクト名に対する信頼度、オブジェクトの位置情報、オブジェクトの大きさ情報、オブジェクトの画素特徴量が用いられる。
【００４９】
特徴情報生成部１６では、まずオブジェクト領域を小領域に分割し、各小領域の特徴量を算出する。ここで、特徴量としては、小領域の平均色や方向別の高周波成分が用いられる。
【００５０】
そして、各小領域の特徴量から得られる特徴量ベクトルに基づいて、その小領域がどのような名称のオブジェクトに属するものであるか及びその信頼度を判定する。この判定は、複数のオブジェクト名について学習を行った自己組織化マップに特徴量ベクトルを入力することにより自己組織化マップからの出力に基づいて決定される。オブジェクト名は、本実施の形態では、各部分画像データベースに対応して分類され、建物関係、ファッション関係、髪型関係、小物関係にそれぞれ分類される。
【００５１】
全ての小領域についてオブジェクト名を求めると、そのオブジェクト領域中で最も多い小領域のオブジェクト名及び信頼度がそのオブジェクト領域のオブジェクト名及び信頼度とされる。
【００５２】
オブジェクトの位置情報は、オブジェクトが外接する矩形領域やオブジェクト領域の重心座標が用いられる。
【００５３】
オブジェクトの大きさ情報は、オブジェクト領域内の画素数、オブジェクト領域が画像に占める割合が用いられる。
【００５４】
そして、類似度算出部１８は、入力画像から抽出した各オブジェクトについて、そのオブジェクト名に対応する部分画像データベースに登録された全てのオブジェクトとの類似度を、両者の特徴情報に基づいて算出する。
【００５５】
例えば、入力画像が図３に示すように、建物、人物、小物（図３ではポスト）等のオブジェクトを含む画像５０であった場合、画像５０から建物のオブジェクト５２、ファッション、すなわち服装のオブジェクト５４、髪型のオブジェクト５６、小物のオブジェクト５８が、前述した部分画像識別部１４によって抽出されると共に種類が識別される。
【００５６】
そして、抽出された建物のオブジェクト５２については、建物データベース２４Ａに登録された全てのオブジェクトとの類似度が算出され、抽出されたファッションのオブジェクト５４については、ファッションデータベース２４Ｂに登録された全てのオブジェクトとの類似度が算出され、抽出された髪型のオブジェクト５６については、髪型データベース２４Ｃに登録された全てのオブジェクトとの類似度が算出され、抽出された小物のオブジェクト５８については、小物データベース２４Ｄに登録された全てのオブジェクトとの類似度が算出される。
【００５７】
なお、類似度としては、両者の特徴情報に基づいて予め定められた評価値を算出する評価値算出式により算出された評価値が用いられる。この評価値が高いほど、類似度が高いと判断することができる。
【００５８】
撮影時期特定部２０は、類似度算出部１８によって算出された各類似度から撮影時期を特定する。例えば、抽出した各オブジェクトについて算出した各部分画像データベースに登録された各オブジェクトとの類似度のうち、抽出したオブジェクトと最も類似度が高く、且つその類似度が所定閾値以上である部分画像データベースに登録されたオブジェクトの撮影時期を、入力画像の撮影時期として特定する。なお、各オブジェクトについて算出した全ての類似度が何れも所定閾値未満である場合には、撮影時期を不明とする。
【００５９】
このように、本実施形態では、入力画像からオブジェクトを抽出して、各々のオブジェクトの種類を特定した上で、その種類の部分画像データベースに登録された部分画像から類似する部分画像を検索して撮影時期を特定するため、効率よく類似する部分画像を検索して撮影時期を特定することができる。また、入力画像中に含まれるオブジェクトのうち１つのオブジェクトとの類似度が高いオブジェクトが部分画像データベースの中に存在すれば、撮影時期を特定することができるため、撮影時期が不明と判断されるのを極力防止することができる。
【００６０】
登録部２２は、抽出したオブジェクトを、特定した撮影時期と関連付けて、各々対応する種類の部分画像データベースに登録する。すなわち、入力画像が図３に示す画像５０の場合には、建物のオブジェクト５２は、建物データベース２４Ａに登録され、ファッションのオブジェクト５４は、ファッションデータベース２４Ｂに登録され、髪型のオブジェクト５６は、髪型データベース２４Ｃに登録され、小物のオブジェクト５８は、小物データベース２４Ｄに各々登録される。
【００６１】
このようにして、画像が入力される毎に、抽出されたオブジェクトが各部分画像データベースに登録される。
【００６２】
出力部２６は、特定された撮影時期を出力する。出力部２６は、例えば特定された撮影時期を表示するためのディスプレイや、特定された撮影時期を用紙に印刷するためのプリンタ、特定された撮影時期を記録媒体に記録するための記録装置等を用いることができる。
【００６３】
次に、本実施形態の作用として、画像処理装置１０で実行される処理ルーチンについて図４に示すフローチャートを参照して説明する。
【００６４】
まず、ステップ１００では、画像入力部１２に画像が入力されたか否かを判断し、画像が入力されていない場合には、画像が入力されるまで待機する。そして、画像入力部１２に入力された場合は、ステップ１０２へ移行する。
【００６５】
ステップ１０２では、部分画像識別部１４により、入力画像を、その入力画像に含まれるオブジェクト毎に領域分割してオブジェクト領域を抽出し、抽出したオブジェクトの種類を識別する。
【００６６】
次のステップ１０４では、特徴情報生成部１６により、識別された各オブジェクトについて特徴量を算出し、この特徴量に基づいて各オブジェクトの特徴情報を生成する。
【００６７】
ステップ１０６では、類似度算出部１８により、識別された各オブジェクトについて、各々対応する種類の部分画像データベース２４に登録された全てのオブジェクトとの類似度を、両者の特徴情報に基づいて算出する。このとき、類似度の算出の前に、特徴情報生成部１６により、部分画像データベース２４に登録されたオブジェクトの特徴情報を生成しておく。なお、部分画像データベースに特徴情報を登録しておくようにしてもよい。これにより、類似度の算出の度に部分画像データベースに登録されたオブジェクトの特徴情報を生成する必要がなく、効率よく処理することができる。
【００６８】
ステップ１０８では、撮影時期特定部２０により、ステップ１０６で算出された各類似度に基づいて撮影時期を特定する。すなわち、抽出した各オブジェクトについて算出した各部分画像データベースに登録された各オブジェクトとの類似度のうち、抽出したオブジェクトと最も類似度が高く、且つその類似度が所定閾値以上である部分画像データベースに登録されたオブジェクトの撮影時期を、入力画像の撮影時期として特定する。また、各オブジェクトについて算出した全ての類似度が何れも所定閾値未満である場合には、撮影時期を不明とする。
【００６９】
ステップ１１０では、登録部２２により、抽出したオブジェクトを、特定した撮影時期と関連付けて、各々対応する種類の部分画像データベースに登録する。そして、ステップ１１２では、出力部２６により、特定された撮影時期を出力する。
【００７０】
このように、本実施形態では、入力画像からオブジェクトを抽出して、各々のオブジェクトの種類を特定した上で、その種類の部分画像データベースに登録された部分画像から類似する部分画像を検索して撮影時期を特定する。これにより、入力画像と類似する部分画像を効率よく検索することができ、撮影時期が不明な入力画像の撮影時期を精度よく特定することができる。
【図面の簡単な説明】
【００７１】
【図１】画像処理装置のブロック図である。
【図２】オブジェクト識別部のブロック図である。
【図３】オブジェクトの抽出について説明するためのイメージ図である。
【図４】画像処理装置で実行される制御ルーチンのフローチャートである。
【符号の説明】
【００７２】
１０  画像処理装置
１２  画像入力部
１４  部分画像識別部（部分画像抽出手段、種類判別手段）
１６  特徴情報生成部（特徴情報生成手段）
１８  類似度算出部（類似度算出手段）
２０  撮影時期特定部（撮影時期特定手段）
２２  登録部（登録手段）
２４  部分画像データベース
２６  出力部（出力手段）
３０  ブロック領域生成手段
３２  特徴量抽出手段
３４  写像手段
３６  種類出力手段
３８  ブロック領域識別手段
４０  オブジェクト抽出手段
４２  オブジェクト識別手段
【図１】
2005115672.tif 000003
【図２】
2005115672.tif 000004
【図３】
2005115672.tif 000005
【図４】
2005115672.tif 000006