(57)【要約】【課題】データベース等に記録されている大量の画像の中から、所望の画像を簡易かつ確実に検索することができる装置を提供すること。【解決手段】この画像検索装置では、画像ＤＢ部１５ｂに記録されている複数の画像（ｄａｔａ１）と、撮像部１４により撮像された画像（ｄａｔａ２）とが、略一致しているか否かを比較部１５ｄにて判定し、複数の画像（ｄａｔａ１）のうち、略一致していると判定されたものを選択し、選択された画像を表示部１１に表示する。このようにして、所望の画像を撮像部１４に撮像させることで、画像ＤＢ部１５ｂに記録されている複数の画像の中から、所望の画像を選択して表示部１１に表示させる。【選択図】図２
2010262517.tif 000002
【特許請求の範囲】
【請求項１】
複数の記録画像を記録する記録手段と、
撮像手段と、
前記撮像手段によって撮像された画像から所定の領域の画像を抽出する画像抽出手段と、
前記記録手段によって記録された前記複数の記録画像の中から、前記画像抽出手段によって抽出された前記所定の領域の画像と略一致する画像を選択する選択手段と、
を備えたことを特徴とする画像検索装置。
【請求項２】
前記記録画像の特徴量を抽出する第１の特徴量抽出手段と、
前記画像抽出手段によって抽出された前記所定の領域の画像から特徴量を抽出する第２の特徴量抽出手段と、を更に備え、
前記記録手段は、前記複数の記録画像と、前記第１の特徴量抽出手段によって前記複数の記録画像のそれぞれから検出された特徴量とを対応付けて記録し、
前記選択手段は、前記記録手段によって画像とともに記録された特徴量と、前記第２の特徴量抽出手段によって検出された特徴量とに基づいて、前記記録手段によって記録された複数の記録画像の中から、前記所定の領域と略一致する特徴を有する画像を選択することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記第１の特徴量抽出手段、及び第２の特徴量抽出手段は、
画像の特徴量として、画像から検出された人物の有無、検出された顔の数、検出された顔の大きさ、検出された顔の位置、色、及びコントラストのうち、少なくとも何れか一つを用いることを特徴とする請求項２に記載の画像検索装置。
【請求項４】
前記撮像手段は、画像を印刷した写真を含んだ画像を撮像し、  前記第１の特徴量抽出手段は、前記記録画像が撮影された時期を特定するデータを特徴量として抽出し、
前記第２の特徴量抽出手段は、前記写真の元画像が撮像された時期を特定する情報を前期写真領域から特徴量として抽出することを特徴とする請求項２に記載の画像検索装置。
【請求項５】
前記撮像手段は、画像を印刷した写真を含んだ画像を撮像し、
前記画像抽出手段によって抽出された前記所定の領域は、前記撮像手段によって撮像された画像に含まれる写真の領域であることを特徴とする請求項１乃至４の何れか一項に記載の画像検索装置。
【請求項６】
前記画像抽出手段によって抽出された前記写真の領域の画像に復元処理を施す復元処理手段を更に備え、
前記選択手段は、前記記録手段によって記録された前記複数の画像の中から、前記復元処理手段によって復元処理を施された前記写真の領域の画像と略一致する画像を選択することを特徴とする請求項５に記載の画像検索装置。
【請求項７】
前記記録手段に記録されている記録画像を表示する表示手段と、
前記表示手段を制御する表示制御手段と、を備え、
前記表示制御手段は、前記選択手段によって選択された記録画像を前記表示手段に表示させることを特徴とする請求項１乃至請求項６の何れか一項に記載の画像検索装置。
【請求項８】
複数の記録画像を記録する工程と、
撮像する工程と、
前記撮像する工程によって撮像された画像から所定の領域の画像を抽出する工程と、
前記記録する工程によって記録された複数の記録画像の中から、前記抽出する工程によって抽出された所定の領域の画像と略一致する画像を選択する工程と、
を備えたことを特徴とする画像検索方法。
【請求項９】
画像検索装置が有するコンピュータに、
複数の記録画像を記録する工程と、
撮像する工程と、
前記撮像する工程によって撮像された画像から所定の領域の画像を抽出する工程と、
前記記録する工程によって記録された複数の記録画像の中から、前記抽出する工程によって抽出された所定の領域の画像と略一致する画像を選択する工程と、
を実行させることを特徴とする画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像の中から所望の画像を検索する画像検索装置、画像検索方法、及び画像検索プログラムに関する。
【背景技術】
【０００２】
近年、半導体メモリの低価格化に伴い、例えば、デジタルカメラ等で撮像・記録した大量の画像を、一つの半導体メモリに記憶させることが可能となっている。
そして、そのように大量の画像の中から、ユーザが出力を所望する画像の検索方法も種々考案されている。例えば、上記技術の一つとして、基準色を指定して検索するものが特許文献１に開示されている。
【０００３】
かかる技術では、先ず、検索条件として所定の色（基準色）を指定する。次に、画像ファイル毎に、全体又は所定の判定領域のピクセルの色彩と基準色とが近似しているか否かを評価する。そして、近似していると評価されたピクセルの割合が一定値以上である画像ファイルを抽出する。このようにして、指定した基準色に基づいて、大量の画像ファイルの中から所望の画像ファイルを検索する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１７５５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術によれば、所望の画像を検索するために基準色を指定する必要がある。従って、検索対象となる画像の色彩によっては、基準色を指定できない、あるいは基準色を指定しても所望の画像を精度良く検索することが困難な場合が生じる。
【０００６】
このように、大量の画像の中から、所望の画像を簡易かつ確実に検索することは依然として達成されていない。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、大量の画像の中から、所望の画像を簡易かつ確実に検索することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため請求項１記載の発明に係る画像検索装置にあっては、複数の記録画像を記録する記録手段と、撮像手段と、前記撮像手段によって撮像された画像から所定の領域の画像を抽出する画像抽出手段と、前記記録手段によって記録された前記複数の記録画像の中から、前記画像抽出手段によって抽出された前記所定の領域の画像と略一致する画像を選択する選択手段と、を備えたことを特徴とする。
【０００９】
また、請求項２記載の発明に係る画像検索装置にあっては、前記記録画像の特徴量を抽出する第１の特徴量抽出手段と、前記画像抽出手段によって抽出された前記所定の領域の画像から特徴量を抽出する第２の特徴量抽出手段と、を更に備え、前記記録手段は、前記複数の記録画像と、前記第１の特徴量抽出手段によって前記複数の記録画像のそれぞれから検出された特徴量とを対応付けて記録し、前記選択手段は、前記記録手段によって画像とともに記録された特徴量と、前記第２の特徴量抽出手段によって検出された特徴量とに基づいて、前記記録手段によって記録された複数の記録画像の中から、前記所定の領域と略一致する特徴を有する画像を選択することを特徴とする。
【００１０】
また、請求項３記載の発明に係る画像検索装置にあっては、前記第１の特徴量抽出手段、及び第２の特徴量抽出手段は、画像の特徴量として、画像から検出された人物の有無、検出された顔の数、検出された顔の大きさ、検出された顔の位置、色、及びコントラストのうち、少なくとも何れか一つを用いることを特徴とする。
【００１１】
また、請求項４記載の発明に係る画像検索装置にあっては、前記撮像手段は、画像を印刷した写真を含んだ画像を撮像し、前記第１の特徴量抽出手段は、前記記録画像が撮影された時期を特定するデータを特徴量として抽出し、前記第２の特徴量抽出手段は、前記写真の元画像が撮像された時期を特定する情報を前期写真領域から特徴量として抽出することを特徴とする。
【００１２】
また、請求項５記載の発明に係る画像検索装置にあっては、前記撮像手段は、画像を印刷した写真を含んだ画像を撮像し、前記画像抽出手段によって抽出された前記所定の領域は、前記撮像手段によって撮像された画像に含まれる写真の領域であることを特徴とする。
【００１３】
また、請求項６記載の発明に係る画像検索装置にあっては、前記画像抽出手段によって抽出された前記写真の領域の画像に復元処理を施す復元処理手段を更に備え、前記選択手段は、前記記録手段によって記録された前記複数の画像の中から、前記復元処理手段によって復元処理を施された前記写真の領域の画像と略一致する画像を選択することを特徴とする。
【００１４】
また、請求項７記載の発明に係る画像検索装置にあっては、前記記録手段に記録されている記録画像を表示する表示手段と、前記表示手段を制御する表示制御手段と、を備え、前記表示制御手段は、前記選択手段によって選択された記録画像を前記表示手段に表示させることを特徴とする。
【００１５】
また、請求項８記載の画像検索方法にあっては、複数の記録画像を記録する工程と、撮像する工程と、前記撮像する工程によって撮像された画像から所定の領域の画像を抽出する工程と、前記記録する工程によって記録された複数の記録画像の中から、前記抽出する工程によって抽出された所定の領域の画像と略一致する画像を選択する工程と、を備えたことを特徴とする。
【００１６】
また、請求項９記載の画像検索プログラムにあっては、画像検索装置が有するコンピュータに、複数の記録画像を記録する工程と、撮像する工程と、前記撮像する工程によって撮像された画像から所定の領域の画像を抽出する工程と、前記記録する工程によって記録された複数の記録画像の中から、前記抽出する工程によって抽出された所定の領域の画像と略一致する画像を選択する工程と、を実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、複数の画像の中から、撮像された画像の所定の領域と略一致する画像が選択することができる。このため、予め印刷された写真を撮像すると、大量の画像の中から、1写真の元画像を簡易かつ確実に検索することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施の形態に係る画像検索装置を適用したデジタルフォトフレームの概略図である。
【図２】本発明の第１の実施の形態に係る画像検索装置が画像検索を実行する際の機能ブロック図である。
【図３】本発明の第１の実施の形態に係る画像検索装置が備えるＣＰＵが実行する、画像検索を行うためのルーチンを示すフローチャートである。
【図４】本発明の第２の実施の形態に係る画像検索装置が画像検索を実行する際の機能ブロック図である。
【図５】本発明の第２の実施の形態に係る画像検索装置が画像検索を実行する際の機能ブロック図である。
【図６】本発明の第２の実施の形態に係る画像検索装置が備えるＣＰＵが実行する、画像及び特徴量の記録を行うためのルーチンを示すフローチャートである。
【図７】本発明の第２の実施の形態に係る画像検索装置が備えるＣＰＵが実行する、特徴量の抽出を行うためのルーチンを示すフローチャートである。
【図８】特徴量の抽出・記述を説明するための図である。
【図９】本発明の第２の実施の形態に係る画像検索装置が備えるＣＰＵが実行する、画像検索を行うためのルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明による画像検索装置の各実施の形態について図面を参照しつつ説明する。
【００２０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像検索装置を適用したデジタルフォトフレーム１０の概略図である。このデジタルフォトフレーム１０は、表示部１１と、枠体１２と、メモリスロット１３と、撮像部１４と、制御部１５と、を備えている。
【００２１】
表示部１１は、所謂液晶ディスプレイであり枠体１２によって固定されている。メモリスロット１３は、枠体１２の側面部に配設されており、着脱可能なハードディスク、メモリカード等の外部記憶媒体１６がデジタルフォトフレーム１０に対して着脱自在となるよう構成されている。撮像部１４は、撮像レンズ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子、Ａ／Ｄ（Ａｎａｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ）変換器等を備えており、撮像レンズが枠体１２の正面部に位置するように配設されている。制御部１５は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵが実行するプログラム等を予め記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、画像データなど、ＣＰＵが必要な機能を実行するために必要なデータを記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、インターフェース等を備えており、表示部１１、外部記憶媒体１６、及び撮像部１４と互いに電気的に接続されるようになっている。
【００２２】
このように構成されたデジタルフォトフレーム１０においては、画像データが保存されている外部記憶媒体１６をメモリスロット１３に装着すると画像表示モードとなり、制御部１５が有する表示制御部１５ａにより外部記憶媒体１６に保存されている画像データに基づく画像を表示部１１に表示することができる。加えて、このデジタルフォトフレーム１０は、後述する画像検索する画像検索モードを有する。
【００２３】
（画像検索の概要）
次に、本発明に係る画像検索の概要について説明する。本実施の形態においては、デジタルフォトフレーム１０は、予め記憶した大量の画像データの中から所望の画像データを検索するための画像検索を達成することができる。具体的には、画像検索モード時、既に写真印刷された画像を検索キーとして用い、これを撮像部１４で撮像することによってこの写真画像に類似する画像を含む画像データを選択して表示部１１に表示する。
【００２４】
（回路構成）
第１の実施の形態に係るデジタルフォトフレーム１０は、機能ブロック図である図２に示す各機能ブロックを含んで構成されている。以下、図２を参照しながら各機能ブロックについて説明する。なお、各機能ブロック１５ａ〜１５ｅは、制御部１５に含まれ、制御部１５のＣＰＵによる制御の下に各機能を実行する。
【００２５】
表示制御部１５ａは、後述する条件が満たされて画像ＤＢ（データベース）部１５ｂより画像データｄａｔａ１を取得すると、表示部１１を制御してその画像データｄａｔａ１に対応する画像を表示部１１に表示させる。また、後述するカウンタ１５ｅよりアドレスａｄｒｓを入力すると、そのアドレスａｄｒｓを上記画像ＤＢ部１５ｂへ出力する。
【００２６】
画像ＤＢ部１５ｂは、メモリスロット１３を介して上記の外部記憶媒体１６から画像データを入力して記録する。記録する際、各画像データに、互いに異なるアドレスａｄｒｓをそれぞれ割当てる。画像ＤＢ部１５ｂは記録手段を構成する。また、画像ＤＢ部１５ｂは、上記表示制御部１５ａよりアドレスａｄｒｓを入力すると、そのアドレスａｄｒｓに対応する画像データｄａｔａ１を上記表示制御部１５ａと、後述する比較部１５ｄへ出力する。即ち、１つのアドレスａｄｒｓに対して、１つの画像データｄａｔａ１を表示制御部１５ａを介して画像として表示部１１に表示することができる。また、画像ＤＢ部１５ｂは、大容量のハードディスクドライブであってもよい。
【００２７】
抽出部１５ｃは、撮像部１４より撮像された画像データｄａｔａ２を入力すると、その撮像した画像データの中から略矩形の領域を抽出する。そして、抽出部１５ｃは、こうして抽出した矩形の領域に対応する画像データを抽出画像データＥｘ＿ｄａｔａ２として、上記の比較部１５ｄに送出する。本実施の形態においては、撮像部１４にて撮像した画像の全領域（即ち、画像データｄａｔａ２）の中から、４つのコーナを検出し台形補正処理を行うことによって矩形の領域に対応する画像データ（即ち、抽出画像データＥｘ＿ｄａｔａ２）を抽出する。他方、抽出部１５ｃが画像データｄａｔａ２を入力すると、後に詳述するカウンタ１５ｅはアドレスａｄｒｓのインクリメントを開始する。
【００２８】
比較部１５ｄは、画像ＤＢ部１５ｂより画像データｄａｔａ１を、抽出部１５ｃより抽出画像データＥｘ＿ｄａｔａ２を入力する。そして、画像データｄａｔａ１と、抽出画像データＥｘ＿ｄａｔａ２とが略一致しているか否か（即ち、マッチしているか否か）を判定する。なお、マッチしていると判定すると、上記カウンタ１５ｅはインクリメントを終了する。また、後述するように、比較部１５ｄにより画像データｄａｔａ１と、抽出画像データＥｘ＿ｄａｔａ２とがマッチしていると判定された場合にのみ表示制御部１５ａは表示部１１を制御して表示部１１に画像データｄａｔａ１を表示させる。
【００２９】
カウンタ１５ｅは、各機能ブロックの処理に応じてアドレスａｄｒｓをインクリメントするとともに、必要に応じてアドレスａｄｒｓを表示制御部１５ａに送出する。
【００３０】
上述のように構成されたデジタルフォトフレーム（画像検索装置）によれば、比較部１５ｄにより、画像ＤＢ部１５ｂからの画像データｄａｔａ１と、撮像部１４からの抽出画像データＥｘ＿ｄａｔａ２とが略一致するか否かが判定される。比較部１５ｄが抽出画像データＥｘ＿ｄａｔａ２と比較するこの画像データｄａｔａ１は、アドレスａｄｒｓがインクリメントされるのに対応しながら逐次変更されていく。即ち、１つの抽出画像データＥｘ＿ｄａｔａ２に対して、複数の画像データｄａｔａ１を１つずつ変更しながら上記判定を実行していく。ここで、両データが略一致すると判定した場合、その比較対象となった画像データｄａｔａ１を選択し、選択した画像データｄａｔａ１に対応する画像を表示部１１に表示する。こうして、画像ＤＢ部１５ｂ（即ち、外部記憶媒体１６）に記録されている複数の画像の中から、撮像部１４に撮像された写真の写真領域と略一致する画像を検索し、撮像部１４に撮像された画像（写真）と略一致する画像を表示部１１に表示する。これによって検索結果をユーザに知らせることができる。以上が、画像検索の概要である。
【００３１】
（画像検索装置の動作）
以下、このような処理を行う画像検索装置の動作について、図３に示すフローチャートを参照しながら説明する。
【００３２】
デジタルフォトフレーム１０を画像検索モードにして、写真を撮像部１４のレンズ正面にかざすと、ＣＰＵは、図３のフローチャートにより示す画像検索を実行するルーチンを開始する。ここで、写真はその形状が矩形であり、外部記憶媒体１６の中に保存されている複数の画像のうちの１つについてプリントアウトされたものであるとする。
【００３３】
ＣＰＵは、撮像部１４に写真を撮像させ、撮像した画像データｄａｔａ２を抽出部１５ｃに出力させる（ステップＳ１０５）。これによって、写真及び写真周辺の画像、即ち、撮像部１４が実際に撮像した光学像が画像データｄａｔａ２として抽出部１５ｃに送出される。
【００３４】
次に、ＣＰＵは、アドレスａｄｒｓをゼロに初期化し、且つ、カウンタ１５ｅにてインクリメトを開始させる（ステップＳ１１０）。
【００３５】
次いで、ＣＰＵは、抽出部１５ｃを制御して、上記画像データｄａｔａ２から矩形の領域（即ち、写真領域）のデータである抽出画像データＥｘ＿ｄａｔａ２を抽出し、こうして抽出した抽出画像データＥｘ＿ｄａｔａ２を比較部１５ｄに出力する（ステップＳ１１５）。こうして、撮像部１４の前にかざした写真を撮像した画像データから、その写真の領域を抽出することができるので、続くマッチしているか否かの判定に際し、写真部分に対応する画像データを適切に用いることができる。また、ステップＳ１０５で、撮像部１４が写真を撮像する際、表示部１１に撮像する写真とともに、矩形の領域を示す枠２を表示して、ユーザが写真の矩形領域を設定しやすいようしてもよい（図４を参照）。
【００３６】
続いて、ＣＰＵは、現時点のアドレスａｄｒｓに対応する画像データｄａｔａ１を、画像ＤＢ部１５ｂから比較部１５ｄへ出力させる（ステップＳ１２０）。最初のルーチンでは、アドレスａｄｒｓは、上記ステップＳ１１０にてゼロに初期化されているので、画像ＤＢ部１５ｂの中からａｄｒｓ＝０に対応する画像データｄａｔａ１が読み出されて比較部１５ｄに出力される。
【００３７】
次に、ＣＰＵは、比較部１５ｄに、ステップＳ１１５で取得した抽出画像データＥｘ＿ｄａｔａ２と、ステップＳ１２０で取得した画像データｄａｔａ１とが略一致するか否か（マッチするか否か）を判定させる（ステップＳ１２５）。ここにおいて、比較対象の両データ間の差異に相当する数値（即ち、誤差）が所定の閾値以下である場合にマッチすると判定される。
【００３８】
ステップＳ１２５にて「Ｎｏ」と判定された場合、ＣＰＵは、カウンタ１５ｅにアドレスａｄｒｓを「１」だけインクリメントさせる（ステップＳ１３０）。次に、ＣＰＵは再びステップＳ１２０、ステップＳ１２５を順に実行する。従って、ステップＳ１２５にて「Ｙｅｓ」と判定されるまで、ステップＳ１２０、ステップＳ１２５、ステップＳ１３０の処理を反復する。これにより、アドレスａｄｒｓは０、１、２、・・とインクリメントされていくにつれて、画像ＤＢ部１５ｂから読み出される画像データｄａｔａ１も１つずつ変更され、抽出画像データＥｘ＿ｄａｔａ２とマッチするか否かを逐次判定していく。
【００３９】
そして、ステップＳ１２５にて「Ｙｅｓ」と判定された場合、ＣＰＵは、表示制御部１５ａを制御して画像ＤＢ部１５ｂの中から現時点のアドレスａｄｒｓに対応する画像データｄａｔａ１の画像を表示部１１に表示させ（ステップＳ１３５）、ルーチン処理を一旦終了する。こうして、外部記憶媒体１６、さらに画像ＤＢ部１５ｂに記録した複数の画像の中から、写真の画像と略一致する画像データｄａｔａ１に対応する画像を選択して、表示部１１に表示することができる。アドレスａｄｒｓをインクリメントしている期間においては、表示部１１は、画像を検索中であることを示すメッセージを表示するようにしてもよい。
【００４０】
一方、ステップＳ１２５にて「Ｎｏ」と判定され続け、カウンタ１５ｅでのインクリメントによりアドレスａｄｒｓが一巡したと判定された場合、画像検索処理は一旦終了する。この場合、表示部１１に該当する画像が見つからなかったことを示すメッセージを表示するようにしてもよい。
【００４１】
以上説明したように、本発明の第１の実施の形態に係る画像検索装置によれば、画像検索モード時にて、予めプリントアウトされた写真を撮像部１４にかざして画像検索を開始すると、次の処理を行う。すなわち、写真の画像を撮像部１４が撮像し、抽出部１５ｃが撮像した画像の中から写真の領域のみを抽出する。抽出された写真領域は、抽出画像データＥｘ＿ｄａｔａ２として比較部１５ｄに出力される（図２を参照）。
【００４２】
一方で、画像ＤＢ部１５ｂに記録されている複数の画像の中から、カウンタ１５ｅのアドレスａｄｒｓに対応する画像も画像データｄａｔａ１として比較部１５ｄへ出力される。比較部１５ｄでは、画像データｄａｔａ１が、抽出画像データＥｘ＿ｄａｔａ２とマッチするか否かの判定を行い、マッチすると判定されるまで、カウンタ１５ｅのアドレスａｄｒｓをインクリメントして、比較する画像データｄａｔａ１を逐次１つずつ変更し、その都度、抽出画像データＥｘ＿ｄａｔａ２とマッチするか否かの判定を続ける（図３のステップＳ１２０，１２５，１３０を参照）。
【００４３】
そして、比較部１５ｄにてマッチすると判定された場合、マッチすると判定された画像が表示部１１に表示される。このようにして、画像ＤＢ部１５ｂに記録された複数の画像の中から、写真の画像と略一致する画像を選択（検索）することができる。従って、大量の画像データの中からプリントアウトした写真の元の画像データを検索したい場合に、当該写真を撮像することで、所望の画像を簡易かつ確実に選択することができる。加えて、選択された画像を表示部１１に表示することができるので、その画像を明確に認識することができる。
【００４４】
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る画像検索装置について説明する。上述の第１の実施の形態では、画像ＤＢ部１５ｂに記録されている複数の画像の中から所望の画像を検索するに際し、画像そのものがマッチするか否かを判定した。本実施の形態では、画像から特徴量を抽出し、抽出した特徴量に基づいてマッチするか否かの判定を行う点が第１の実施の形態と異なる。以下、第２の実施の形態について、第１の実施の形態と同様の構成には同様の符号を付して説明を省略し、第１の実施の形態と異なる点のみ、図５〜図７を参照しながら説明する。
【００４５】
（画像検索の概要）
図５は、第２の実施の形態に係る画像検索装置の構成を示す機能ブロック図である。図５の機能ブロック群は図２を参照して説明した機能ブロック群の他に、新たに機能ブロック１５ｆ〜１５ｈを追加した点が異なる。第２の実施の形態に係る画像検索装置は、機能ブロック図である図５に示す各機能ブロックを含んで構成されている。なお、各機能ブロック１５ａ〜１５ｈは、制御部２５に含まれ、制御部２５のＣＰＵによる制御の下に各機能を実行する。  
【００４６】
第１特徴量抽出部１５ｆは、画像ＤＢ部１５ｂより画像データｄａｔａ１を入力し後述する各画像データｄａｔａ１の特徴量ｆｅａｔ１を抽出するとともに、各特徴量ｆｅａｔ１を後述する特徴量ＤＢ（データベース）部１５ｇへ出力する。
【００４７】
特徴量ＤＢ部１５ｇは、第１特徴量抽出部１５ｆによって抽出された各画像データｄａｔａ１の特徴量ｆｅａｔ１を入力して記録する。各特徴量ｆｅａｔ１には、それぞれの特徴量ｆｅａｔ１の基となる各画像データｄａｔａ１にそれぞれ対応付けられているアドレスａｄｒｓがそれぞれ割当てられる。
【００４８】
第２特徴量抽出部１５ｈは、抽出部１５ｃより抽出画像データＥｘ＿ｄａｔａ２を入力して抽出画像データＥｘ＿ｄａｔａ２の特徴量ｆｅａｔ２を抽出するとともに、特徴量ｆｅａｔ２を比較部１５ｄへ出力する。なお、カウンタ１５ｅは、表示制御部１５ａと、特徴量ＤＢ部１５ｇにアドレスａｄｒｓを送出する。
【００４９】
上述した特徴量ｆｅａｔ１及び特徴量ｆｅａｔ２は様々な手法によって抽出することが可能であるが、本実施形態においては、一例として、検出された人物の顔の有無、顔の位置、顔の大きさ、顔の数量、予め登録された人物の顔の有無からなる「顔情報」を特徴量ｆｅａｔ１及び特徴量ｆｅａｔ２として抽出するものとする。
【００５０】
上述のように構成された画像検索装置によれば、比較部１５ｄにおける比較対象として、第１の実施の形態の画像データｄａｔａ１と抽出画像データＥｘ＿ｄａｔａ２にかえて特徴量ｆｅａｔ１と特徴量ｆｅａｔ２を用いる。この特徴量ｆｅａｔ１は、アドレスａｄｒｓがインクリメントされるごとに対応して逐次変更されていく。即ち、１つの特徴量ｆｅａｔ２に対して、特徴量ｆｅａｔ１と略一致するか否かの判定を行い、略一致すると判定されない場合は、特徴量ｆｅａｔ１を変更していく。ここで、両特徴量が略一致すると判定された場合、その略一致すると判定された特徴量ｆｅａｔ１に対応する（特徴量ｆｅａｔ１に割当てられたアドレスａｄｒｓの）画像データｄａｔａ１を選択する。そして選択した画像データｄａｔａ１に対応する画像を表示部１１に表示する。これによって検索結果をユーザに知らせることができる。以上が、画像検索の概要である。
【００５１】
（画像検索装置の動作）
以下、第２の実施の形態に特有の処理である画像及び特徴量の記録に係る動作について、図６、７のフローチャートを参照しながら説明する。
【００５２】
デジタルフォトフレーム２０が画像検索モードにおいて、画像ＤＢ部１５ｂから所望の画像を検索しやすくするため、ＣＰＵは、図６のフローチャートにより示す画像及び特徴量の記録を実行するルーチンを実行する。
【００５３】
まず、ＣＰＵは画像及び特徴量の記録処理を開始し、外部記憶媒体１６から画像を取得して、取得した画像を画像ＤＢ部１５ｂに画像データｄａｔａ１として記録する（ステップＳ２０５）。次に、ＣＰＵは、記録した画像データｄａｔａ１ごとに互いに異なるアドレスａｄｒｓを割当てる（ステップＳ２１０）。
【００５４】
次いで、ＣＰＵは、第１特徴量抽出部１５ｆを制御して、画像データｄａｔａ１に基づいて特徴量ｆｅａｔ１を抽出させる。即ち、複数の画像データｄａｔａ１について、それぞれ対応する特徴量ｆｅａｔ１を抽出させる（ステップＳ２１５）。なお本実施形態においては、第１特徴量抽出部１５ｆは顔検出処理を実行し、特徴量ｆｅａｔ１として、検出された人物の顔の有無、顔の位置、顔の大きさ、顔の数量からなる「顔情報」を抽出する。
【００５５】
次いで、ＣＰＵは、特徴量ＤＢ部１５ｇに抽出した特徴量ｆｅａｔ１を記録する（ステップＳ２２０）。次に、ＣＰＵは、こうして記録した特徴量ｆｅａｔ１に、ステップＳ２１０にて画像データｄａｔａ１に割当てられたアドレスａｄｒｓと同一のアドレスａｄｒｓを割当て（ステップＳ２２５）、本ルーチンの処理を一旦終了する。このようにして、各特徴量ｆｅａｔ１には、それぞれの特徴量ｆｅａｔ１が抽出された各画像データｄａｔａ１のアドレスａｄｒｓと同様のアドレスａｄｒｓが割当てられるので、特徴量ｆｅａｔ１ごとにアドレスａｄｒｓはそれぞれ異なる。こうして特徴量を抽出することによって、画像内における、人物の顔の有無、顔の位置、顔の大きさ、顔の数量からなる「顔情報」を特徴量として記録することができる。
【００５６】
次に、本実施の形態の画像検索装置の動作について、図７に示すフローチャートを参照しながら説明する。
【００５７】
まず、デジタルフォトフレーム２０を画像検索モードにして、検索する画像の写真を撮像部１４にかざすと、ＣＰＵは、図７のフローチャートにより示す画像検索を実行するルーチンを開始する。なお、本フローチャートにおいては、上記第１の実施の形態で説明した図３のステップと同一の処理が実行されるステップについては、同一の符号を記してその説明を省略する。
【００５８】
ＣＰＵはステップＳ１０５、ステップＳ１１０、及びステップＳ１１５に順に進み、所定の処理を行う。次に、ＣＰＵはステップＳ３０５に進み、第２特徴量抽出部１５ｈを制御して、抽出画像データＥｘ＿ｄａｔａ２に基づいて特徴量を抽出する。具体的には、ＣＰＵは、抽出画像データＥｘ＿ｄａｔａ２に対して顔検出処理を実行する。こうして、抽出画像データＥｘ＿ｄａｔａ２に対応する特徴量である人物の顔の有無、顔の位置、顔の大きさ、顔の数量からなる「顔情報」を特徴量ｆｅａｔ２として抽出する。
【００５９】
次いで、ＣＰＵはステップＳ３１０に進み、現時点にて格納されているアドレスａｄｒｓに対応する特徴量ｆｅａｔ１を、特徴量ＤＢ部１５ｇから比較部１５ｄへ出力する。最初のルーチンでは、アドレスａｄｒｓは、上記ステップＳ１１０にてゼロに初期化されているので、特徴量ＤＢ部１５ｇの中からａｄｒｓ＝０に対応する特徴量ｆｅａｔ１が読み出される。即ち、この特徴量ｆｅａｔ１は、ａｄｒｓ＝０が割当てられている画像データｄａｔａ１から抽出された特徴量（顔情報）である。
【００６０】
続いて、ＣＰＵはステップＳ３１５に進み、ステップＳ３０５、及びステップＳ３１０にて出力された特徴量ｆｅａｔ１及び特徴量ｆｅａｔ２が略一致するか否か（マッチするか否か）を判定するよう比較部１５ｄに指示する。ここにおいて、比較対象の両データ間の差異に相当する数値（即ち、誤差）が所定の閾値以下である場合にマッチすると判定される。
【００６１】
ステップＳ３１５にて「Ｎｏ」と判定されると、ＣＰＵはステップＳ１３０、３１０、３１５の処理を繰り返し実行する。従って、ステップＳ３１５にて「Ｙｅｓ」と判定されるまで、ステップＳ１３０、３１０、３１５の処理を反復する。これにより、アドレスａｄｒｓは０、１、２、・・とインクリメントされていくにつれて、特徴量ＤＢ部１５ｇから読み出される特徴量ｆｅａｔ１も１つずつ変更され、１つの特徴量ｆｅａｔ２とマッチするか否かを逐次判定していく。
【００６２】
そして、ステップＳ３１５にて「Ｙｅｓ」と判定された場合、ＣＰＵは、表示制御部１５ａを制御して画像ＤＢ部１５ｂの中から現時点のアドレスａｄｒｓに対応する画像データｄａｔａ１の画像を表示部１１に表示させ（ステップＳ１３５）、ルーチン処理を一旦終了する。こうして、外部記憶媒体１６、さらに画像ＤＢ部１５ｂに記録した複数の画像の中から、写真の画像と略一致する画像データｄａｔａ１に対応する画像を選択して、表示部１１に表示することができる。アドレスａｄｒｓをインクリメントしている期間においては、表示部１１は、画像を検索中であることを示すメッセージを表示するようにしてもよい。
【００６３】
以上説明したように、本発明の第２の実施の形態に係る画像検索装置によれば、複数の画像データｄａｔａ１に基づいて、各画像データｄａｔａ１に対応する特徴量ｆｅａｔ１をそれぞれ抽出し、この抽出した特徴量ｆｅａｔ１を特徴量ＤＢ部１５ｇに記録する。他方、撮像部１４からの抽出画像データＥｘ＿ｄａｔａ２に基づいて、抽出画像データＥｘ＿ｄａｔａ２に対応する特徴量ｆｅａｔ２を抽出し、こうして抽出した特徴量ｆｅａｔ２を比較部１５ｄに出力する。
【００６４】
一方で、特徴量ＤＢ部１５ｇに記録した特徴量ｆｅａｔ１の中から、アドレスａｄｒｓに対応する特徴量ｆｅａｔ１が比較部１５ｄへ出力される。比較部１５ｄでは、この特徴量ｆｅａｔ１が、特徴量ｆｅａｔ２とマッチするか否かを判定する。マッチすると判定されるまで、カウンタ１５ｅのアドレスａｄｒｓをインクリメントして、比較する特徴量ｆｅａｔ１を逐次１つずつ変更し、その都度、特徴量ｆｅａｔ２とマッチするか否かの判定を続ける（図７のステップＳ３１０、３１５、１３０を参照）。
【００６５】
このように、上記第１の実施の形態にて画像データ（ｄａｔａ１、及びＥｘ＿ｄａｔａ２）そのものが比較対象とされていたのに対し、第２の実施の形態においては、画像データにかえてその画像データに対応する特徴量（ｆｅａｔ１、及びｆｅａｔ２）が比較対象となる。従って、マッチするか否かの判定を頑健に実行することができ、特定の像の同定を有効に行うことができる。
【００６６】
そして、マッチすると判定された場合、比較部１５ｄにてマッチすると判定された特徴量ｆｅａｔ１に対応する（特徴量ｆｅａｔ１に割当てられたアドレスａｄｒｓと同一のものが割当てられている）画像が表示部１１に表示される。このようにして、画像ＤＢ部１５ｂに記録されている複数の画像データの中から、撮像画像中の写真領域の画像と略一致する画像データを選択（検索）することができる。従って、上記第１の実施の形態と同様、記録されている画像をプリントアウトした写真を撮像することで、大量の画像の中から、該プリントアウトした写真の元画像データを簡易かつ確実に選択することができる。
【００６７】
本発明は上記各実施の形態に限定されることはなく、本発明の範囲内において種々の変形例を採用することができる。例えば、上記各実施の形態においては、写真を撮像した撮像画像から抽出された写真領域として抽出画像データＥｘ＿ｄａｔａ２を用いるが、これにかえて、抽出された写真領域（即ち、抽出画像データＥｘ＿ｄａｔａ２）に復元処理を施したものを用いてもよい。復元処理としては、例えば、褪色補正処理などが挙げられる。これによれば、経年劣化により写真に色褪せが発生している場合であっても、復元した状態で画像ＤＢ部１５ｂの中の画像データとマッチしているか否かの判定がすることができる。従って、写真の経年劣化がある場合であっても、判定の精度を向上することができる。
【００６８】
また、ステップＳ２１５で実行する特徴量の抽出として、様々な手法が可能であり、色情報やコントラスト情報を特徴量として抽出してもよいし、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）によって抽出してもよい。一例として、特徴量としてＳＩＦＴ特徴量を抽出する場合について、図８のフローチャートを参照して説明する。ＳＩＦＴ特徴量を抽出するＳＩＦＴのアルゴリズムについては、公知技術であり、例えば、伊原氏らによる“異なる部分空間におけるＰＣＡ−ＳＩＦＴを用いた交通道路標識認識”（第１４回画像センシングシンポジウム講演要旨集ＩＮ２−１２，２００８）に記載されているため、その詳細は省略する。
【００６９】
ここでＳＩＦＴによって特徴量を抽出する場合、ステップＳ２１５で、ｄａｔａ１に基づく特徴量の抽出を開始すると、ＣＰＵは、第１特徴量抽出部１５ｆを制御して、画像データｄａｔａ１において、際立った特徴量を持つ点であるキーポイントを決定する（ステップＳ４０５）。ここで、キーポイントを決定するためには、キーポイントの候補点の決定と、キーポイントの選択との２つの処理を実行する。
【００７０】
先ず、キーポイントの候補点を決定する処理について簡単に説明する。画像データのキーポイントの候補点を決定するためにはＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）処理が用いられる。即ち、下記（１）式に示すように、ガウス関数Ｇ（σ）（σはスケールを表す）と画像データｄａｔａ１とを畳み込み、平滑化画像Ｌ（σ）を求める。本実施例では、下記（１）式と、互いにスケールσをσ０，σ１，σ２，…と異ならせて得られる複数のＧ（σ）と、１つの画像データｄａｔａ１とを用いて複数の平滑化画像Ｌ（σ）を求める。そして、となり合う２つのスケールσについて、２つの平滑化画像Ｌ（σ）の差分を求める。この差分が所謂ＤｏＧ画像である。
【００７１】
Ｌ（σ）＝Ｇ（σ）＊ｄａｔａ１  ・・・（１）
【００７２】
次に、上述のように求められた複数のＤｏＧ画像から極値を検出する処理をそれぞれ行い、その極値に対応するスケールσと、キーポイントの候補とを決定する。これは、平滑化画像Ｌ（σ）の差分（即ち、ＤｏＧ画像）の値が大きくなるスケールσでは、その変化領域に情報量を多く含んでいることに基づいている。
【００７３】
次に、キーポイントを選択する処理について簡単に説明する。上述のように決定した複数のキーポイントの候補点の中から、主曲率とコントラストにより安定したキーポイント候補を抽出し、それをキーポイントとして選択する。このようなローカライズ処理を行うのは、次の理由に基づく。上述のように決定されたキーポイントの候補点の中には、ＤｏＧの出力値が小さい値である点（即ち、コントラストが小さい点）や、エッジ上の点などが含まれることが多い。これらの点はノイズ等に影響を受けやすいという問題点があるため、取り除くことが好ましいからあるからである。このステップＳ４０５の処理が、特徴量抽出手段の一部に対応する。
【００７４】
上述のようにステップＳ４０５にてキーポイントを決定したＣＰＵは、第１特徴量抽出部１５ｆを制御して、特徴量ベクトルを特徴量ｆｅａｔ１（即ち、ＳＩＦＴ特徴量）として抽出する（ステップＳ４１０）。特徴量ベクトルを抽出するため、各キーポイントにおける方向を表すオリエンテーションの決定と、特徴量の記述との２つの処理を実行する。
【００７５】
先ず、各キーポイントにおけるオリエンテーションを決定する処理について簡単に説明する。キーポイントが検出された平滑化画像Ｌの勾配強度と、勾配方向とを求める。局所領域における勾配強度と、勾配方向とに基づいて、重み付けヒストグラムを作成する。そして、ヒストグラムにおけるピークを、キーポイントにおけるオリエンテーションとして割当てる。このようにしてキーポイントにおける方向を表すオリエンテーションを抽出することにより、向きの正規化を行うことができ回転に不変とする。
【００７６】
次に、特徴量を記述する処理について図９を参照しながら簡単に説明する。先ず、特徴量を記述する領域（図９(ａ)を参照）を、上述のように決定されたオリエンテーション方向へ回転させる（図９（ｂ）を参照）。そして、キーポイント周辺の領域が有する勾配情報に基づいて特徴量の記述を行う。より具体的には、上記キーポイント周辺の領域を、複数のブロックに分割する（図９（ｃ）を参照）。
【００７７】
このようにして分割した領域は、縦横各辺がそれぞれＭ分割されて計Ｍ×Ｍ個のブロックに分割されている。さらに、各ブロックにおいて、８方向の勾配方向のヒストグラムをそれぞれ作成する。この勾配方向のヒストグラムは、上記オリエンテーションを抽出する際のヒストグラムの作成手法と同様の手法で作成する。本実施の形態では、Ｍの値を「４」とする。従って、上記領域からは１２８（＝４×４×８）次元の特徴量ベクトルが、ＳＩＦＴ特徴量（即ち、特徴量ｆｅａｔ１）として抽出・記述される。このようにして抽出したＳＩＦＴ特徴量は、キーポイントのオリエンテーション方向に向けて座標軸を合した状態の領域として記述される。このため、ＳＩＦＴ特徴量は回転に不変な特徴量となり得る。加えて、Ｍ×Ｍ×８次元の特徴量ベクトルの長さをベクトル総和で正規化する。このため、照明変化に対して影響の少ない特徴量ともなり得る。
【００７８】
また、画像（即ち、像データｄａｔａ１、及び抽出画像データＥｘ＿ｄａｔａ２）の中に人物像が含まれている場合には、その人物像そのものが画像の特徴量部分（例えば、ＳＩＦＴにおけるキーポイント）として検出され易い。従って、画像中の人物像を特徴量として記述することで、画像検索を容易に実行することができる。なお、人物像そのものにかえて、人物の顔の数、人物の顔の大きさ、人物の顔の位置、色、及びコントラストのうち少なくとも１つを特徴量として記述してもよい。これによっても、上記と同様の効果が得られる。
【００７９】
また、上記第２の実施の形態においては、特徴量として画像中の写真領域における顔情報を用いていたが、これにかえて、又は、これに加えて当該写真として印刷された画像が撮像された時期を特定するためのデータを特徴量として用いてもよい。この時期を特定するためのデータとして、例えば、撮像時に画像内から検出されたカレンダー、時計や新聞などが示す日付、時刻の情報などが挙げられる。また、写真に付加された、撮像時の季節、日付、時刻などを示すタイムスタンプを用いてもよい。こうして、画像データ内から検出された、日付、時刻などの情報、タイムスタンプの少なくとも一つに基づいて、同一の画像を検索するようにしてもよい。これによっても、同様の効果が得られる。特に、季節、日付、時刻などの情報、タイムスタンプなどをＳＩＦＴ特徴量と組み合わせて用いることにより、画像検索の精度がより向上することができる。
【００８０】
加えて、上記各実施の形態においては、撮像部１４により写真を撮像することで画像の検索を行っているが、これにかえて、例えば、携帯電話のディスプレイ部に表示されている画像（例えば、待受け画像等）を撮像部１４により撮像するようにしてもよい。また、上記各実施の形態において、撮像する写真の領域を矩形として説明したが、本発明はこれに限定されず、例えば、楕円形など、実装に応じて好適な形状を用いてもよい。
【００８１】
また、上述の実施の形態では、本発明をデジタルフォトフレームに適用して、外部記憶媒体１６から画像データをデジタルフォトフレームの内部の画像ＤＢ部１５ｂに入力して検索する場合について説明したが、本発明はこれに限定されず、例えば、画像ＤＢ部１５ｂに予め画像を記憶しておいてもよく、画像ＤＢ部１５ｂが大容量のハードディスクであってもよい。また、ＣＰＵとメモリとを含む、撮像装置が有するコンピュータを上述した各手段として機能させる画像検索プログラムとして動作させることができる。かかる画像検索プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【符号の説明】
【００８２】
１１  表示部
１４  撮像部
１５、２５  制御部
１５ａ  表示制御部
１５ｂ  画像ＤＢ（データベース）部
１５ｃ  抽出部
１５ｄ  比較部
１５ｆ  第１特徴量抽出部
１５ｇ  特徴量ＤＢ（データベース）部
１５ｈ  第２特徴量抽出部
１６  外部記憶媒体
【図１】
2010262517.tif 000003
【図２】
2010262517.tif 000004
【図３】
2010262517.tif 000005
【図４】
2010262517.tif 000006
【図５】
2010262517.tif 000007
【図６】
2010262517.tif 000008
【図７】
2010262517.tif 000009
【図８】
2010262517.tif 000010
【図９】
2010262517.tif 000011