(57)【要約】      （修正有）【課題】特定の被写体を様々な構図で撮影したいとき、或いはゴルフのスイング撮影のように毎回同じ構図で撮影するときに、過去にその被写体を撮影した画像を手軽に参照できるようにする。【解決手段】処理対象の画像を取得し（Ｓ１１）、その処理対象の画像の被写体の特徴データを抽出し（Ｓ１６）、その抽出した特徴データに応じた特徴データを有する画像を、記録媒体に記憶されている画像の中から検索し（Ｓ１８）、その検索した画像と処理対象の画像とを表示する（Ｓ２３）。【選択図】図５
2011004351.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像を取得する取得手段と、
前記取得手段で取得した画像の被写体の特徴データを抽出する抽出手段と、
画像を記憶する記憶手段と、
前記抽出手段で抽出した前記特徴データに応じた特徴データを有する画像を前記記憶手段に記憶されている画像の中から検索する検索手段と、
前記検索手段で検索した画像と前記処理対象の画像とを表示する表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記表示制御手段は、前記検索手段で検索された画像が複数のとき、前記検索手段で検索した画像を縮小して表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶手段は前記画像の付随データとして、当該画像に含まれる被写体の特徴データを含み、更に当該画像に含まれる被写体の数、当該画像の構図情報及び作成日時情報の少なくともいずれかを含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検索手段は、前記抽出手段で抽出した前記特徴データに類似した特徴データを有する画像を前記記憶手段に記憶されている画像の中から検索することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記付随データは前記作成日時情報を含み、前記表示制御手段は、前記検索した画像を前記作成日時の順に表示することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記付随データは前記構図情報を含み、前記表示制御手段は、前記検索した画像の中で前記処理対象の画像と同じ構図の画像を識別可能に表示することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記表示制御手段による表示の後に、撮影の指示を受け付けて撮像手段から取得した画像を記録媒体に記録する本撮影動作を実行するように制御する撮影制御手段を更に有し、
前記取得手段は、前記処理対象の画像として前記撮像手段から画像を取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記表示制御手段による表示の後に静止画切り出しの指示を受け付けて静止画を記録媒体に記録するように制御する静止画切り出し手段を更に有し、
前記取得手段は、前記処理対象の画像として前記記憶手段から動画像を取得し、前記表示制御手段は、前記処理対象の画像として前記動画像を再生して表示することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項９】
処理対象の画像を取得する取得手段と、
前記取得手段で取得した画像の被写体の特徴データを抽出する抽出手段と、
所定の内包条件を満たす画像をグループに分けて記憶する記憶手段と、
前記抽出手段で抽出した前記特徴データに応じた特徴データを有する画像を前記記憶手段に記憶されている画像の中から検索する検索手段と、
前記検索手段で検索された画像が前記記憶手段に記憶されたグループのいずれに属するかを判定する判定手段と、
前記判定手段が判定したグループの代表画像と、前記処理対象の画像とを表示する表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
前記所定の内包条件は、同じ或いは類似した構図であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記所定の内包条件は、被写体の数であることを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、前記代表画像を縮小して表示することを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記表示制御手段による表示の後に、撮影の指示を受け付けて撮像手段から取得した画像を記録媒体に記録する本撮影動作を実行するように制御する撮影制御手段を更に有し、
前記取得手段は、前記処理対象の画像として前記撮像手段から画像を取得することを特徴とする請求項９乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記表示制御手段による表示の後に静止画切り出しの指示を受け付けて静止画を記録媒体に記録するように制御する静止画切り出し手段を更に有し、
前記取得手段は、前記処理対象の画像として前記記憶手段から動画像を取得し、前記表示制御手段は、前記処理対象の画像として前記動画像を再生して表示することを特徴とする請求項９乃至１２のいずれか１項に記載の画像処理装置。
【請求項１５】
画像処理装置の制御方法であって、
前記画像処理装置の取得手段が、処理対象の画像を取得する取得工程と、
前記画像処理装置の抽出手段が、前記取得工程で取得した画像の被写体の特徴データを抽出する抽出工程と、
画像を記憶する記憶手段と、
前記画像処理装置の検索手段が、前記抽出工程で抽出した前記特徴データに応じた特徴データを有する画像を、画像を記憶する記録媒体に記憶されている画像の中から検索する検索工程と、
前記画像処理装置の表示制御手段が、前記検索工程で検索した画像と前記処理対象の画像とを表示する表示制御工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１６】
コンピュータを、
処理対象の画像を取得する取得手段と、
前記取得手段で取得した画像の被写体の特徴データを抽出する抽出手段と、
画像を記憶する記憶手段と、
前記抽出手段で抽出した前記特徴データに応じた特徴データを有する画像を前記記憶手段に記憶されている画像の中から検索する検索手段と、
前記検索手段で検索した画像と前記処理対象の画像とを表示する表示制御手段と、
を有する画像処理装置として機能させるためのプログラム。
【請求項１７】
請求項１６に記載のプログラムを格納した、コンピュータにより読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理対象の画像に含まれる被写体に関連した画像を検索して表示する画像処理装置及びその制御方法に関するものである。
【背景技術】
【０００２】
主に生体認証を目的として、撮像或いは記録された画像から特定の被写体を識別する技術が提案されている（特許文献１）。また特許文献２は、識別された被写体の特徴データに基づいて画像の一覧表示を行う技術を開示している。また特許文献３は、撮像装置において、プレビュー表示された特定の被写体の特徴データと過去に記録されたデータとを比較し、その結果に基づいて撮影履歴情報を表示する技術を開示している。また特許文献４，５は、画像の構図を認識したり分類したりする技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１５７７６４号公報
【特許文献２】特願２００３−３９５７３４号公報
【特許文献３】特開２００６−２９５８８８号公報
【特許文献４】特開２００１−２１５４０４号公報
【特許文献５】特開２００３−２７４２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特定の被写体を様々な構図で撮影したいとき、或いはゴルフのスイング撮影のように毎回同じ構図で撮影するときに、過去にその被写体を撮影した画像を手軽に参照できることが求められる。また記録された動画像から静止画像を作成するとき、或いは記録された静止画像をトリミングして新たな静止画像を作成するときも、その被写体を含むその他の画像を参照しながら作業ができることが望ましい。特許文献２では、被写体の特徴データに基づいて画像の一覧表示を行っているが、撮影或いは静止画の作成作業中に特定の被写体の画像を参照することは意図されていない。また特許文献３では、撮影履歴情報を求めて表示しているが、表示撮影中に特定の被写体の画像を参照することはできなかった。即ち、従来は、これから処理しようとしている処理対象の画像の被写体について、過去に記録した画像を参照しながら、画像の撮影や画像の作成作業を行うことは考えられていなかった。
【０００５】
本発明の目的は、上記従来技術の問題点を解決することにある。
【０００６】
本願発明の特徴は、処理対象の画像に含まれる被写体に関連した過去の画像を検索して、その検索した画像と、処理対象の画像とを同時に表示して、処理対象の画像を処理する前に参照できるようにすることにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
処理対象の画像を取得する取得手段と、
前記取得手段で取得した画像の被写体の特徴データを抽出する抽出手段と、
画像を記憶する記憶手段と、
前記抽出手段で抽出した前記特徴データに応じた特徴データを有する画像を前記記憶手段に記憶されている画像の中から検索する検索手段と、
前記検索手段で検索した画像と前記処理対象の画像とを表示する表示制御手段と、
を有することを特徴とする。
【発明の効果】
【０００８】
以上説明したように本発明によれば、処理対象の画像に含まれる被写体に関連した過去の画像を検索して、その検索した画像と、処理対象の画像とを同時に表示して、処理対象の画像を処理する前に参照できる効果がある。
【図面の簡単な説明】
【０００９】
【図１】本実施形態１に係る画像処理装置の構成を説明するブロック図。
【図２】記録媒体の一つの画像データの付随データの構成を説明する図。
【図３】画像処理装置が付随データを読み出して検索テーブルにコピーする処理を説明するフローチャート。
【図４】ＲＡＭに作成された検索テーブルのデータ構成を示す図。
【図５】実施形態１に係る処理を説明するフローチャート。
【図６】記録媒体の画像を検索テーブルに追加する処理を説明するフローチャート。
【図７】Ｓ１３，Ｓ１４で表示されるプレビュー画像の表示例を示す図。
【図８】実施形態１における縮小画の画面表示例を示す図。
【図９】実施形態２に係る処理を説明するフローチャート。
【図１０】実施形態に２に係る表示準備テーブルのデータ構成を説明する図。
【図１１】本実施形態２に係る画面表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１１】
［実施形態１］
本実施形態１では、表示する画像をグルーピングしない場合で説明する。
【００１２】
図１は、本実施形態１に係る画像処理装置の構成を説明するブロック図である。
【００１３】
この画像処理装置の最終目的は、動画像もしくは静止画像から新たな画像を作成することである。この動作は、撮像手段であるカメラ部１０１から画像データが入力される場合は撮影であり、記録媒体１０４或いは画像入力部１１０から入力される場合は、動画キャプチャもしくは静止画トリミング（静止画切り出し）である。この画像処理装置で作成された新たな画像データは記録媒体１０４に保存されるか、或いは画像出力部１０９に出力されるか、或いは接続部１１４に接続されたプリンタ１１５によって印刷される。
【００１４】
この画像処理装置の動作は、ＣＰＵ１０７がプログラム・データ格納部１１３から必要なプログラムやデータを読み出して、そのプログラムを実行することにより制御される。ユーザの操作は操作部１０６を通じてＣＰＵ１０７に入力され、これによりこの画像処理装置への各種操作指示や、動作条件の変更等が指示される。また各ブロック（各部）の制御やデータ処理は、画像処理部１０２、レコーダ制御部１０３、被写体認識部１０５、画像入出力部１０８、表示制御部１１２、接続部１１４がそれぞれ行う。ＲＡＭ１１１は、ＣＰＵ１０７や各制御ブロックがワーク領域やバッファとして利用する。尚、破線で示された画像入力部１１０、プリンタ１１５はいずれも外部機器であり、本装置とデータのやり取りをする。画像出力部１０９は、プレビュー画像や本実施形態に係る表示画面の出力先と、生成された新たな画像の出力先を兼ねており、この画像処理装置に内蔵されたブロック（部分）であっても、外部に接続される装置であっても構わない。
【００１５】
まず最初に、プレビュー画像から得られる被写体の特徴データと比較するためのデータをＲＡＭ１１１の検索テーブルにコピーする処理について説明する。但し、この装置の電源がオンされてから記録された画像データだけを表示対象とする場合は、撮影の都度データをＲＡＭ１１１の検索テーブルに追加しているため、この処理は不要である。
【００１６】
図２は、記録媒体１０４に記録されている一つの画像データの付随データの構成を説明する図である。
【００１７】
記録媒体１０４に記録されている複数の画像データのそれぞれは、この図２で表される付随データを保持している。ポインタ２０１は、その画像データが格納されている記録媒体１０４のアドレスを示すポインタである。被写体の人数２０２は、その画像に含まれている被写体の人数を示している。特徴データ２０３は、その画像に含まれている被写体の人数分、各被写体の特徴データを記憶している特徴データテーブル２１０の先頭アドレスを指示する。構図解析データ２０４は、その画像の構図を表す。日時情報２０５は、その画像が作成された作成日時情報である。
【００１８】
特徴データテーブル２１０は、その画像に含まれている被写体の人数（ｎ）分の特徴データ２０６〜２０８を含んでいる。これら特徴データ２０６〜２０８のそれぞれは、各被写体を識別するための特徴データで、そのデータサイズは各被写体で共通である。よって被写体の人数（ｎ）分の特徴データを容易に取り出すことができる。終端コード２０９は、この特徴データテーブル２１０の終わりを示すエンドコードである。尚、撮影などの日時情報２０５は、近年のデジタルスチルカメラであれば画像ファイル内のＥＸＩＦに記録されるのが一般的である。
【００１９】
図３は、本実施形態１に係る画像処理装置が、記録媒体１０４から付随データを読み出してＲＡＭ１１１の検索テーブルにコピーする処理を説明するフローチャートである。この処理を実行するプログラムはプログラム・データ格納部１１３に記憶されておりＣＰＵ１０７の制御の下に実行される。
【００２０】
まずＳ１で、記録媒体１０４に、まだ付随データを読み出していない画像があるかどうかを判定する。なければ処理が終了したと判定して、この処理を終了する。一方、付随データを読み出していない画像が存在していると判定したときはＳ２に進み、記録媒体１０４から一つの画像の付随データを読み出す。次に、その読み出したデータが表示対象の画像のものであるかを判定する。これは例えば、表示対象を画像が記録された日付によって限定している場合は、その読み出した付随データの持つ日時情報２０５を参照して、その画像が表示対象となっているか否かを判定する。Ｓ３で表示対象でないと判定するとＳ１に戻るが、表示対象であると判定したときはＳ４に進み、その付随データをＲＡＭ１１１の検索テーブルに追加する。これら一連の処理を、記録媒体１０４に記録されている全ての画像に対して行う。
【００２１】
図４は、ＲＡＭ１１１に作成された検索テーブルのデータ構成を示す図である。
【００２２】
先頭の要素から順に画像１の付随データ４０１、画像２の付随データ４０２、画像ｍの付随データ４０３が配置されており、最後に終端を表す終端コード４０４が置かれる。尚、各画像の付随データのデータ構造は、前述の図２に示すデータ構造である。
【００２３】
図５は、入力した画像と検索データとを比較し、画像出力部１０９に画像を表示して、新たな画像を生成する実施形態１に係る処理を説明するフローチャートである。この処理を実行するプログラムはプログラム・データ格納部１１３に記憶されておりＣＰＵ１０７の制御の下に実行される。
【００２４】
まずＳ１１で、カメラ部１０１、記録媒体１０４、画像入力部１１０のいずれかから、画像を生成するための処理対象の画像を取得する。これがプレビュー画像として表示される。これがカメラ部１０１からの画像の入力であれば、最終目的の画像は、カメラ部１０１から取得した画像を記録媒体１０４に記録する本撮影動作により生成される。よって、この段階は本撮影前のスルー画像の表示状態に相当する。また記録媒体１０４から動画像を入力しているのであれば、プレビュー画像は再生画に等しく、画像の生成は、再生している動画から静止画を切り出して記録媒体に記録するキャプチャに相当する。また画像入力部１１０から画像を入力している場合は、入力元の機器がカメラであるか再生機であるかによって後段の処理の呼び方が変わる。ところで、プレビュー画で扱う被写体は多くの場合人物の顔であるが、本実施形態では特に限定せず、広く被写体と表記する。
【００２５】
次にＳ１２に進み、プレビュー画像に対する被写体の検出処理を行う。この被写体の認識処理は、被写体識別部１０５（図１）で実行される。Ｓ１２で、被写体が検出されなかった場合はＳ１３に進み、プレビュー画像をそのまま画像出力部１０９へ表示する。
【００２６】
図７（Ａ）は、図５のＳ１３で表示されるプレビュー画像の表示例を示す図である。７０１は、正しく検出されなかった被写体を示す。
【００２７】
一方、被写体が検出された場合はＳ１４に進み、プレビュー画像に被写体の検出枠を重畳して画像出力部１０９へ表示する。
【００２８】
図７（Ｂ）は、図５のＳ１４で表示される画面例を示す図である。７１１は検出された被写体を示し、７１２は被写体の検出枠を示す。
【００２９】
次にＳ１５に進み、検索処理を開始するためのトリガが入力されたかどうかを判定する。この検索開始のトリガは、例えば、被写体が検出されたら無条件に検索を開始する、或いは被写体を検出した後に操作部１０６から指示を受けたとき、又は複数の被写体を検出した後に、操作部１０６によって任意の被写体が選択されたとき等の条件が考えられる。こうして検索が開始されるとＳ１６に進み、そのプレビュー画像から被写体の特徴データを取得する。次にＳ１７に進み、予めＲＡＭ１１１上に作成された検索テーブルの特徴データと、Ｓ１６で取得したプレビュー画像の被写体の特徴データとを比較する。そしてＳ１７からＳ１８に進み、類似度が所定の閾値を超える被写体があるかどうかを判定する。ここで、この閾値を越える被写体があると判定するとＳ１９に進み、ＲＡＭ１１１の検索テーブルから、その被写体を含む画像の付随データを全て取り出し、ＲＡＭ１１１の表示準備テーブルへコピーしてＳ１７に進む。
【００３０】
この表示準備テーブルのデータ構成は、前述の検索テーブル（図４）のデータ構成と同様であるため、その説明を省略する。
【００３１】
こうしてＳ１７で、ＲＡＭ１１１の検索テーブル全体の比較が終了するとＳ２０に進み、表示準備テーブルにコピーされたデータがあるかどうかを判定する。コピーされたデータがあるときはＳ２１に進み、そうでないときはＳ２４に進む。Ｓ２１では、この表示準備テーブルのデータを決められた規則によりソートする。このソート規則の例は例えば以下のようである。
・プレビュー画像の単数もしくは複数の被写体の特徴データとの類似度に基づく順序（例えば、特徴で他の類似度が高い順）
・日時情報に基づく順序（例えば、現在の日時に近い順）
・プレビュー画像の構図と表示準備テーブルの構図解析データとの比較に基づく順序（例えば、構図が近い（類似している）順）
等が考えられる。次にＳ２２に進み、ソートされた上位のデータに含まれるポインタ２０１から画像を取得する。次にＳ２３に進み、画像処理部１０２にて画像の縮小処理を行った後、プレビュー画像と合成して画像出力部１０９へ表示する。このとき、縮小画はプレビュー画像の上にピクチャーインピクチャー形式で表示されても良く、画像処理部１０２にてプレビュー画も縮小又はトリミングされた後、縮小画が重ならないように表示される形式でも構わない。
【００３２】
図８（Ａ）は、図５のＳ２３で表示される表示例を示す図である。
【００３３】
８０１〜８０４は、プレビュー画像の被写体８０５の特徴データとの比較に基づき抽出された画像の縮小画を示す。またこのときプレビュー画像と表示準備テーブルのデータとの比較に基づいて、類似している画像を識別できるように縮小画像の表示形式を変更することもできる。例えばプレビュー画像の単数もしくは複数の被写体の特徴データとの類似度に基づく比較、日時情報に基づく比較、プレビュー画の構図と表示準備テーブル内の構図解析データに基づく比較等を行う。そして類似している縮小画像の枠線を太く表示するなどの方法が考えられる。
【００３４】
この例を図８（Ｂ）に示す。図８（Ｂ）において、８１０〜８１３は、プレビュー画像の被写体８１４の特徴データとの比較に基づき抽出された画像の縮小画を示し、これらは図８（Ａ）の縮小画８０１〜８０４に相当している。このうち画像８１０と８１２は、構図解析の結果がプレビュー画像の構図に近いと判断されたため、これら画像の枠が他の画像の枠よりも太く表示されて、他の縮小画像と容易に識別可能である。
【００３５】
最後にＳ２４で、操作部１０６から画像の生成開始が指示されているかどうかを判定する。ここで画像形成の開始が指示されていると判定するとＳ２５に進む。Ｓ２５では、プレビュー画像の元となる画像の入力先から入力される画像データを画像処理部１０２で処理した後、記録媒体１０４、画像出力部１０９、或いはプリンタ１１５のいずれかに出力する。尚、ここで画像の入力先がカメラ部１０１の場合は、カメラ部１０１での本撮影により得られた画像データを入力して記録媒体１０４に記録する撮影制御を行う。また記録媒体１０４からの動画像を処理対象の画像として再生・表示しているときは、操作部１０６から静止画切り出しの指示を受け付けることにより、その切り出した静止画を記録媒体１０４に記録する。
【００３６】
尚、ここで生成された画像が記録媒体１０４に記録される場合は、図６の手順によってこの画像を新たに検索テーブルに追加することもできる。
【００３７】
図６は、画像が記録媒体１０４に記録された場合に、その画像を新たに検索テーブルに追加する処理を説明するフローチャートである。この処理を実行するプログラムはプログラム・データ格納部１１３に記憶されておりＣＰＵ１０７の制御の下に実行される。
【００３８】
まずＳ３１で、画像の生成が完了したかどうかを判定し、完了したと判定するとＳ３２に進み、その生成された画像が表示対象であるか否かを判定する。この判断基準としては、画像内に被写体を含むこと、或いは画像の日時が条件に合致すること等が考えられる。Ｓ３２で、画像が表示対象であると判定するとＳ３３に進み、その画像の付随データを作成して検索テーブルに追加する。これによって、以降のプレビュー画像の表示時は、ここで生成されて検索テーブルに追加された画像も表示対象となる。
【００３９】
以上説明したように本実施形態１によれば、被写体の撮影或いは静止画の作成中に、既に記録されている他の画像に含まれるその被写体を参照できる。これにより撮影しようとしている、或いは作成しようとしている被写体と同じ構図の被写体の画像や、その関連性や類似性のある画像を参照して画像の撮影や作成を行うことができる。
【００４０】
また上記構成において、その対象としている被写体の構図が類似している順、或いは撮影した日時順に従って、その被写体に関連している画像の縮小画像を表示することにより、その被写体と、関連している画像との関連性を容易に識別できる。
【００４１】
［実施形態２］
次に本発明の実施形態２について説明する。この実施形態２では、関連している画像を表示する際に、それら画像をグルーピングする場合で説明する。尚、この実施形態２に係る画像処理装置の構成、及び記録媒体のデータ構成、付随データ及び検索テーブルのデータ構成は前述の実施形態１と同様であるため、その説明を省略する。
【００４２】
図９は、入力した画像と検索データとを比較し、画像出力部１０９に画像を表示して、新たな画像を生成する実施形態２に係る処理を説明するフローチャートである。この処理を実行するプログラムはプログラム・データ格納部１１３に記憶されておりＣＰＵ１０７の制御の下に実行される。尚、図９のＳ４１〜Ｓ４５の処理は、前述の図５のＳ１１〜Ｓ１５の処理と同じであるため、その説明を省略する。
【００４３】
Ｓ４６で、撮影対象或いは作成対象である画像を表示しているプレビュー画像から被写体の特徴データを取得する。次にＳ４７で検索テーブル全体の比較処理が終了していなければＳ４８に進み、ＲＡＭ１１１に作成された検索テーブル内の特徴データと、プレビュー画像の被写体の特徴データとを比較する。そして、その類似度が所定の閾値を超えるものがあるかどうかを判定する。ここで閾値を越えるものがあると判定するとＳ４９に進み、その類似度を有する画像の付随データ全体を、検索テーブルから取り出し、ＲＡＭ１１１の表示準備テーブルへコピーしてＳ４７に進む。
【００４４】
図１０は、実施形態に２に係る表示準備テーブルのデータ構成を説明する図である。
【００４５】
この表示準備テーブルは、各グループの画像の内包条件１００１，１００３，１００５と、各グループ個別のテーブルの先頭アドレスを指示するポインタ１００２，１００４，１００６とを有している。各グループ個別のテーブル１００７，１００８，１００９は、図４の実施形態１の検索テーブルと同等である。ここで内包条件は、例えば被写体の人数、構図の類似性等を含む。テーブル１００７は、グループ１に含まれる画像１〜ｍの付随データを記憶している。またテーブル１００８は、グループ２に含まれる画像１〜ｐの付随データを記憶している。更にテーブル１００９は、グループＮに含まれる画像１〜ｑの付随データを記憶している。
【００４６】
この表示準備テーブルへ新しく画像の付随データを追加するときは、まず、この付随データがどのグループの内包条件に合致するかを判定する。このグループの内包条件は、例えば、被写体の人数や、画像の構図解析データの類似性に基づいて定められる。もし追加したい付随データがどのグループにも属さなかった場合は、新たなグループのテーブルを用意し、そのグループの個別テーブルにデータを収め、更にその新規グループの内包条件を決定する。一方、もし付随データが既存のいずれかのグループに属する場合は、そのグループの個別テーブル内に付随データがコピーされ、場合によっては、そのグループの内包条件が修正されることもあり得る。
【００４７】
こうしてＳ４７で、プレビュー画像の被写体の特徴データと検索テーブル内の付随データの比較が全て終了したと判定するとＳ５０に進む。Ｓ５０では、表示準備テーブルにコピーされたデータがあるかどうかを判定する。ここでデータがないときはＳ５４に進むが、データがあると判定するとＳ５１に進み、このテーブル内のグループを予め決められた規則によりソートする。このときのソート規則は、例えば、プレビュー画像の単数もしくは複数の被写体の特徴データ或いは日時情報或いはプレビュー画像の構図と、各グループの内包条件に定められた特徴データ或いは日時情報或いは構図情報との比較に基づく順序が考えられる。ここでは例えば作成（撮影）日時順、或いは構図の類似性の高い順などが考えられる。
【００４８】
次にＳ５２に進み、ソートされた上位のグループから代表画像の付随データを取得し、更に、その代表画像を取得する。そしてＳ５３で、画像処理部１０２にて画像の縮小処理を行った後、プレビュー画像と合成して画像出力部１０９へ表示する。また、このとき同時に、そのグループに含まれる付随データの数、即ちグループに属する画像枚数値も、その画面に表示する。このとき縮小画は、プレビュー画像の上にピクチャーインピクチャー形式で表示されてもよいし、或いは画像処理部１０２にてプレビュー画も縮小又はトリミングされた後、縮小画が重ならないように表示される形式でも構わない。
【００４９】
図１１は、本実施形態２に係る表示例を示す図である。
【００５０】
１１０１〜１１０４はプレビュー画像の被写体１１０５の特徴データとの比較に基づき抽出されたグループの代表画像の縮小画と、そのグループの画像枚数値の表示例を示す。即ち、縮小画像１１０１で示されるグループの画像の枚数は１１枚、縮小画像１１０２で示されるグループの画像の枚数は２枚、縮小画像１１０３で示されるグループの画像の枚数は４枚、そして縮小画像１１０４で示されるグループの画像の枚数は１枚である。このとき、プレビュー画像と表示準備テーブル内グループとの比較に基づいて縮小画像の表示形式を変更することもできる。例えば、プレビュー画像の単数もしくは複数の被写体の特徴データ或いは日時情報或いはプレビュー画像の構図と、各グループの内包条件に定められた特徴データ或いは日時情報或いは構図との比較等に基づいて、類似しているものが識別可能に表示形式を変更する。例えば、この表示形式の変更としては、縮小画像の枠線を太く表示する等が考えられる。例えば図１１では、プレビュー画像の構図と同じ構図の縮小画像１１０１の枠が太線で表示されている。
【００５１】
最後にＳ５４に進み、操作部１０６からの指示に応じて、画像の形成開始が指示されたかどうかを判定する。ここで画像の形成が指示されるとＳ５５に進み、プレビュー画像の元となる画像の入力先のデータを画像処理部１０２で処理した後、記録媒体１０４、画像出力部１０９、或いはプリンタ１１５のいずれかに出力する。
【００５２】
以上説明したように本実施形態２によれば、上述の実施形態１の効果に加えて以下のような効果が得られる。撮影対象、或いは作成対象の被写体を含む画像の縮小画像を構図や撮影人数などでグループに分けて、各グループごとに縮小画像として表示できるため、その被写体に関連している画像を容易に識別できる。
【００５３】
尚、上記実施形態１，２において、縮小画像の表示の起動タイミングは、処理対象の画像の被写体が検出されたとき、或いは被写体が識別された後、ユーザが操作部１０６の所定キーを操作したときとした。本発明はこれ以外にも、例えば一つの画像が複数の被写体を含む場合に、その内の一つの被写体が、例えば操作部１０６の操作により選択されたときとしても良い。
【００５４】
また処理対象の画像に複数の被写体が識別された場合には、それら全ての被写体を含む画像を検索して、それらの縮小画像を表示するようにしても良い。また或いは、それら被写体のそれぞれを含む画像を検索して、それら検索した画像の縮小画像を表示するようにしても良い。
【００５５】
また前述の図６のＳ３２での表示対象かどうかの判定は、この画像処理装置の電源がオンされた日のデータ、電源がオンされてからのデータだけを表示対象とするようにしても良い。
【００５６】
また実施形態２に係る縮小画像の表示は、画像の構図や被写体の人数で分類し、各分類ごとに、画像の枚数とともに表示するようにしても良い。また枚数の多い順に表示しても良い。
【００５７】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2011004351.tif 000003
【図２】
2011004351.tif 000004
【図３】
2011004351.tif 000005
【図４】
2011004351.tif 000006
【図５】
2011004351.tif 000007
【図６】
2011004351.tif 000008
【図７】
2011004351.tif 000009
【図８】
2011004351.tif 000010
【図９】
2011004351.tif 000011
【図１０】
2011004351.tif 000012
【図１１】
2011004351.tif 000013