(57)【要約】【課題】容易かつ迅速に所望の画像データを捜索可能な画像表示装置を提供する。【解決手段】画像表示装置は、ユーザが所望の画像データを捜索する際に、区分ごとに画像データの対応画像２０１が表示された表示画像２００を生成し、表示する。このとき、画像データの撮像情報に基づいて、対応画像が表示され得る区分が決定され、画像データが属するカテゴリに基づいて、それぞれの区分で対応画像が表示されるか否かが決定される。特に、代表カテゴリに属する画像データの対応画像２０１が、優先的に表示される。【選択図】図８
2011049866.tif 000002
【特許請求の範囲】
【請求項１】
カテゴリに分類された画像データに対応する対応画像を表示する表示部を備え、
前記表示部が、前記カテゴリの中から選択された代表カテゴリに属する画像データの対応画像を、優先的に表示することを特徴とする画像表示装置。
【請求項２】
前記表示部が、時間的な区分毎に対応画像を表示するものであり、画像データが撮像されて得られた日時に基づいて対応画像が表示される区分が決定され、
対応画像が同一区分に表示され得る画像データが複数存在し、かつ当該画像データの中に、前記代表カテゴリに属する画像データと、前記代表カテゴリに属しない画像データとが含まれる場合、
前記代表カテゴリに属する画像データの対応画像が表示され、前記代表カテゴリに属しない画像データの対応画像が表示されないことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記カテゴリの中から前記代表カテゴリを選択する選択部をさらに備え、
前記選択部が、画像データが分類される頻度が大きいカテゴリを、前記代表カテゴリとして選択することを特徴とする請求項１または請求項２に記載の画像表示装置。
【請求項４】
画像データを記録する記録部と、
前記記録部に記録されている画像データの検索を行う検索部と、
前記表示部に表示される対応画像の少なくとも１つを指定する指示が入力される入力部と、をさらに備え、
前記検索部が、前記入力部に入力される前記指示により指定された対応画像が対応する画像データに類似する画像データを、前記記録部から検索し、
前記表示部が、前記検索部により検索された画像データの対応画像を表示することを特徴とする請求項１〜請求項３のいずれかに記載の画像表示装置。
【請求項５】
前記表示部に表示される対応画像を切り替える切替部をさらに備え、
前記切替部により切り替えられて前記表示部に表示される対応画像が、前記代表カテゴリに属する画像データの対応画像であることを特徴とする請求項１〜請求項４のいずれかに記載の画像表示装置。
【請求項６】
前記表示部が、空間的な区分毎に対応画像を表示するものであり、画像データが撮像されて得られた場所に基づいて対応画像が表示される区分が決定され、
対応画像が同一区分に表示され得る画像データが複数存在し、かつ当該画像データの中に、前記代表カテゴリに属する画像データと、前記代表カテゴリに属しない画像データとが含まれる場合、
前記代表カテゴリに属する画像データの対応画像が表示され、前記代表カテゴリに属しない画像データの対応画像が表示されないことを特徴とする請求項１〜請求項５のいずれかに記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示する画像表示装置に関する。
【背景技術】
【０００２】
撮像した画像（動画像、静止画像を含む）をフィルムではなくデータとして記録媒体に記録するデジタル方式の撮像装置が広く普及している。このような撮像装置では、記録媒体の容量に応じて記録可能な画像データの数が制限されるが、近年の記録媒体の大容量化に伴い、ユーザは気軽に多数の画像データを撮像して記録することができるようになっている。
【０００３】
しかしながら、記録媒体に記録される画像データの数が膨大になると、記録媒体中から所望の画像データを捜索することが困難となる。
【０００４】
そこで、特許文献１では、カレンダーとともに画像データの縮小画像を表示することで、撮像した日、週または月などを手がかりに、所望の画像データを捜索することを可能とする画像表示装置が提案されている。また、この画像表示装置は、同日、同週または同月などに複数の画像データが存在している場合、表示可能なだけ縮小画像を表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２１５４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の画像表示装置では、同日、同週または同月などに多数の画像データが存在している場合に、所望の画像データの縮小画像が運良く表示されるとは限らない。そして、所望の画像データの縮小画像が表示されなければ、所望の画像データの捜索は困難となる。
【０００７】
そこで、本発明は、容易かつ迅速に所望の画像データを捜索可能な画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の画像表示装置は、カテゴリに分類された画像データに対応する対応画像を表示する表示部を備え、前記表示部が、前記カテゴリの中から選択された代表カテゴリに属する画像データの対応画像を、優先的に表示することを特徴とする。
【０００９】
また、上記構成の画像表示装置において、前記表示部が、時間的な区分毎に対応画像を表示するものであり、画像データが撮像されて得られた日時に基づいて対応画像が表示される区分が決定され、対応画像が同一区分に表示され得る画像データが複数存在し、かつ当該画像データの中に、前記代表カテゴリに属する画像データと、前記代表カテゴリに属しない画像データとが含まれる場合、前記代表カテゴリに属する画像データの対応画像が表示され、前記代表カテゴリに属しない画像データの対応画像が表示されないこととしても構わない。
【００１０】
このように構成すると、代表カテゴリに属する画像データの対応画像を、他のカテゴリに属する画像データの対応画像よりも確実に優先して表示することが可能となる。また、時間的な区分ごとに対応画像を表示することで、ユーザが画像データを容易かつ迅速に捜索することが可能となる。
【００１１】
また、上記構成の画像表示装置において、前記カテゴリの中から前記代表カテゴリを選択する選択部をさらに備え、前記選択部が、画像データが分類される頻度が大きいカテゴリを、前記代表カテゴリとして選択することとしても構わない。
【００１２】
このように構成すると、ユーザが所望する画像データが属する可能性が高いカテゴリを、自動的に代表カテゴリとして選択することが可能となる。そのため、容易かつ迅速に画像データの捜索を行うことが可能となる。なお、以下の実施形態では、選択部の一例として表示制御部を挙げて説明する。
【００１３】
また、上記構成の画像表示装置において、前記選択部が、所定の画像データが分類されたカテゴリの中で、最も多く分類されたカテゴリを代表カテゴリとして選択することとしても構わない。
【００１４】
また、上記構成の画像表示装置において、前記表示部が、所定の区分毎に対応画像を表示するものであり、画像データが撮像された状況に基づいて対応画像が表示される区分が決定され、前記選択部が、対応画像が表示され得る区分毎に、画像データが分類されたカテゴリの中で最も多く分類されたカテゴリである区分カテゴリを求め、前記表示部に表示される区分のそれぞれに対応する前記区分カテゴリの中で最も多いカテゴリを、前記代表カテゴリとして選択することとしても構わない。
【００１５】
また、上記構成の画像表示装置において、画像データを記録する記録部と、前記記録部に記録されている画像データの検索を行う検索部と、前記表示部に表示される対応画像の少なくとも１つを指定する指示が入力される入力部と、をさらに備え、前記検索部が、前記入力部に入力される前記指示により指定された対応画像が対応する画像データに類似する画像データを、前記記録部から検索し、前記表示部が、前記検索部により検索された画像データの対応画像を表示することとしても構わない。
【００１６】
このように構成すると、指定した対応画像が対応する画像データをクエリとして検索することが可能となる。そのため、クエリを直感的かつ容易に指定することが可能となる。したがって、容易かつ効果的な検索を行うことが可能となる。なお、以下の実施形態では、検索部の一例として表示制御部を挙げ、入力部の一例として操作部を挙げて、それぞれ説明する。
【００１７】
また、上記構成の画像表示装置において、前記表示部が、前記検索部により検索された画像データの対応画像を、前記入力部に入力される前記指示により指定された対応画像が対応する画像データに類似する順に、表示することとしても構わない。
【００１８】
このように構成すると、ユーザが所望する可能性が高い画像データから順に、対応画像を表示することが可能となる。そのため、所望の画像データを容易かつ迅速に捜索することが可能となる。
【００１９】
また、上記構成の画像表示装置において、前記表示部に表示される対応画像を切り替える切替部をさらに備え、前記切替部により切り替えられて前記表示部に表示される対応画像が、前記代表カテゴリに属する画像データの対応画像であることとしても構わない。
【００２０】
このように構成すると、一度に表示部に表示される対応画像の数が少なかったとしても、順次切替を行うことにより、多数の対応画像を表示することが可能となる。そのため、代表カテゴリに属する画像データの対応画像を、ユーザが容易に確認することが可能となる。なお、以下の実施形態では、切替部の一例として表示制御部を挙げて説明する。
【００２１】
また、上記構成の画像表示装置において、前記表示部が、所定の区分毎に対応画像を表示するものであり、画像データが撮像された状況に基づいて対応画像が表示される区分が決定され、前記切替部が、切替可能な全ての区分に対して切替を行うこととしても構わない。
【００２２】
このように構成すると、一度に多数の対応画像を切り替えることができるため、ユーザが容易かつ迅速に対応画像を確認することが可能となる。
【００２３】
また、上記構成の画像表示装置において、前記表示部が、所定の区分毎に対応画像を表示するものであり、画像データが撮像された状況に基づいて対応画像が表示される区分が決定され、前記切替部が、所定の区分のみ切替を行うこととしても構わない。
【００２４】
このように構成すると、ユーザが、所望の画像データの撮像状況（撮像日時や撮像場所）をおよそ認識している場合に、無用な切替が行われることを抑制することが可能となる。
【００２５】
また、上記構成の画像表示装置において、前記表示部が、画像データが前記代表カテゴリに合致するほど、対応画像を優先的に表示することとしても構わない。
【００２６】
また、上記構成の画像表示装置において、前記表示部が、空間的な区分毎に対応画像を表示するものであり、画像データが撮像されて得られた場所に基づいて対応画像が表示される区分が決定され、対応画像が同一区分に表示され得る画像データが複数存在し、かつ当該画像データの中に、前記代表カテゴリに属する画像データと、前記代表カテゴリに属しない画像データとが含まれる場合、前記代表カテゴリに属する画像データの対応画像が表示され、前記代表カテゴリに属しない画像データの対応画像が表示されないこととしても構わない。
【００２７】
このように構成すると、代表カテゴリに属する画像データの対応画像を、他のカテゴリに属する画像データの対応画像よりも確実に優先して表示することが可能となる。また、空間的な区分ごとに対応画像を表示することで、ユーザが画像データを容易かつ迅速に捜索することが可能となる。
【発明の効果】
【００２８】
本発明によると、代表カテゴリに属する対応画像が優先的に表示部に表示される。そのため、ユーザが所望する画像データのカテゴリを代表カテゴリにすることで、所望の画像データを容易かつ迅速に捜索することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】は、本発明の実施形態における画像表示装置の構成の一例を示すブロック図である。
【図２】は、撮像装置の構成の一例を示すブロック図である。
【図３】は、記録系統の動作を示すフローチャートである。
【図４】は、表示系統の動作を示すフローチャートである。
【図５】は、カテゴリの自動判定方法の一例を示すグラフである。
【図６】は、特徴ベクトルの算出方法の一例を示す図である。
【図７】は、特徴ベクトルの算出方法の一例を示す図である。
【図８】は、表示画像の一例を示す図である。
【図９】は、表示画像中に表示する対応画像の選択方法の一例を示す図である。
【図１０】は、図８に示す表示画像とは異なる代表カテゴリを選択した場合の表示画像の一例を示す図である。
【図１１】は、表示画像の別例を示す図である。
【図１２】は、画像データの検索方法の一例を示す図である。
【図１３】は、図８に示す表示画像を切り替えることで生成される表示画像の一例を示す図である。
【図１４】は、空間的な区分に対応画像を表示した表示画像の一例を示す図である。
【発明を実施するための形態】
【００３０】
＜＜画像表示装置及び撮像装置の全体構成＞＞
本発明の実施形態について、以下図面を参照して説明する。最初に、画像表示装置や撮像装置の全体構成について、図面を参照して説明する。図１は、本発明の実施形態における画像表示装置の構成の一例を示すブロック図であり、図２は、撮像装置の構成の一例を示すブロック図である。
【００３１】
図１に示すように、画像表示装置１は、入力される画像データの画像解析を行い画像データが属するカテゴリの判定を行う画像解析部２と、画像解析部２の判定結果に基づいてタグを生成するタグ生成部３と、タグ生成部３で生成されたタグを画像データの所定の領域（例えば、ヘッダ）に書き込むタグ書込部４と、タグ書込部４でタグが書き込まれた画像データを記録する記録部５と、記録部５に記録されている画像データから撮像情報を抽出する撮像情報抽出部６と、記録部５に記録されている画像データからタグを抽出するタグ抽出部７と、ユーザの指示が入力される操作部８と、撮像情報抽出部６から得られる撮像情報とタグ抽出部７から得られるタグと操作部８を介して入力されるユーザの指示とに基づいて記録部５から必要なデータを読み出し調整してユーザに表示する画像（以下、表示画像とする）を生成する表示制御部９と、表示制御部９で生成される表示画像を表示する表示部１０と、を備える。
【００３２】
タグとは、主に画像データが属するカテゴリを示すものである。カテゴリとは、画像データの被写体に応じた分類であり、例えば、料理、電車、猫、犬、ポートレート（大人、子供、男、女、特定人物）などである。撮像情報とは、主に画像データが撮像されて得られた時の状況（例えば、撮像日時や撮像場所など）を示す情報である。
【００３３】
なお、画像解析部２、タグ生成部３、タグ書込部４、記録部５を記録系統のブロックとし、記録部５、撮像情報抽出部６、タグ抽出部７、操作部８、表示制御部９、表示部１０を表示系統のブロックとする。
【００３４】
また、図２に示すように、撮像装置２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）などの固体撮像素子を備え撮像により画像データを生成する撮像部２１と、撮像部２１で得られた画像データを一時的に保持する画像メモリ２２と、画像メモリ２２で保持される画像データを表示する表示部２３と、撮像が行われた撮像日時を把握して撮像日時を示す情報である撮像日時情報を生成する撮像日時情報生成部２４と、撮像が行われた撮像場所を把握して撮像場所を示す情報である撮像場所情報を生成する撮像場所情報生成部２５と、画像メモリ２２で保持された画像データの所定の領域（例えば、ヘッダ）に撮像日時情報生成部２４で生成された撮像日時情報と撮像場所情報生成部２５で生成された撮像場所情報とを書き込む撮像情報書込部２６と、を備える。
【００３５】
撮像情報書込部２６から出力される画像データは、一旦記録部（不図示）に記録された後に図１の画像表示装置１に転送されたり、そのまま画像表示装置１に転送されたりする。これによって、画像表示装置１に画像データが入力される。
【００３６】
なお、撮像装置２０の記録部が撮像装置２０から取り外され、画像表示装置１に接続されることにより、画像表示装置１に画像データが入力されることとしても構わない。
【００３７】
また、図１の画像表示装置１は、記録系統及び表示系統の両方のブロックを備えるものとしたが、表示系統のブロックのみを備える構成としても構わない。この場合、記録系統のブロックを、画像表示装置１の代わりに撮像装置２０が、備えることとしても構わない。さらにこの場合、撮像装置２０において、撮像情報書込部２６による撮像情報の書込と、タグ書込部４によるタグの書込と、のいずれを先に行っても構わない。
【００３８】
また、図１の画像表示装置１と図２の撮像装置２０とを、一体のものとしても構わない。さらにこのとき、図１の表示部１０と図２の表示部２３とを、同一のものとしても構わない。
【００３９】
また、撮像装置２０が、撮像日時情報生成部２４及び撮像場所生成部２５を備える構成であるとして説明したが、いずれか一方のみ（例えば、撮像日時情報生成部２４）を備える構成としても構わない。ただし、以下では説明の具体化のため、撮像装置２０が、撮像日時情報生成部２４及び撮像場所生成部２５を備える場合について説明する。
【００４０】
次に、撮像装置２０及び画像表示装置１の動作について図面を参照して説明する。最初に、撮像装置２０の動作について説明する。
【００４１】
図２に示すように、撮像装置２０は、まず撮像部２１が撮像を行うことで画像データを生成する。このとき、撮像日時情報生成部２４は、例えば撮像装置２０に備えられるタイマなどに基づいて撮像日時を把握し、撮像日時情報を生成する。一方、撮像場所情報生成部２５は、例えば撮像装置２０に備えられるＧＰＳ（Global Positioning System）などに基づいて撮像場所を把握し、撮像場所情報を生成する。
【００４２】
撮像部２１で画像データが生成されると、画像メモリ２２で画像データが一時的に保持される。ユーザは、画像メモリ２２に保持された画像データを表示部２３に表示して、撮像した画像を確認することができる。また、撮像情報書込部２６は、撮像日時情報生成部２４から撮像日時情報を取得するともに、撮像場所情報生成部２５から撮像場所情報を取得し、これらの撮像情報を画像データの所定の領域に書き込む。これにより、撮像装置２０によって画像データが作成される。
【００４３】
次に、画像表示装置１の動作について図面を参照して説明する。まず、記録系統の動作について図面を参照して説明する。図３は、記録系統の動作を示すフローチャートである。
【００４４】
図３に示すように、まず、画像表示装置１の画像解析部２に、画像データが入力される（ＳＴＥＰ１）。上述のように、画像データは撮像装置２０から入力される。なお、画像表示装置１と撮像装置２０とが一体であるとき、撮像部２１や画像メモリ２２から出力される画像データが、画像解析部２に直接的に入力される構成としても構わない。
【００４５】
画像解析部２は、画像データが示す画像（以下、単純に画像とも表現する）の解析を行い、画像データが属するカテゴリを自動的に判定する（ＳＴＥＰ２）。この画像解析部２による画像の解析方法や、画像データのカテゴリの自動判定方法の詳細については、後述する。なお、ＳＴＥＰ２の画像解析部２による画像データのカテゴリの自動判定に加えて（または代えて）、ユーザによる画像データのカテゴリの手動指定を行うこととしても構わない。また、画像解析部２が自動判定するカテゴリを、ユーザが指定しても構わない。
【００４６】
タグ生成部３は、画像解析部２で自動判定（または手動指定）されたカテゴリを示すタグを生成する。そして、タグ書込部４が、タグ生成部３で生成されるタグを画像データの所定の領域に書き込み（ＳＴＥＰ３）、記録部５に記録する（ＳＴＥＰ４）。これにより、記録系統の動作が終了する。
【００４７】
次に、表示系統の動作、特に、表示制御部９による表示画像の生成動作について図面を参照して説明する。図４は、表示系統の動作を示すフローチャートである。
【００４８】
図４に示すように、まず表示制御部９が、上述したカテゴリの少なくとも１つを選択し、代表カテゴリとして設定する（ＳＴＥＰ１０）。この代表カテゴリは、表示画像生成時に操作部８に入力されるユーザの指示に基づいて設定されるものであっても構わないし、予めユーザによって設定されているものであっても構わないし、表示制御部９によって自動的に設定されるものであっても構わない。
【００４９】
次に、撮像情報抽出部６が、記録部５に記録されている画像データの所定の領域（例えばヘッダ領域）から撮像情報を抽出する。また、タグ抽出部７も同様に、記録部５に記録されている画像データの所定の領域からタグを抽出する（ＳＴＥＰ１１）。抽出された撮像情報やタグは、表示制御部９に入力される。なお、このとき表示制御部９が、表示画像を生成するために必要となる他のデータ（例えば、表示画像の枠のデータなど）を記録部５から読み出すこととしても構わない。
【００５０】
表示画像は、画像データの対応画像が表示される区分を有する。ただし、この区分に表示される対応画像は、表示制御部９によって選択された対応画像のみである。なお、対応画像が表示されない区分が存在しても構わない。表示画像や、区分に表示する対応画像の選択方法の詳細については、後述する。
【００５１】
対応画像とは、例えば、画像データに添付されたサムネイル画像や、画像データの画像を調整して得られる画像（例えば、静止画の縮小画像または動画に含まれる１つのフレームの縮小画像）である。なお、対応画像は、上記の画像のみに限られるものではなく、例えば文字やアイコンであっても構わないし、上記の画像とこれらを組み合わせて得られる画像であっても構わない。
【００５２】
また、区分とは、例えば、カレンダー上の日、週、月、年や所定の曜日などの時間的な区分や、地図上の市町村、都道府県、地方、国や所定の距離領域などの空間的な区分、また、これらを組み合わせた区分である。なお、１つの表示画像に含まれる区分の種類や数は、表示画像生成時に操作部８に入力されるユーザの指示に基づいて設定されるものであっても構わないし、予めユーザによって設定されているものであっても構わないし、表示制御部９によって自動的に設定されるものであっても構わない。また、以下では説明の具体化のため、主として時間的な区分に対応画像を表示させる場合について説明する。
【００５３】
表示制御部９は、１つの区分を選択する（ＳＴＥＰ１２）。そして、当該区分に表示すべき対応画像を選択し、記録部５から読み出す（ＳＴＥＰ１３）。表示制御部９は、読み出した対応画像を当該区分に表示することで、表示画像を生成する。
【００５４】
ＳＴＥＰ１３において、表示制御部９は、画像データの撮像情報に基づいて、対応画像が当該区分に表示され得るものであるか否かを判定する。さらに、表示制御部９は、画像データのタグと代表カテゴリとに基づいて、対応画像を表示画像中に表示するか否かを判定する。
【００５５】
ＳＴＥＰ１３で当該区分に表示する対応画像を選択して読み出した後、未選択の区分があるか否かを確認する（ＳＴＥＰ１４）。未選択の区分がある場合（ＳＴＥＰ１４、ＮＯ）、ＳＴＥＰ１２に戻り未選択の区分を選択する。一方、全ての区分について選択が終了していれば（ＳＴＥＰ１４、ＹＥＳ）、表示系統の動作を終了する。
【００５６】
表示部１０は、表示制御部９により生成された表示画像を表示する。このとき、ユーザからの新たな指示が操作部８を介して入力されれば、表示制御部９は、その指示に応じて表示画像の調整や再生成を行う。
【００５７】
なお、図３及び図４のフローチャートでは、画像データを記録するときにカテゴリを判定してタグを生成し、表示するときに画像データから抽出したタグを参照することで画像データが属するカテゴリを認識することとしたが、可能であれば表示時にカテゴリの判定を行っても構わない。ただし、表示時にカテゴリを判定すると、表示時の計算量が膨大になるため、上述のように事前にカテゴリを判定する構成とすると好ましい。
【００５８】
＜＜画像解析部＞＞
次に、画像解析部２による画像データのカテゴリの自動判定方法の一例について、図面を参照して説明する。図５は、カテゴリの自動判定方法の一例を示すグラフである。
【００５９】
図５に示す自動判定方法では、画像の特徴量に基づいてカテゴリの判定を行う。例えば、判定対象の画像データの画像の特徴量Ｓと、カテゴリの見本の特徴量Ｍとの差（特徴量をベクトルで表現する場合、両方のベクトルの始点を原点に配置したときの終点の距離（ユークリッド距離）差）を算出する。そして、特徴量Ｓ，Ｍの差が小さいとき（例えば、特徴量Ｓ，Ｍの差が所定の値以下、即ち、特徴量Ｓが特徴量Ｍの周囲の範囲Ｃ内に位置するとき）、判定対象の画像データが当該カテゴリに属するものとして判定する。
【００６０】
なお、図５では説明の簡略化のために特徴量Ｓ，Ｍを二次元の値として表現しているが、ｎ次元としても構わない（ｎは自然数）。また、図５では、画像データがあるカテゴリに属する場合の画像の特徴量Ｓの範囲Ｃを、見本の特徴量Ｍを中心とした円の範囲（特徴量Ｍとの差が所定の値（半径）以下となる特徴量の範囲）としたが、他の形状の範囲としても構わない。
【００６１】
＜特徴量の算出例＞
また、特徴量Ｓを「特徴ベクトル」としても構わない。以下、「特徴ベクトル」を算出する方法について、図面を参照して説明する。図６及び図７は、特徴ベクトルの算出方法の一例を示す図である。
【００６２】
図６に示す画像１００は、複数の画素が水平及び垂直方向に配列された二次元画像である。フィルタ１１１〜１１５は、画像１００中の注目画素１０１を中心とする小領域（例えば、３×３画素の画像１００中の領域）のエッジを抽出するエッジ抽出フィルタである。エッジ抽出フィルタとして、エッジ抽出に適した任意の空間フィルタ（例えば、ソーベルフィルタやプレウィットフィルタなどの微分フィルタ）を用いることができる。ただし、フィルタ１１１〜１１５は互いに異なるものとする。なお、図６ではフィルタ１１１〜１１５のフィルタサイズ及びフィルタを作用させる小領域を３×３画素として例示したが、５×５画素などの他の大きさにしても構わない。また、使用するフィルタの数を５以外の数としても構わない。
【００６３】
フィルタ１１１、１１２、１１３及び１１４は、それぞれ画像１００の水平方向、垂直方向、右斜方向及び左斜方向に伸びるエッジを抽出し、抽出したエッジの強度の表すフィルタ出力値を出力する。フィルタ１１５は、水平方向、垂直方向、右斜方向及び左斜方向に分類されない方向に伸びるエッジを抽出し、抽出したエッジの強度を表すフィルタ出力値を出力する。
【００６４】
エッジの強度は、画素信号（例えば輝度信号）の勾配の大きさを表す。例えば、画像１００の水平方向に伸びるエッジが存在している場合、水平方向に直交する方向である垂直方向において、画素信号に比較的大きな勾配が生じる。また例えば、注目画素１０１を中心とした小領域にフィルタ１１１を作用させて空間フィルタリングを行えば、注目画素１０１を中心とした小領域の垂直方向に沿った画素信号の勾配の大きさがフィルタ出力値として得られる。なお、フィルタ１１２〜１１５についても同様である。
【００６５】
画像１００上のある画素を注目画素１０１とした状態で、フィルタ１１１〜１１５を当該注目画素１０１を中心とした小領域に作用させることで、５つのフィルタ出力値が得られる。この５つのフィルタ出力値の内、最大のフィルタ出力値を採用フィルタ値として抽出する。最大のフィルタ出力値がフィルタ１１１〜１１５からのフィルタ出力値であるときの採用フィルタ値を、それぞれ、第１〜第５の採用フィルタ値と呼ぶ。したがって例えば、最大のフィルタ出力値がフィルタ１１１からのフィルタ出力値である時、採用フィルタ値は第１の採用フィルタ値となり、最大のフィルタ出力値がフィルタ１１２からのフィルタ出力値である時、採用フィルタ値は第２の採用フィルタ値となる。
【００６６】
注目画素１０１の位置は、例えば、画像１００内を水平方向および垂直方向に１画素ずつ移動させられ、移動のたびにフィルタ１１１〜１１５のフィルタ出力値を取得することで採用フィルタ値を決める。画像１００内のすべての画素に対して採用フィルタ値を決めた後、図７に示すような第１〜第５の採用フィルタ値のヒストグラム１２１〜１２５を個別に作成する。
【００６７】
第１の採用フィルタ値のヒストグラム１２１は、画像１００から得られた第１の採用フィルタ値のヒストグラムであり、図７に示す例ではそのヒストグラムの階級の数を１６としている（ヒストグラム１２２〜１２５についても同様）。この場合、１つのヒストグラムから１６個の度数データが得られるため、ヒストグラム１２１〜１２５から８０個の度数データが得られる。この８０個の度数データのそれぞれを要素とする８０次元のベクトルを、形状ベクトルＨEとして求める。形状ベクトルＨEは、画像１００内に存在する物体の形状に応じたベクトルである。
【００６８】
一方、画像１００内の色の様子を表す色ヒストグラムを作成する。例えば、画像１００を形成する各画素の画素信号が、赤色の強度を表すＲ信号、緑色の強度を表すＧ信号、青色の強度を表すＢ信号から構成されている場合、画像１００内のＲ信号値のヒストグラムＨＳＴR、Ｇ信号値のヒストグラムＨＳＴG、Ｂ信号値のヒストグラムＨＳＴBを、画像１００についての色ヒストグラムとして作成する。例えば、各色ヒストグラムの階級の数を１６とすると、色ヒストグラムＨＳＴR、ＨＳＴG及びＨＳＴBから４８個の度数データが得られる。色ヒストグラムから得られた度数データのそれぞれを要素とするベクトル（例えば、４８次元のベクトル）を、色ベクトルＨCとして求める。
【００６９】
画像１００の特徴ベクトルをＨにて表した場合、特徴ベクトルＨは、
式「Ｈ＝ｋC×ＨC＋ｋE×ＨE」
によって定められる。ここで、ｋC及びｋEは予め定められた係数である（ただし、ｋC≠０かつｋE≠０）。したがって、画像１００についての特徴ベクトルＨは、画像１００内の物体の形状及び色に応じた特徴量となる。
【００７０】
なお、ＭＰＥＧ（Moving Picture Experts Group）７において、画像の特徴ベクトルＨ（特徴量）の導出に５つのエッジ抽出フィルタが用いられているが、この５つのエッジ抽出フィルタを、フィルタ１１１〜１１５に適用しても構わない。さらに、ＭＰＥＧ７に規定された方法を画像１００に適用することで、画像１００の特徴ベクトルＨ（特徴量）を導出するようにしても構わない。また、形状及び色の一方の特徴量のみを用いて特徴ベクトルＨを算出しても構わない。
【００７１】
また、上述の特徴ベクトルに加えて（または代えて）、画像内の人物の有無（特に人数）に基づいて特徴量を算出しても構わない。画像内の人物の有無は、例えば、公知の種々の顔検出の技術を利用することで判定することができる。具体的に例えば、Adaboost（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20, 1995．）を利用して大量の教師サンプル（顔及び非顔のサンプル画像）から作成した重みテーブルと、画像と、を比較することで顔検出を行っても構わない。
【００７２】
さらに、画像内の特定人物の有無に基づいて特徴量を算出しても構わない。画像内の特定人物の有無は、例えば、公知の種々の顔認識の技術を適用することで判定することができる。具体的に例えば、予め記録しておいた特定人物のサンプル画像と、顔検出により画像から検出された人物の顔と、を比較することで行っても構わない。
【００７３】
また同様に、画像から検出された人物の性別（男女）や年齢（例えば、大人または子供）を判定し、その判定結果に基づいて特徴量を算出しても構わない。
【００７４】
また、上述の特徴ベクトルを、画像の全体から人物領域を除いた領域である背景領域から算出することとしても構わない。このとき、顔検出により検出された顔領域の位置及び大きさに基づいて、人が含まれると推定される領域を人物領域としても構わないし、画像に人が含まれない場合は、画像全体を背景領域としても構わない。
【００７５】
＜＜表示制御部＞＞
＜基本動作＞
次に、表示制御部９の基本動作である表示画像の生成動作について、図面を参照して説明する。図８は、表示画像の一例を示す図である。図８に示す表示画像２００は、ある１月間に含まれる日を区分とするものであり、１つの日に対して１つの対応画像が表示されるものである。また、代表カテゴリは「電車」である。
【００７６】
表示制御部９は、図８に示す表示画像２００を生成するために、画像データの撮像情報の中でも撮像日時を参照する。そして、参照した撮像日時に基づいて、画像データの対応画像が、図８の表示画像２００中のある日に表示され得るものであるか否かを判定する。具体的には、画像データが当該ある日に撮像されたものであれば、その対応画像を当該ある日に表示され得るものと判定する。
【００７７】
さらに、表示制御部９は、当該ある日に表示され得る対応画像と判定したものの中でも、代表カテゴリに属する対応画像を優先的に選択し、表示する。
【００７８】
表示画像中に表示する対応画像の選択方法の詳細について、図面を参照して説明する。図９は、表示画像中に表示する対応画像の選択方法の一例を示す図であり、図８に示した表示画像２００の１３日に表示され得ると判定された対応画像を示すものである。
【００７９】
図９に示す対応画像２１０〜２１４の中で、対応画像２１０，２１１は、代表カテゴリであるカテゴリ「電車」に属するものである。また、対応画像２１２，２１３は、カテゴリ「猫」に属するものであり、対応画像２１４は、カテゴリ「料理」に属するものである。
【００８０】
本例では、代表カテゴリであるカテゴリ「電車」に属する画像データの対応画像２１０，２１１が優先的に表示される。なお、ある区分（１３日）に表示可能な対応画像の数（１つ）よりも、ある区分（１３日）に表示され得る対応画像であり画像データが代表カテゴリ（電車）に属する対応画像２１０，２１１の数（２つ）が多い場合は、より代表カテゴリに合致する（電車らしい）画像データの対応画像２１０を選択的に表示することとしても構わない。
【００８１】
より代表カテゴリに合致する（電車らしい）画像データとは、例えば、図５に示す特徴量Ｓと特徴量Ｍとの距離差が小さい（以下、「スコアが高い」と表現する）画像データである。図９に示す対応画像２１０，２１１では、対応画像２１０が対応する画像データのスコアが、対応画像２１１が対応する画像データのスコアよりも高いため、対応画像２１０を１３日に表示する対応画像として選択し、表示する。
【００８２】
表示画像２００の代表カテゴリは、変更可能である。例えば、図８の表示画像２００が表示部１０に表示されている時に、ユーザが操作部８を介して代表カテゴリを「猫」に変更する指示を入力すると、図４に示す一連の動作が再度行われ、図１０に示すような表示画像２２０が表示制御部９で再度生成されるとともに、表示画像２２０が表示部１０に表示される。図１０は、図８に示す表示画像とは異なる代表カテゴリを選択した場合の表示画像の一例を示す図である。図１０に示すように、表示画像２２０ではカテゴリ「猫」に属する対応画像２２１が優先的に表示される。
【００８３】
以上のように構成すると、表示部１０に表示される表示画像２００，２２０において、代表カテゴリに属する対応画像２０１，２２１が優先的に表示される。そのため、ユーザが所望する画像データのカテゴリを代表カテゴリにすることで、所望の画像データを容易かつ迅速に捜索することが可能となる。
【００８４】
なお、図８や図１０に示す表示画像２００，２２０では、代表カテゴリ「電車」や「猫」に属する対応画像が存在しない区分（例えば、図８の１、３〜５日など）において対応画像を表示しないこととしているが、当該区分に何らかの画像を表示しても構わない。例えば、代表カテゴリ以外のカテゴリに属する対応画像を表示したり、代表カテゴリに属する対応画像がないことを示す画像を表示したりしても構わない。
【００８５】
また、図８や図１０に示す表示画像２００，２２０では、連続する区分のそれぞれにおいて１つの対応画像２０１，２２１を表示する表示方法としているが、他の表示方法としても構わない。例えば、断続的な区分に複数の対応画像を表示可能な表示方法としても構わない。この表示方法とした表示画像を、図面を参照して説明する。図１１は、表示画像の別例を示す図である。
【００８６】
図１１に示す表示画像２３０の代表カテゴリは、図８と同様の「電車」である。図１１に示すように、表示画像２３０では、１月間の土曜日及び日曜日のみを区分として表示するものである。また、それぞれの区分に、複数の対応画像２３１を表示可能な構成としている。
【００８７】
このように構成すると、例えば、頻繁に撮像が行われた区分の画像データの対応画像を選択的に表示することが可能となる。また例えば、所望の画像データの区分をユーザが認識している場合に、当該区分の画像データの対応画像を選択的に表示することが可能となる。また、捜索する必要がない区分を非表示にすることで、捜索する必要がある区分の表示領域を大きくすることが可能となる。したがって、ユーザが所望する画像データをさらに容易かつ迅速に捜索することが可能となる。
【００８８】
＜他の動作例＞
次に、表示制御部９の種々の動作例について説明する。なお、上述の基本動作や以下に説明する各動作例は、矛盾なき限り適宜組み合わせて実行することが可能である。
【００８９】
［代表カテゴリの自動選択］
最初に、表示制御部９による代表カテゴリの自動的な選択方法の一例について説明する。本例の自動選択方法は、判定（指定）頻度が大きいカテゴリを、代表カテゴリとして選択するものである。
【００９０】
例えば、画像データが属する数が最大となるカテゴリを、代表カテゴリとして選択しても構わない。この場合、表示制御部９が代表カテゴリを選択するために参照する画像データを、記録部５に記録されている全ての画像データとしても構わないし、ある区分（例えば、表示画像に含まれる区分、図８では１月間）の画像データとしても構わない。
【００９１】
また例えば、それぞれの区分において、対応画像が表示され得る画像データが属する数が最大となるカテゴリ（区分カテゴリ）をそれぞれ求め、求められた区分カテゴリの数が最大となるカテゴリを代表カテゴリとして選択しても構わない。具体的に例えば、図８に示す表示画像２００を生成する場合、１〜３０日のそれぞれにおいて、対応画像が表示され得る画像データが属する数が最大となる区分カテゴリをそれぞれ求め、求められた３０（画像データが撮像されていない日があれば３０未満）の区分カテゴリの中で最大数となるカテゴリを代表カテゴリとして選択する。
【００９２】
このように構成すると、ユーザが所望する画像データが属する可能性が高いカテゴリを、自動的に代表カテゴリとして選択することが可能となる。そのため、さらに容易かつ迅速に画像データの捜索を行うことが可能となる。
【００９３】
なお、画像解析部２において画像データのカテゴリの自動判定を行うこととすると、ユーザが画像データのカテゴリに対して種々の指示をする必要がなくなるとともに、ユーザが所望する可能性が高い画像データの対応画像を表示することが可能となるため、好ましい。
【００９４】
［画像データの検索］
次に、表示制御部９による画像データの検索方法の一例について、図面を参照して説明する。図１２は、画像データの検索方法の一例を示す図である。図１２（ａ）に示す表示画像２４０は、図８や図１０の表示画像２００，２２０と同様のものであり、代表カテゴリは「料理」である。また、図１２（ｂ）に示す表示画像２５０は、ユーザが操作部８を介して検索指示を入力した場合に表示されるものである。
【００９５】
本例の検索方法では、まずユーザが、図１２（ａ）の表示画像２４０に含まれる対応画像の中から、所望の画像データに近いものを選択して、操作部８を介して指定する。以下では一例として、２９日の対応画像２４２がユーザに指定される場合について説明する。この場合、指定された対応画像２４２が対応する画像データをクエリとして、検索を行う。
【００９６】
具体的には、クエリとなる画像データに類似する画像データを検索する。画像データの類否は、例えば、図５に示した特徴量を利用して求めることができる。ただし、本例の検索方法では、クエリとなる画像データの画像の特徴量と他の画像データの画像の特徴量との差を求め、その差が小さいほど画像データが類似すると判定する。なお、画像の特徴量に加えて（または代えて）、撮像情報に基づいて類否を判定しても構わない。例えば、撮像日時や撮像場所が近い画像データほど、類似すると判定しても構わない。特に、比較する画像データの撮像日時や撮像場所の差が、所定の時間や距離よりも小さい場合に、特に類似すると判定しても構わない。
【００９７】
また、図１２（ｂ）に示すように、表示制御部９は検索結果を示す表示画像２５０を生成し、表示部１０がこれを表示する。表示画像２５０には、クエリの画像データの対応画像２５１と、クエリの画像データに類似する画像データの対応画像２５２〜２６０が含まれる。対応画像２５２〜２６０は、クエリの画像データに類似する画像データの順番に応じて、整列して表示される。表示画像２５０では、クエリとなる画像データに最も類似する画像のデータの対応画像２５２を左上に配置し、右方及び下方ほど類似しない画像データの対応画像が配置されるようにしている。
【００９８】
以上のように構成すると、指定した対応画像が対応する画像データをクエリとして検索することが可能となる。そのため、クエリを直感的かつ容易に指定することが可能となる。したがって、容易かつ効果的な検索を行うことが可能となる。
【００９９】
また、クエリとなる画像データに類似する順に、検索された画像データの対応画像を整列させて表示することで、ユーザが所望する可能性が高い画像データから順に対応画像を表示することが可能となる。そのため、所望の画像データを容易かつ迅速に捜索することが可能となる。
【０１００】
なお、検索対象の画像データを、記録部５に記録されている全ての画像データとしても構わないし、クエリの画像データと同じカテゴリに属する画像データとしても構わない。ただし、広く画像データを検索することで、効果的な検索を行うことが可能となる。特に、表示画像２４０に含まれている区分に関係なく、広く画像データを検索することとすると、好ましい。また、クエリとなる画像データを複数としても構わない。
【０１０１】
［対応画像の切替］
次に、表示制御部９による、対応画像の切替方法の一例について図面を参照して説明する。図１３は、図８に示す表示画像を切り替えることで生成される表示画像の一例を示す図である。なお、図１３に示す表示画像２７０も、図８の表示画像２００と同様に代表カテゴリは「電車」である。
【０１０２】
切替は、ユーザが操作部８を介して表示制御部９に切替指示を入力することで行われる。例えば、図８の表示画像２００中に、ユーザが所望する画像データの対応画像が表示されていない場合に、ユーザが切替指示を入力する。
【０１０３】
切替指示が入力されると、代表カテゴリや区分は変更されずに維持されるが、それぞれの区分に表示されている対応画像２０１は変更される。例えば、それぞれの区分において、切替前に表示されている対応画像２０１が対応する画像データの次にスコアが高い（または低い）画像データの対応画像２７１が、表示される。
【０１０４】
ただし、代表カテゴリに属しかつ対応画像が表示され得る画像データの数が、一度に表示する対応画像の数（１つ）以下である区分（例えば、図１３の表示画像２７０の３〜６日など）については、切替可能な対応画像が存在しないため、切替を行わない。
【０１０５】
このように構成すると、それぞれの区分で一度に表示される対応画像の数が少なかったとしても、順次切替を行うことにより、多数の対応画像を表示することが可能となる。そのため、代表カテゴリに属する画像データの対応画像を、ユーザが容易に確認することが可能となる。
【０１０６】
なお、図１３に示すように、表示画像２００，２７０に含まれる区分のうち、切替可能な区分（例えば、図１３の表示画像２７０の２日など）の全てについて切替を行うこととしても構わない。このように構成すると、一度に多数の対応画像を切り替えることができるため、ユーザが容易かつ迅速に対応画像を確認することが可能となる。
【０１０７】
また、ユーザによって指定された区分（１つまたは複数）のみ切替を行うこととしても構わない。このように構成すると、ユーザが、所望の画像データの撮像日時をおよそ認識している場合に、無用な切替が行われることを抑制することが可能となる。
【０１０８】
［空間的な区分の表示画像の生成］
これまで、図８、図１０〜図１３の表示画像２００，２２０，２３０，２４０，２７０のように、時間的な区分に対応画像２０１，２２１，２３１，２４１，２７１を表示する表示方法について説明してきたが、上述のように空間的な区分に対応画像を表示する表示画像を生成することも可能である。ここでは、空間的な区分に対応画像を表示する表示画像について、図面を参照して説明する。図１４は、空間的な区分に対応画像を表示した表示画像の一例を示す図である。なお、図１４に示す表示画像３００も、図８の表示画像２００と同様に代表カテゴリは「電車」である。
【０１０９】
図１４に示す表示画像３００は、１地方を含み都道府県を区分としている。表示制御部９は、図１４に示す表示画像３００を生成するために、画像データの撮像情報の中でも撮像場所を参照する。そして、参照した撮像場所に基づいて、画像データの対応画像が図１４の表示画像３００中のある都道府県に表示され得るものであるか否かを判定する。具体的には、画像データが当該ある都道府県で撮像されたものであれば、その対応画像を当該ある都道府県に表示され得るものと判定する。
【０１１０】
さらに、表示制御部９は、当該ある都道府県に表示され得る対応画像と判定したものの中でも、代表カテゴリに属する対応画像を優先的に選択し、表示する。
【０１１１】
空間的な区分に対応画像３０１を表示したとしても、表示部１０に表示される表示画像３００は、代表カテゴリに属する対応画像３０１が優先的に表示されたものとなる。そのため、ユーザが所望する画像データと同じカテゴリに属する画像データの対応画像３０１を、優先的に表示することが可能となる。したがって、ユーザが、所望する画像データを容易かつ迅速に捜索することが可能となる。
【０１１２】
なお、時間的な区分に適用させるものとして説明した種々の表示方法や選択方法などは、空間的な区分にも適用することが可能である。また、区分を時間的かつ空間的なものとしても構わない。例えば、図１４の表示画像３００のそれぞれの区分を時間的に分割することで、区分を形成しても構わない。
【０１１３】
＜＜変形例＞＞
本発明の実施形態における画像表示装置１について、表示制御部９などの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１１４】
また、上述した場合に限らず、図１の画像表示装置１は、ハードウェア、あるいは、ハードウェア及びソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて画像表示装置１を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１１５】
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１１６】
本発明は、撮像装置の表示部やビューアなどに代表される、画像を表示する画像表示装置に利用することができる。
【符号の説明】
【０１１７】
１      画像表示装置
２      画像解析部
３      タグ生成部
４      タグ書込部
５      記録部
６      撮像情報抽出部
７      タグ抽出部
８      操作部
９      表示制御部
１０      表示部
２０      撮像装置
２１      撮像部
２２      画像メモリ
２３      表示部
２４      撮像日時生成部
２５      撮像場所生成部
２６      撮像情報書込部
【図１】
2011049866.tif 000003
【図２】
2011049866.tif 000004
【図３】
2011049866.tif 000005
【図４】
2011049866.tif 000006
【図５】
2011049866.tif 000007
【図６】
2011049866.tif 000008
【図７】
2011049866.tif 000009
【図８】
2011049866.tif 000010
【図９】
2011049866.tif 000011
【図１０】
2011049866.tif 000012
【図１１】
2011049866.tif 000013
【図１２】
2011049866.tif 000014
【図１３】
2011049866.tif 000015
【図１４】
2011049866.tif 000016