(57)【要約】      （修正有）【課題】画像の検索や閲覧が簡便にできるようになった、付加情報の操作が簡便にできるようにする。【解決手段】タッチスクリーン１８の表示状態がＡの状態のまま、ユーザは、基点画像P1に指f1を接触させる（Ｂ）。ユーザは、基点画像P1を起点とするなぞり操作をする（Ｃ）。ユーザは、指f1をリリースすると、タッチスクリーン１８の表示状態は、Ｄの状態に遷移する。即ち、タッチスクリーン１８には、基点画像P1が元の領域に表示されたまま、基点画像P1の関連画像P2が、指f1がリリースされた領域に表示されることになる。【選択図】図３
2010055343.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示手段と
ユーザの操作入力を受け付ける操作入力受付け手段と、
前記操作入力受付け手段が、前記表示手段に表示された基点画像に対して所定の操作を受け付けたとき、前記基点画像と関連する関連画像を前記表示手段に表示させる表示制御を行う表示制御手段と
を備える情報処理装置。
【請求項２】
前記基点画像または前記関連画像になり得る全ての画像は、１以上の分類項目に基づいて、他の画像との関連度合が予め求められており、
前記表示制御手段は、前記基点画像に対する他の画像との前記関連度合に基づいて、前記全ての画像の中から前記関連画像を１以上検索して、検索した１以上の前記関連画像を前記表示手段に表示させる
請求項１に記載の情報処理装置。
【請求項３】
前記分類項目は、画像の付加情報に基づいて予め決定されている
請求項２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記基点画像を前記表示手段に表示させたとき、前記関連画像を１以上検索する
請求項２に記載の情報処理装置。
【請求項５】
前記表示制御手段は、ユーザが指を前記表示手段に接触させたまま所定方向に所定距離だけ動かす操作をなぞり操作として、前記操作入力受付け手段が、前記なぞり操作を受け付けた場合、前記関連画像を表示させる
請求項２に記載の情報処理装置。
【請求項６】
前記表示制御手段は、前記なぞり操作が終了した位置に前記関連画像を表示させる
請求項５に記載の情報処理装置。
【請求項７】
前記なぞり操作の各方向に対して、１以上の前記分類項目のうちの所定の１つが対応付けられており、
前記表示制御手段は、前記なぞり操作の方向に対応する前記分類項目に基づいて求められた前記関連度合に基づいて、前記関連画像を１以上検索する
請求項６に記載の情報処理装置。
【請求項８】
前記表示制御手段は、前記操作入力受付け手段が、前記なぞり操作を受け付ける毎に、新規の前記関連画像を順次表示させる
請求項６に記載の情報処理装置。
【請求項９】
前記表示制御手段は、前記操作入力受付け手段が、前記関連画像に対するなぞり操作を受け付けたとき、前記関連画像を新たな基点画像として、前記新たな基点画像に関連する新たな関連画像を表示させる
請求項６に記載の情報処理装置。
【請求項１０】
前記なぞり操作は、前記基点画像または前記関連画像を起点に行われる
請求項８に記載の情報処理装置。
【請求項１１】
前記表示制御手段は、前記操作入力受付け手段が、ユーザの指による前記基点画像に対する接触操作を受け付けた場合、さらに、１以上の前記分類項目のそれぞれを示す分類項目画像を表示させ、１以上の前記分類項目画像のうちの所定の１つに対する前記ユーザの指の接触操作を検出した場合、接触操作がなされた前記分類項目画像が示す前記分類項目に基づいて求められた前記関連度合に基づいて、前記関連画像を１以上検索する
請求項２に記載の情報処理装置。
【請求項１２】
前記制御手段は、前記操作入力受付け手段が、ユーザの指による前記基点画像に対する接触操作を受け付けた場合、接触操作がなされた位置に基づく画像を解析し、その解析結果に基づいて前記分類項目を特定し、特定された前記分類項目に基づいて求められた前記関連度合に基づいて、前記関連画像を１以上検索する
請求項２に記載の情報処理装置。
【請求項１３】
前記表示制御手段による前記表示制御の履歴情報を保持する保持手段を
さらに備える請求項１に記載の情報処理装置。
【請求項１４】
前記表示制御手段は、前記操作入力受付け手段が、ユーザの指による前記基点画像または前記関連画像に対する接触操作を受け付けた場合、前記表示制御としてさらに、前記保持手段に保持された前記履歴情報を前記タッチスクリーン手段に表示させる
請求項１３に記載の情報処理装置。
【請求項１５】
前記表示制御手段は、前記操作入力受付け手段が、前記履歴情報に含まれる画像に対する前記ユーザの指による接触操作を受け付けた場合、その画像を前記基点画像として前記関連画像を１以上検索して前記タッチスクリーン手段に表示させる
請求項１４に記載の情報処理装置。
【請求項１６】
画像を表示し、ユーザの操作入力を受付ける情報処理装置が、
表示された基点画像に対して所定の操作を受け付けたとき、前記基点画像と関連する関連画像を表示させる表示制御を行う
ステップを含む情報処理方法。
【請求項１７】
画像を表示し、ユーザの操作入力を受付ける情報処理装置を制御するコンピュータが、
表示された基点画像に対して所定の操作を受け付けたとき、前記基点画像と関連する関連画像を表示させる表示制御を行う
ステップを含む制御処理を実行するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、これまで撮影した画像の中で任意の画像を検索したり、特徴のある画像だけを検索して閲覧することが簡便にできるようになった、情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ（特許文献１参照）では、ユーザが使用年数を重るごとに撮影枚数も増加する。その結果、内蔵フラッシュメモリやリムーバブルメディアの中には、ユーザの頭の中では管理できないほどの画像が蓄積されている場合が少なくない。
【０００３】
このような場合、最近のデジタルカメラでは、画像の表現手法として、日付や時刻などをベースとして１つの固まり（フォルダなど）として表現する表現手法（以下、従来の表現手法と称する）が採用されることが多い。
【０００４】
【特許文献１】特開2007-019685号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の表現手法を採用した場合、１つの固まりは、ユーザにとってはとあるイベントの固まりを意味する。よって、ユーザが使用年数を重ねていくと、イベントの固まりも増大していき、ユーザの頭の中では管理できなくなるという事態は、従来の表現手法を採用しても生じてしまう。
【０００６】
また、近年、これまで撮影した画像の中で任意の画像を検索したり、特徴のある画像だけを検索して閲覧したいという要望、具体的には例えば、同一人物が写っている画像だけを検索して閲覧したいという要望が少なくない。
【０００７】
従来の表現手法を用いて、かかる要望に応えようとする場合、イベントの固まりの中に含まれている画像は一連のつながりはあるものの、他のイベントとのつながり（関連）を確認するのは容易ではないという事態が生じる。そこで、ユーザは、例えばインデックス画面などを駆使して各イベントの固まりを確認したり、検索の機能を有する検索アプリケーションソフトウエアを使用することが必要になる。
【０００８】
ただし、従来の検索アプリケーションソフトウエアを使用する場合も、ユーザは、検索ワードを適切に設定しないと、所望の画像にたどり着くことは困難であった。また、ユーザの中には、画像検索では通常の文字列や言い回しでは表現しきれず、どうしても抽象的な言葉や感覚で検索したくなるユーザも多数存在する。しかしながら、かかるユーザにとっては、従来の検索アプリケーションソフトウエアを使用した場合、期待した結果を得ることは困難であった。
【０００９】
このように、現在、これまで撮影した画像の中で任意の画像を検索したり、特徴のある画像だけを検索して閲覧したいという要望に応えることが困難な状況である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、これまで撮影した画像の中で任意の画像を検索したり、特徴のある画像だけを検索して閲覧することが簡便にできるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の情報処理装置は、画像を表示する表示手段とユーザの操作入力を受付ける操作入力受付け手段と、前記操作入力受付け手段が、前記表示手段に表示された基点画像に対して所定の操作を受け付けたとき、前記基点画像と関連する関連画像を前記表示手段に表示させる表示制御を行う表示制御手段とを備える。
【００１２】
前記基点画像または前記関連画像になり得る全ての画像は、１以上の分類項目に基づいて、他の画像との関連度合が予め求められており、前記表示制御手段は、前記基点画像に対する他の画像との前記関連度合に基づいて、前記全ての画像の中から前記関連画像を１以上検索して、検索した１以上の前記関連画像を前記表示手段に表示させる。
【００１３】
前記分類項目は、画像の付加情報に基づいて予め決定されている。
【００１４】
前記表示制御手段は、前記基点画像を前記表示手段に表示させたとき、前記関連画像を１以上検索する。
【００１５】
前記表示制御手段は、ユーザが指を前記表示手段に接触させたまま所定方向に所定距離だけ動かす操作をなぞり操作として、前記操作入力受付け手段が、前記なぞり操作を受け付けた場合、前記関連画像を表示させる。
【００１６】
前記表示制御手段は、前記なぞり操作が終了した位置に前記関連画像を表示させる。
【００１７】
前記なぞり操作の各方向に対して、１以上の前記分類項目のうちの所定の１つが対応付けられており、前記表示制御手段は、前記なぞり操作の方向に対応する前記分類項目に基づいて求められた前記関連度合に基づいて、前記関連画像を１以上検索する。
【００１８】
前記表示制御手段は、前記操作入力受付け手段が、前記なぞり操作を受け付ける毎に、新規の前記関連画像を順次表示させる。
【００１９】
前記表示制御手段は、前記操作入力受付け手段が、前記関連画像に対するなぞり操作を受け付けたとき、前記関連画像を新たな基点画像として、前記新たな基点画像に関連する新たな関連画像を表示させる。
【００２０】
前記なぞり操作は、前記基点画像または前記関連画像を起点に行われる。
【００２１】
前記表示制御手段は、前記操作入力受付け手段が、ユーザの指による前記基点画像に対する接触操作を受け付けた場合、さらに、１以上の前記分類項目のそれぞれを示す分類項目画像を表示させ、１以上の前記分類項目画像のうちの所定の１つに対する前記ユーザの指の接触操作を検出した場合、接触操作がなされた前記分類項目画像が示す前記分類項目に基づいて求められた前記関連度合に基づいて、前記関連画像を１以上検索する。
【００２２】
前記制御手段は、前記操作入力受付け手段が、ユーザの指による前記基点画像に対する接触操作を受け付けた場合、接触操作がなされた位置に基づく画像を解析し、その解析結果に基づいて前記分類項目を特定し、特定された前記分類項目に基づいて求められた前記関連度合に基づいて、前記関連画像を１以上検索する。
【００２３】
前記表示制御手段による前記表示制御の履歴情報を保持する保持手段をさらに備える。  
【００２４】
前記表示制御手段は、前記操作入力受付け手段が、ユーザの指による前記基点画像または前記関連画像に対する接触操作を受け付けた場合、前記表示制御としてさらに、前記保持手段に保持された前記履歴情報を前記タッチスクリーン手段に表示させる。
【００２５】
前記表示制御手段は、前記操作入力受付け手段が、前記履歴情報に含まれる画像に対する前記ユーザの指による接触操作を受け付けた場合、その画像を前記基点画像として前記関連画像を１以上検索して前記タッチスクリーン手段に表示させる。
【００２６】
本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する方法およびプログラムである。
【００２７】
本発明の一側面の情報処理方法およびプログラムにおいては、画像を表示し、ユーザの操作入力を受け付ける情報処理装置において、表示された基点画像に対して所定の操作が受け付けられたとき、前記基点画像と関連する関連画像が表示される。
【発明の効果】
【００２８】
以上のごとく、本発明によれば、これまで撮影した画像を基点画像または関連画像とすることで、これまで撮影した画像の中で任意の画像を検索したり、特徴のある画像だけを検索して閲覧することが簡便にできるようになる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３０】
図１は、本発明が適用された情報処理装置の一実施形態としての撮像装置の構成例を示すブロック図である。
【００３１】
図１の例では、撮像装置は、レンズ部１１乃至タッチパネル２８を含むように構成されている。
【００３２】
レンズ部１１は、撮影レンズ、絞り、フォーカスレンズ等から構成される。レンズ部１１を介して入射する被写体光の光路上には、CCD(Charge Coupled Device)等の撮像素子１２が配置されている。
【００３３】
撮像素子１２、アナログ信号処理部１３、A/D(Analog/Digital)変換部１４、およびデジタル信号処理部１５がその順番で接続されている。
【００３４】
デジタル信号処理部１５にはまた、液晶パネル１７、記録デバイス１９およびタッチパネル２８が接続されている。
【００３５】
レンズ部１１には、レンズ部１１を構成する絞りの調整や、フォーカスレンズの移動を行うためのアクチュエータ２０が接続されている。アクチュエータ２０には、モータドライブ２１も接続されている。モータドライブ２１は、アクチュエータ２０の駆動制御を行う。
【００３６】
CPU(Central Processing Unit)２３は、撮像装置全体を制御する。このため、CPU２３には、アナログ信号処理部１３、A/D変換部１４、デジタル信号処理部１５、モータドライブ２１、TG(Timing Generator)２２、操作部２４、EEPROM(Electrically Erasable Programmable ROM)２５、プログラムROM(Read Only Memory)２６、RAM(Random Access Memory)２７、タッチパネル１６、およびタッチパネル２８が接続されている。
【００３７】
タッチスクリーン１８は、タッチパネル１６と液晶パネル１７により構成されている。タッチパネル２８は、タッチスクリーン１８と対向する撮像装置の面、即ち、撮像レンズ側の面に配置されている（後述する図２参照）。
【００３８】
記録デバイス１９は、例えばDVD(Digital Versatile Disc)等の光ディスクやメモリカード等の半導体メモリその他のリムーバブルな記録媒体で構成されている。記録デバイス１９は、撮像装置本体に対して着脱自在となっている。
【００３９】
EEPROM２５は、設定された各種情報を記憶する。その他の情報、例えば、電源状態がオフにされたときにも保持すべき情報等がEEPROM２５に記憶される。
【００４０】
プログラムROM２６は、CPU２３が実行するプログラムおよびプログラムを実行する上で必要なデータを記憶する。
【００４１】
RAM２７は、CPU２３が各種処理を実行する際のワークエリアとして必要なプログラムやデータを一時記憶する。
【００４２】
以下、図１の構成の撮像装置全体の動作の概略について説明する。
【００４３】
CPU２３は、プログラムROM２６に記録されているプログラムを実行することにより、撮像装置を構成する各部を制御する。また、CPU２３は、タッチパネル１６またはタッチパネル２８からの信号や、操作部２４からの信号に応じて、所定の処理を実行する。この処理の具体例については、各フローチャートを参照して後述する。
【００４４】
操作部２４は、ユーザによって操作され、その操作に対応する信号をCPU２３に提供する。
【００４５】
すなわち、タッチスクリーン１８またはタッチパネル２８は、任意の位置に指が触れる等して接触されると、つまりユーザにより所定の操作入力がなされると、接触された位置の座標を検出する。検出された座標を示す電気信号（以下、座標信号と称する）がCPU２３に送出される。CPU２３は、座標信号から接触位置の座標を認識し、座標に対応付けられた所定の情報を取得し、その情報に基づいて所定の処理を実行する。
【００４６】
なお、本明細書では、接触とは、静的な接触（所定の一領域のみの接触）だけではなく、動的な接触（指等の接触物体が所定の軌跡を描いて動く接触）も含む。例えば、画像上の紙をめくるような指のなぞりも、接触の一形態である。
【００４７】
アクチュエータ２０の駆動により、レンズ部１１は、撮像装置の筐体から露出または収納される。また、アクチュエータ２０の駆動により、レンズ部１１を構成する絞りの調整や、レンズ部１１を構成するフォーカスレンズの移動が行われる。
【００４８】
TG２２は、CPU２３の制御に基づいて、タイミング信号を撮像素子１２に提供する。タイミング信号により、撮像素子１２における露出時間等が制御される。
【００４９】
撮像素子１２は、TG２２から提供されるタイミング信号に基づいて動作することにより、レンズ部１１を介して入射する被写体光を受光して光電変換を行う。そして、受光量に応じたアナログの画像信号をアナログ信号処理部１３に提供する。このとき、モータドライブ２１は、CPU２３の制御に基づいてアクチュエータ２０を駆動する。
【００５０】
アナログ信号処理部１３は、CPU２３の制御に基づいて、撮像素子１２から提供されたアナログの画像信号に対して増幅等のアナログ信号処理を施す。その結果得られるアナログの画像信号は、アナログ信号処理部１３からA/D変換部１４に提供される。
【００５１】
A/D変換部１４は、CPU２３の制御に基づいて、アナログ信号処理部１３からのアナログの画像信号をA/D変換する。その結果得られるデジタルの画像信号は、A/D変換部１４からデジタル信号処理部１５に提供される。
【００５２】
デジタル信号処理部１５は、CPU２３の制御に基づいてA/D変換部１４から提供されたデジタルの画像信号に対して、ノイズ除去処理等のデジタル信号処理を施す。デジタル信号処理部１５は、そのデジタルの画像信号に対応する画像を、撮影画像として液晶パネル１７に表示させる。
【００５３】
また、デジタル信号処理部１５は、A/D変換部１４から提供されたデジタルの画像信号を、例えばJPEG(Joint Photographic Experts Group)等の所定の圧縮符号化方式に従って圧縮符号化する。デジタル信号処理部１５は、圧縮符号化されたデジタルの画像信号を、記録デバイス１９に記録させる。
【００５４】
デジタル信号処理部１５はまた、記録デバイス１９から圧縮符号化されたデジタルの画像信号を読み出し、所定の圧縮符号化方式に対応する伸張復号方式に従って伸張復号する。デジタル信号処理部１５は、そのデジタルの画像信号に対応する画像を、記録画像として液晶パネル１７表示させる。
【００５５】
その他、デジタル信号処理部１５は、CPU２３の制御に基づいて、AF（auto focus）の機能を発揮させるために用いる枠（以下、AF枠と称する）の画像を生成し、液晶パネル１７に表示させる。
【００５６】
即ち、撮像素子１２によって撮像された画像（撮影画像）は液晶パネル１７に表示される。この場合、液晶パネル１７に表示された画像上にAF枠が設定される。このAF枠の内部の画像に基づいてフォーカスが制御される。
【００５７】
このように、撮像装置はAF機能を有している。AF機能は、フォーカスの制御機能の他、液晶パネル１７に表示された画像上の任意の位置にAF枠を設定する機能を含む。さらに、AF機能は、液晶パネル１７とタッチパネル１６から構成されたタッチスクリーン１８に対する操作だけで、その位置やサイズ等の制御を行う機能を含む。
【００５８】
AF機能を実現させる処理は、CPU２３が、プログラムROM２６のプログラムを読み出して実行することで実現される。また、撮像装置は、その他にも、AE（Automatic Exposure）機能、AWB（Auto White Balance）機能を有している。これらの機能についても、CPU２３が、プログラムROM２６のプログラムを読み出して実行することで実現される。
【００５９】
さらにいえば、AF機能、AE機能、およびAWB機能は、撮像装置が有する機能の例示にしか過ぎない。即ち、撮像装置は、撮影に関する各種機能を有している。以下、各種機能のうち、撮影に関する基本的な機能を、基本機能と称し、撮影に関する応用的な機能を、応用機能と称する。基本機能としては、AF機能、AE機能、およびAWB機能の他、例えば、「撮影モード選択機能」や「撮影タイマの設定機能」等を採用することができる。応用機能としては、例えば、「画素数変更機能」や「色彩調整機能」等を採用することができる。
【００６０】
図２は、図１の例の撮像装置の外観の構成例を示す斜視図である。
【００６１】
なお、以下、撮像装置の面のうち、ユーザが被写体を撮影する場合に被写体と対向する面、即ち、レンズ部１１が配置される面を前面と称する。一方、撮像装置の面のうち、ユーザが被写体を撮影する場合にユーザと対向する面、即ち、前面の反対側の面を後面と称する。また、撮像装置の面のうち、ユーザが被写体を撮影する場合に、上側に配置される面を上面と、下側に配置される面を下面と、それぞれ称する。
【００６２】
図２のＡは、撮像装置の前面の外観の構成例を示す斜視図である。図２のＢは、撮像装置の後面の外観の構成例を示す斜視図である。
【００６３】
撮像装置の前面は、レンズカバー４７で覆うことができる。前面のレンズカバー４７が図中下方に開かれると、図２のＡの状態になる。図２のＡに示されるように、レンズカバー４７の覆いが除かれた前面の上部には、その右方から、レンズ部１１に含まれる撮影レンズ４５とAFイルミネータ４６がその順番で配置されている。また、レンズカバー４７が覆われている前面の下部のうち、撮像装置中央付近の、ユーザが被写体を撮影する場合に保持しない部分には、タッチパネル２８が配置されている。
【００６４】
AFイルミネータ４６は、セルフタイマランプを兼ねている。撮像装置の上面には、図２のＡの左方から、ズームレバー（TELE/WIDE）４１、シャッタボタン４２、再生ボタン４３およびパワーボタン４４がその順番で配置されている。ズームレバー４１、シャッタボタン４２、再生ボタン４３、およびパワーボタン４４は、図１の操作部２４に含まれる。
【００６５】
図２のＢに示されるように、撮像装置の後面の全体には、タッチスクリーン１８が配置されている。
【００６６】
このように、撮像装置の後面にタッチスクリーン１８が設けられているので、ユーザは、被写体を撮影する場合に、撮像装置の前面を被写体に向けたままの状態で、タッチスクリーン１８によるGUI（Graphical User Interface）の操作を行うことができる。
【００６７】
タッチスクリーン１８によるGUIの操作として、例えば本実施の形態では、基点となる任意の画像（以下、基点画像と称する）に対して、その基点画像に関連の強い画像（以下、関連画像と称する）を手繰って検索していく操作を採用する。かかる操作は、特別な検索画面などを設けることが不要な操作であって、タッチスクリーン１８を用いた直感的な操作であることから、ユーザにとって関連画像を簡単に探し出すことを可能とする操作である。そこで、以下、かかる操作を、関連画像検索操作と称する。
【００６８】
関連画像検索操作の前提として、基点画像または関連画像となり得る対象（以下、検索対象画像と称する）は、記録デバイス１９に記録されている全ての画像であるとする。そして、全ての検索対象画像は、例えば次のような付加情報に基づいて関連の強さの度合が、データベース上等で予め検索済みであるとする。
【００６９】
なお、関連の強さの度合についての検索は、上述の例に限定されず、その都度検索してもよい。ただし、説明の簡略上、本明細書に記載の実施の形態においては全て予め検索済みであるとする。
【００７０】
付加情報としては、例えば本実施の形態では、顔情報、位置／場所情報、時間情報、および色情報が採用されているとする。顔情報とは、人間の顔に関する情報であって、人物を特定できるだけの情報をいう。位置/場所情報とは、GPS（Global Positioning System）などによる緯度や経度の情報、または画像認識によりある特定の場所と認識できた情報（地名など）をいう。時間情報は、撮影時間に関する情報をいう。色情報とは、その画像の中で最も多くの部分で使われている色の情報をいう。
【００７１】
なお、検索対象画像は、静止画像には限定されず、動画像も含まれる。ただし、動画像が検索対象画像となる場合、その付加情報は、動画像を構成する各単位画像（フィールドやフレーム等）から得られた情報群となる。
【００７２】
また、基点画像は、それが基点画像であることが明確となるように、他の画像とは区別して表示される。例えば、基点画像は他の画像よりも大きく表示されたり、明るく表示されたり、また、枠で囲まれたりしてもよい。
【００７３】
以下、図３を参照して、関連画像検索操作の第１の実施例について説明する。
【００７４】
はじめに、ユーザは、任意の画像を基点画像P1として選択する。なお、選択操作自体は特に限定されない。基点画像P1が選択されると、タッチスクリーン１８の表示状態は図３のＡに示される状態になる。即ち、図３のＡは、タッチスクリーン１８に基点画像P1が表示されている状態を示している。
【００７５】
タッチスクリーン１８の表示状態が図３のＡの状態のまま、ユーザは、図３のＢに示されるように、基点画像P1（それが表示されているタッチスクリーン１８の領域）に指f1を接触させる。そして、ユーザは、図３のＣに示されるように、指f1を、タッチスクリーン１８への接触を維持したまま、基点画像P1を起点として所定方向に所定距離だけ（図３の例では、点線矢印として図示される分だけ）移動させる操作を行う。以下、かかる操作を、なぞり操作と称する。
【００７６】
その後、ユーザは、指f1をリリースすると、タッチスクリーン１８の表示状態は、図３のＤの状態に遷移する。即ち、タッチスクリーン１８には、基点画像P1が元の領域に表示されたまま、基点画像P1の関連画像P2が、指f1がリリースされた領域に表示されることになる。なお、関連画像P2は、基点画像P1についての複数の関連画像のうちの何れでも構わない。ただし、本実施の形態では、基点画像P1との関連の強さの度合が最も高い画像が、関連画像P2として表示される。
【００７７】
さらに、ユーザは、指f1を、関連画像P2に接触させてなぞり操作を行った後にリリースすると、図３のＥに示されるように、リリースされた領域には、関連画像P3が表示される。
【００７８】
なお、関連画像P3は、基点画像P1についての関連画像である場合と、関連画像P2の関連画像である場合がある。
【００７９】
ここで、ユーザが指f1をタッチスクリーン１８からリリースすることは、なぞり操作の終了を意味している。従って、なぞり操作が行われる度に、なぞり操作終了時点の領域に、基点画像P1の関連画像が、その関連の強さの度合の順番でタッチスクリーン１８に順次表示されていくことになる。即ち、ユーザは、なぞり操作を繰り返すことで、あたかも関連画像を手探っていくことができるようになる。
【００８０】
さらに、なぞり操作の方向に意味を持たすことも可能である。即ち、なぞり操作の各方向に対して、基点画像P1との関連性の各分類項目を対応づけておく。これにより、所定方向になぞり操作が繰り返し実行されると、その所定方向に対応付けられた分類項目の関連の強さの度合の順番で関連画像がタッチスクリーン１８に順次表示されていく。なお、このような分類項目は、関連画像の検索条件と把握できる。そこで、以下、分類項目を、絞り込み条件とも適宜称する。
【００８１】
具体的には例えば本実施の形態では、絞り込み条件（分類項目）として、「人」、「場所」、「時間」、および「色」が採用されているとする。この場合、「人」、「場所」、「時間」、および「色」の関連の強さの度合はそれぞれ、付加情報のうち、顔情報、位置／場所情報、時間情報、および色情報のそれぞれを用いて予め検索済みであるとする。
【００８２】
また例えば、なぞり操作の右斜め上方向には「時間」が対応付けられ、なぞり操作の右斜め下方向には「人」が対応付けられているとする。
【００８３】
この場合、例えば図３のＥに示される関連画像P2、右斜め下方向のなぞり操作が行われた後に表示される関連画像P2は、基点画像P1と「人」について関連の強い関連画像、例えば、基点画像P1と同一人物が含まれる関連画像となる。
【００８４】
これに対して、例えば図３のＥに示される関連画像P4、右斜め上方向のなぞり操作が行われた後に表示される関連画像P4は、基点画像P1と「時間」について関連の強い関連画像、例えば、基点画像P1と撮影時刻が近い関連画像となる。
【００８５】
次に、図３を用いた操作例、即ち関連画像検索操作のうちの第１の実施例の操作に対して、図１の撮像装置が実行する処理について説明する。なお、関連画像検索操作に対して撮像装置が実行する処理を、以下、関連画像検索処理と称する。特に、本実施の形態の関連画像検索操作のうちの第Ｋの実施例（Ｋは１以上の整数値）の操作に対する関連画像検索処理を、第Ｋ関連画像検索処理と称する。
【００８６】
また、関連画像検索操作によって検索される関連画像が、基点画像（図３の例では基点画像P1）についての関連画像（図３の例では関連画像P2,P4）である場合の第１関連画像検索処理の詳細例を、第1A関連画像検索処理とする。また、関連画像検索操作によって検索される関連画像が、関連画像（図３の例では関連画像P2）についての関連画像（図３の例では関連画像P3）である場合の第１関連画像検索処理の詳細例を、第1B関連画像検索処理とする。これらの処理については、図５、６を参照して後述する。
【００８７】
図４は、第１関連画像検索処理の一例を説明するフローチャートである。
【００８８】
ステップＳ１において、CPU２３は、基点画像が選択されたか否かを判定する。
【００８９】
基点画像が選択されていない場合、ステップＳ１においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、基点画像が選択されるまでの間、ステップＳ１の判定処理が繰り返し実行される。
【００９０】
その後、基点画像が選択されると、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。
【００９１】
ステップＳ２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に基点画像を表示させる。なお、基点画像は、タッチスクリーン１８の任意の領域に表示させることができるが、その後のなぞり操作のやりやすさを考慮した領域に表示させるとよい。例えば、図３の例では、図３のＡに示されるように、右方向のなぞり操作を考慮して、タッチスクリーン１８のうち、左側の端の領域に基点画像P1が表示されている。
【００９２】
ステップＳ３において、CPU２３は、タッチスクリーン１８の基点画像内の領域が接触されたか否かを判定する。
【００９３】
基点画像内のいずれの領域にも接触がなされない場合、ステップＳ３においてＮＯであると判定されて、処理はステップＳ３に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ３の判定処理が繰り返し実行される。
【００９４】
その後、基点画像内の何れかの領域に接触がなされると、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。
【００９５】
例えば図３のＢに示されるように、基点画像P1内の領域に指f1が接触した場合、タッチスクリーン１８を構成するタッチパネル１６から座標信号がCPU２３に入力される。
【００９６】
従って、この座標信号がCPU２３に入力されると、CPU２３は、ステップＳ３の処理でＹＥＳであると判定し、この座標信号から、接触場所（基点画像P1の座標）を認識する。
【００９７】
認識された接触場所が、基点画像P1の表示領域外の場合、ステップＳ３においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。
【００９８】
これに対して、認識された接触場所が、基点画像P1の表示領域内である場合、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。
【００９９】
ステップＳ４において、CPU２３は、基点画像を起点に、なぞり操作がなされたか否かを判定する。
【０１００】
なお、なぞり操作が行われているか否かは、タッチスクリーン１８を構成するタッチパネル１６から座標信号をCPU２３が監視することで実現できる。即ち、CPU２３は、座標信号の時系列から、指f1の軌跡を認識することができる。そこで、CPU２３は、その認識結果に基づいて、なぞり操作が実施されているか否かを検出する。
【０１０１】
従って、CPU２３は、指f1の軌跡の認識結果によりなぞり操作が検出されなかった場合、ステップＳ４でＮＯであると判定して、処理をステップＳ４に戻して、それ以降の処理を繰り返し実行する。即ち、なぞり操作が検出されるまでの間、ステップＳ４の判定処理が繰り返し実行される。
【０１０２】
その後、CPU２３は、指f1の軌跡の認識結果により、基点画像を起点にしたなぞり操作を検出した場合、ステップＳ４においてＹＥＳであると判定して、処理をステップＳ５に進める。例えば図３の例では、図３のＣの状態になると、ステップＳ４においてＹＥＳであると判定されて、処理をステップＳ５に進む。
【０１０３】
ステップＳ５において、CPU２３は、記録デバイス１９に記録された全画像を対象として、関連画像を検索する。即ち、本実施の形態では、CPU２３は、基点画像との間で関連の強さの度合が最も高い画像を、関連画像として検索する。ただし、各種絞り込み条件が設定されている場合、なぞり操作の方向に対応付けられた絞り込み条件が用いられて、関連画像が検索される。
【０１０４】
ステップＳ６において、CPU２３は、指f1がタッチスクリーン１８からリリースされたか否か、即ち、なぞり操作が終了したか否かを判定する。具体的には、CPU２３は、タッチスクリーン１８を構成するタッチパネル１６から座標信号が入力されなくなった場合、指f1がリリースされたと判定することができる。
【０１０５】
そこで、CPU２３は、座標信号が入力され続けている限り、ステップＳ６においてＮＯであると判定して、処理をステップＳ６に戻す。即ち、なぞり操作が継続している限り、ステップＳ６の判定処理が繰り返し実行される。
【０１０６】
その後、座標信号の入力が途切れると、即ち、なぞり操作が終了すると、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ７に進む。
【０１０７】
ステップＳ７において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８のうちリリースされた位置に関連画像を表示させる。
【０１０８】
例えば、図３の例では、タッチスクリーン１８のうち、図３のＤの位置で指f1がリリースされると、その位置に関連画像P2が表示される。
【０１０９】
ステップＳ８において、CPU２３は、処理の終了が指示されたか否かを判定する。
【０１１０】
処理の終了が指示されない限り、ステップＳ８においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。即ち、基点画像（例えば図３の基点画像P1）を基点とするなぞり操作が行われる度に、ステップＳ３ＹＥＳ，Ｓ４ＹＥＳ，Ｓ５，Ｓ６ＹＥＳ，Ｓ７，Ｓ８ＮＯのループ処理が繰り返し実行されて、指f1がリリースされた位置（なぞり操作が終了した位置）に、新たな関連画像が表示されていく。これにより、基点画像（例えば図３の基点画像P1）に対して、複数の関連画像（例えば図３の関連画像P2，P4）を表示させていくことができる。即ち、ユーザは、なぞり操作を繰り返すことで、ステップＳ４ＹＥＳ，Ｓ５，Ｓ６ＹＥＳ，Ｓ７，Ｓ８ＮＯのループ処理が繰り返し実行されて、あたかも基点画像についての関連画像を手探っていくことができるようになる。
【０１１１】
その後、処理の終了が指示された場合、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。
【０１１２】
ステップＳ９において、CPU２３は、ステップＳ１乃至Ｓ８までの処理の結果として、タッチスクリーン１８に表示された基点画像や各種関連画像の履歴情報（以下、表示画像履歴情報と称する）を記録デバイス１９に保存する。
【０１１３】
これにより、第１関連画像検索処理は終了となる。
【０１１４】
なお、図示はしないが例えば、CPU２３は、デジタル信号処理部１５を制御して、ユーザの指f1等による基点画像または関連画像に対する接触操作を検出した場合、記録デバイス１９に保存された表示画像履歴情報をタッチスクリーン１８に表示させることもできる。
【０１１５】
また、図示はしないが例えば、CPU２３は、表示履歴情報に含まれる画像に対するユーザの指f1等による接触操作を検出した場合、その画像を基点画像として関連画像を１以上検索してタッチスクリーン１８に表示させることができる。
【０１１６】
以上、図３を参照して、関連画像検索操作の第１の実施例について説明した。そして、図４のフローチャートを参照して、第１の実施例に対する第１関連画像検索処理の一例について説明した。
【０１１７】
次に、図５のフローチャートを参照して、第１の実施例に対する第1A関連画像検索処理の一例について説明する。即ち、関連画像検索操作によって検索される関連画像が、基点画像（図３の例では基点画像P1）についての関連画像である場合の第１関連画像検索処理の詳細例である。
【０１１８】
図５のステップＳ２１乃至Ｓ２７の各処理は、図４のステップＳ１乃至Ｓ７の各処理と基本的に同様の処理である。よって、これらの各処理の説明は省略する。
【０１１９】
そこで、以下、ステップＳ２７の処理で、CPU２３が、デジタル信号処理部１５を制御して、タッチスクリーン１８のうちリリースされた位置に関連画像を表示させた後の処理について説明していく。かかるステップＳ２７の処理が終了すると、処理はステップＳ２８に進む。
【０１２０】
ステップＳ２８において、CPU２３は、タッチスクリーン１８の関連画像内の領域が接触されたか否かを判定する。即ち、CPU２３は、ステップＳ２７において表示された関連画像（図３の例では関連画像P2）内の領域が接触されたか否かを判定する。
【０１２１】
関連画像内のいずれの領域にも接触がなされない場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２８に戻される。即ち、関連画像内のいずれかの領域に接触がなされるまでの間、ステップＳ２８の判定処理が繰り返し実行される。
【０１２２】
その後、関連画像内の何れかの領域に接触がなされると、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２９に進む。
【０１２３】
例えば図３のＥに示されるように、関連画像P2内の領域に指f1が接触した場合、タッチスクリーン１８を構成するタッチパネル１６から座標信号がCPU２３に入力される。
【０１２４】
従って、この座標信号がCPU２３に入力されると、CPU２３は、ステップＳ２８の処理でＹＥＳであると判定し、この座標信号から、接触場所（関連画像P2の座標）を認識する。
【０１２５】
認識された接触場所が、関連画像P2の表示領域外の場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２８に戻され、それ以降の処理が繰り返される。
【０１２６】
これに対して、認識された接触場所が、関連画像P2の表示領域内である場合、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２９に進む。
【０１２７】
ステップＳ２９において、CPU２３は、関連画像を起点に、なぞり操作がなされたか否かを判定する。
【０１２８】
なお、なぞり操作が行われているか否かは、タッチスクリーン１８を構成するタッチパネル１６から座標信号をCPU２３が監視することで実現できる。即ち、CPU２３は、座標信号の時系列から、指f1の軌跡を認識することができる。そこで、CPU２３は、その認識結果に基づいて、なぞり操作が実施されているか否かを検出する。
【０１２９】
従って、CPU２３は、指f1の軌跡の認識結果によりなぞり操作が検出されなかった場合、ステップＳ２９でＮＯであると判定して、処理をステップＳ２９に戻して、それ以降の処理を繰り返し実行する。即ち、なぞり操作が検出されるまでの間、ステップＳ２９の判定処理が繰り返し実行される。
【０１３０】
その後、CPU２３は、指f1の軌跡の認識結果により、関連画像を起点にしたなぞり操作を検出した場合、ステップＳ２９においてＹＥＳであると判定して、処理をステップＳ３０に進める。
【０１３１】
ステップＳ３０において、CPU２３は、記録デバイス１９に記録された全画像を対象として、関連画像を検索する。即ち、本実施の形態では、CPU２３は、基点画像との間で関連の強さの度合が最も高い画像を、関連画像として検索する。ただし、基点画像P1についての関連画像のうち、現在表示されている関連画像（図３の例では関連画像P2）を除く、基点画像P1との関連の強さの度合が最も高い画像が、関連画像P3として表示される。即ち、関連画像P3とは、関連画像P2の次に、基点画像P1との関連の強さの度合が高い画像である。なお、各種絞り込み条件が設定されている場合、なぞり操作の方向に対応付けられた絞り込み条件が用いられて、関連画像が検索される。
【０１３２】
ステップＳ３１において、CPU２３は、指f1がタッチスクリーン１８からリリースされたか否か、即ち、なぞり操作が終了したか否かを判定する。具体的には、CPU２３は、タッチスクリーン１８を構成するタッチパネル１６から座標信号が入力されなくなった場合、指f1がリリースされたと判定することができる。
【０１３３】
そこで、CPU２３は、座標信号が入力され続けている限り、ステップＳ３１においてＮＯであると判定して、処理をステップＳ３１に戻す。即ち、なぞり操作が継続している限り、ステップＳ３１の判定処理が繰り返し実行される。
【０１３４】
その後、座標信号の入力が途切れると、即ち、なぞり操作が終了すると、ステップＳ３１においてＹＥＳであると判定されて、処理はステップＳ３２に進む。
【０１３５】
ステップＳ３２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８のうちリリースされた位置に関連画像を表示させる。
【０１３６】
例えば、図３の例では、タッチスクリーン１８のうち、図３のＥのＰ３の位置で指f1がリリースされると、その位置に関連画像P3が表示される。
【０１３７】
ステップＳ３３において、CPU２３は、処理の終了が指示されたか否かを判定する。
【０１３８】
処理の終了が指示されない限り、ステップＳ３３においてＮＯであると判定されて、処理はステップＳ２３に戻され、それ以降の処理が繰り返される。即ち、基点画像（例えば図３の基点画像P1）を基点とするなぞり操作が行われる度に、ステップＳ２３乃至Ｓ３３のループ処理が繰り返し実行されて、指f1がリリースされた位置（なぞり操作が終了した位置）に、新たな関連画像が表示されていく。これにより、基点画像（例えば図３の基点画像P1）に対して、複数の関連画像（例えば図３の関連画像P2，P4）を表示させていくことができる。即ち、ユーザは、なぞり操作を繰り返すことで、ステップＳ２３乃至Ｓ３３のループ処理が繰り返し実行されて、あたかも基点画像についての関連画像を手探っていくことができるようになる。
【０１３９】
その後、処理の終了が指示された場合、ステップＳ３３においてＹＥＳであると判定されて、処理はステップＳ３４に進む。
【０１４０】
ステップＳ３４において、CPU２３は、ステップＳ２１乃至Ｓ３３までの処理の結果として、タッチスクリーン１８に表示された基点画像や各種関連画像の履歴情報（以下、表示画像履歴情報と称する）を記録デバイス１９に保存する。
【０１４１】
これにより、第1A関連画像検索処理は終了となる。
【０１４２】
次に、図６のフローチャートを参照して、第１の実施例に対する第1B関連画像検索処理の一例について説明する。即ち、関連画像検索操作によって検索される関連画像が、関連画像（図３の例では関連画像P2）についての関連画像である場合の第１関連画像検索処理の詳細例である。
【０１４３】
図６のステップＳ４１乃至Ｓ４７の各処理は、図４のステップＳ１乃至Ｓ７の各処理と基本的に同様の処理である。よって、これらの各処理の説明は省略する。
【０１４４】
そこで、以下、ステップＳ４７の処理で、CPU２３が、デジタル信号処理部１５を制御して、タッチスクリーン１８のうちリリースされた位置に関連画像を表示させた後の処理について説明していく。かかるステップＳ４７の処理が終了すると、処理はステップＳ４８に進む。
【０１４５】
ステップＳ４８において、CPU２３は、関連画像を基点画像に設定する。即ち、CPU２３は、ステップＳ４７で表示された関連画像（図３の例では関連画像P2）を基点画像に設定する。
【０１４６】
ステップＳ４９において、CPU２３は、処理の終了が指示されたか否かを判定する。
【０１４７】
処理の終了が指示されない限り、ステップＳ４９においてＮＯであると判定されて、処理はステップＳ４３に戻され、それ以降の処理が繰り返される。即ち、基点画像（例えば図３の基点画像P1、P2）を基点とするなぞり操作が行われる度に、ステップＳ４３乃至Ｓ４９のループ処理が繰り返し実行されて、指f1がリリースされた位置（なぞり操作が終了した位置）に、新たな関連画像が表示されていく。これにより、基点画像（例えば図３の基点画像P1,P2）に対して、複数の関連画像（例えば図３の関連画像P3）を表示させていくことができる。即ち、ユーザは、なぞり操作を繰り返すことで、ステップＳ４３乃至Ｓ４９のループ処理が繰り返し実行されて、あたかも関連画像を手探っていくことができるようになる。
【０１４８】
その後、処理の終了が指示された場合、ステップＳ４９においてＹＥＳであると判定されて、処理はステップＳ５０に進む。
【０１４９】
ステップＳ５０において、CPU２３は、ステップＳ４１乃至Ｓ４９までの処理の結果として、タッチスクリーン１８に表示された基点画像や各種関連画像の履歴情報（以下、表示画像履歴情報と称する）を記録デバイス１９に保存する。
【０１５０】
これにより、第1B関連画像検索処理は終了となる。
【０１５１】
次に、図７を参照して、関連画像検索操作の第２の実施例について説明する。そして、図８のフローチャートを参照して、第２の実施例に対する第２関連画像検索処理の一例について説明する。
【０１５２】
はじめに、ユーザは、任意の画像を基点画像P1として選択する。なお、選択操作自体は特に限定されない。基点画像P1が選択されると、タッチスクリーン１８の表示状態は図７のＡに示される状態になる。即ち、図７のＡは、タッチスクリーン１８の中央に基点画像P1が表示されている状態を示している。
【０１５３】
図７のＡの状態で、ユーザの指f1によって、タッチスクリーン１８に表示された基点画像P1が接触されると、タッチスクリーン１８の表示は、図７のＣの状態に遷移する。即ち、図７のＢに示されるように、分類項目（絞り込み条件）が表示された画像PA乃至PDが、例えば基点画像P1の四隅に表示される。なお、以下、分類項目が表示された画像PA乃至PDを、分類タグPA乃至PDと称する。
【０１５４】
ユーザは、分類タグPA乃至PDのうち、関連画像の検索に使用したい分類項目が表示された分類タグを指f1で接触することで、その分類項目を選択することができる。すると、基点画像P1についての関連画像のうち、選択された分類項目における関連の強さの度合が最も高い画像が、関連画像としてタッチスクリーン１８に表示される。なお、分類項目の選択は、分類タグを指f1で接触することに限らず、分類タグPA乃至PDのある方向への指ｆ1によるなぞり操作によってもすることができるとしてもよい。本実施の形態では、分類タグを指f1で接触することで、その分類項目を選択することとする。
【０１５５】
具体的には例えば、図７の例では、図７のＤに示されるように、「人」が表示された分類タグPAが指f1によって接触されているので、分類項目として「人」が選択される。すると、図７のＥに示されるように、基点画像P1と「人」について関連の強い画像P2、例えば、基点画像P1と同一人物が含まれる画像P2が関連画像として表示される。
【０１５６】
ここで、関連画像検索操作のうち第１の実施例（図３）と第２の実施例（図７）とを比較するに、第１の実施例でも、ユーザは特に目的もなく関連画像を手繰ることはできる。ただし、第１実施例は、基点画像P1との関連性が明示されていないので、ユーザがある関連性をもった画像のみを手繰るという場合には適さない。
【０１５７】
これに対して、第２の実施例では、基点画像がタッチされた時に、例えば基点画像の周囲に各分類項目が表示される。図７の例では、分類タグPA乃至PDが表示される。そこで、ユーザは、これらのうち所望の分類項目を選択すると、選択された分類項目において基点画像と最も関連の強い画像を、関連画像として表示させることができる。このように、第２の実施例を採用することで、ユーザは、例えばある特定の人物が撮影された画像だけを簡単に手繰ることができるようになる。
【０１５８】
図８は、図７を用いて説明した関連画像検索操作の第２の実施例に対する関連画像検索処理、即ち第２関連画像検索処理の一例を説明するフローチャートである。
【０１５９】
ステップＳ６１において、CPU２３は、基点画像が選択されたか否かを判定する。
【０１６０】
基点画像が選択されていない場合、ステップＳ６１においてＮＯであると判定されて、処理はステップＳ６１に戻される。即ち、基点画像が選択されるまでの間、ステップＳ６１の判定処理が繰り返し実行される。
【０１６１】
その後、基点画像が選択されると、ステップＳ６１においてＹＥＳであると判定されて、処理はステップＳ６２に進む。
【０１６２】
ステップＳ６２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に基点画像を表示させる。なお、基点画像は、タッチスクリーン１８の任意の領域に表示させることができるが、その後の分類項目の表示を考慮した領域に表示させるとよい。例えば、図７の例では、図７のＡに示されるように、タッチスクリーン１８の中央の領域に基点画像P1が表示されている。
【０１６３】
ステップＳ６３において、CPU２３は、タッチスクリーン１８の基点画像内の領域が接触されたか否かを判定する。
【０１６４】
基点画像内のいずれの領域にも接触がなされない場合、ステップＳ６３においてＮＯであると判定されて、処理はステップＳ６３に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ６３の判定処理が繰り返し実行される。
【０１６５】
その後、基点画像内の何れかの領域に接触がなされると、ステップＳ６３においてＹＥＳであると判定されて、処理はステップＳ６４に進む。
【０１６６】
ステップＳ６４において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８のうち、基点画像の四隅に分類タグを表示させる。例えば図７の例では、図７のＣに示されるように、分類タグPA乃至PDが表示されることになる。なお、分類タグの表示場所は、図８の例では、図７の例とあわせて四隅としているが、特に図８の例に限定されない。また、分類項目をユーザに提示できる形態であれば、分類タグに特に限定されない。
【０１６７】
ステップＳ６５において、CPU２３は、タッチスクリーン１８に表示された各分類タグのうち、特定の分類タグが接触されたか否かを判定する。
【０１６８】
タッチスクリーン１８に表示された各分類タグのいずれの領域にも接触がなされない場合、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６５に戻される。即ち、タッチスクリーン１８に表示された各分類タグのいずれかに接触がなされるまでの間、ステップＳ６５の判定処理が繰り返し実行される。
【０１６９】
その後、タッチスクリーン１８に表示された各分類タグのうち特定の分類タグに接触がなされた場合、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ６６に進む。
【０１７０】
ステップＳ６６において、CPU２３は、記録デバイス１９に記録された全画像を対象として、接触された分類タグに対応する絞り込み条件（分類項目）を用いて関連画像を検索する。即ち、本実施の形態では、接触された分類タグに対応する絞り込み条件（分類項目）において、基点画像との間で関連の強さの度合が最も高い画像が、関連画像として検索される。
【０１７１】
ステップＳ６７において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。
【０１７２】
例えば、図７の例では、図７のＤに示されるように、分類タグPAに指f1が接触すると、ステップＳ６５の処理でＹＥＳであると判定される。ステップＳ６６の処理で、基点画像P1との間で「人」についての関連の強さの度合が最も高い画像が、関連画像P2として検索される。そして、ステップＳ２７の処理で、「人」の分類タグPAが表示されていた領域の近辺に、関連画像P2が表示される。なお、関連画像P2の表示場所は、特に図７の例に限定されず任意である。ただし、図７の例の場所を採用することで、ユーザは、関連画像P2は、分類タグPAが示す「人」という分類項目についての関連性の高い画像であることを容易に認識できるようになる。
【０１７３】
ステップＳ６８において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。
【０１７４】
これにより、第２関連画像検索処理は終了となる。
【０１７５】
なお、図４の例のように、ステップＳ６７とＳ６８の処理の間に、CPU２３は、処理の終了が指示されたか否かを判定し、処理の終了が指示されない限り、適当なステップに処理を戻し、処理の終了が指示されてはじめて、処理をステップＳ６８に進めてもよい。
【０１７６】
以上、図７を参照して、関連画像検索操作の第２の実施例について説明した。そして、図８のフローチャートを参照して、第２の実施例に対する第２関連画像検索処理の一例について説明した。
【０１７７】
次に、図９を参照して、関連画像検索操作の第３の実施例について説明する。そして、図１０のフローチャートを参照して、第３の実施例に対する第３関連画像検索処理の一例について説明する。
【０１７８】
はじめに、ユーザは、関連画像検索操作をすべく、CPU２３の動作状態を、関連画像検索処理を実行可能な動作状態（以下、検索モードと称する）に設定する。すると、タッチスクリーン１８の表示状態は、図９のＡに示される状態になる。即ち、図９のＡに示されるように、分類項目（絞り込み条件）を選択する画像Pa乃至Pdがタッチスクリーン１８に表示される。なお、以下、分類項目が表示された画像Pa乃至Pdを、分類項目選択画像Pa乃至Pdと称する。
【０１７９】
ユーザは、分類項目画像Pa乃至Pdのうち、関連画像の検索に使用したい分類項目が表示された分類項目画像を指f1で接触することで、その分類項目を選択することができる。
【０１８０】
その後、第２の実施形態と同様に、ユーザは、任意の画像を基点画像P1として選択する。なお、選択操作自体は特に限定されない。基点画像P1が選択されると、タッチスクリーン１８の表示状態は図９のＢに示される状態になる。即ち、図９のＢは、タッチスクリーン１８の中央に基点画像P1が表示されている状態を示している。
【０１８１】
図９のＢの状態で、ユーザの指f1によって、タッチスクリーン１８に表示された基点画像P1が接触されると、タッチスクリーン１８の表示は、図９のＤ１やＤ２の状態に遷移する。即ち、選択された分類項目画像に対応する分類項目をメイン分類項目(MainKey)として、その大分類項目をさらに細かく分類した各分類項目（絞り込み条件）をサブ分類項目(SubKey)とした場合、各サブ分類項目についての分類タグPA１乃至PD１またはPA2乃至PD2が、例えば基点画像P1の四隅に表示される。
【０１８２】
なお、図９の例では、図９のＡの状態で指f1が分類項目画像Paに接触されているので、「人」というメイン分類項目が選択される。
【０１８３】
「人」について、画像に占める顔の大きさの点から分類されるサブ分類項目として、例えば「特大」、「大」、「中」、および「小」が存在する。このため、「特大」を示す分類タグPC1、「大」を示す分類タグPA1、「中」を示す分類タグPB1、および「小」を示す分類タグPD1が、基点画像P1の四隅に表示された状態が、図９のＤ１に例示されているのである。
【０１８４】
また、「人」について、画像に含まれる人数の点から分類されるサブ分類項目として、例えば「１人」、「２人」、「３人」、および「４人以上」が存在する。このため、「１人」を示す分類タグPC2、「２人」を示す分類タグPA2、「３人」を示す分類タグPB2、および「４人以上」を示す分類タグPD2が、基点画像P1の四隅に表示された状態が、図９のＤ２に例示されているのである。
【０１８５】
ユーザは、分類タグPA1乃至PD1またはPA2乃至PD2のうち、関連画像の検索に使用したいサブ分類項目が表示された分類タグを指f1で接触することで、そのサブ分類項目を選択することができる。すると、基点画像P1についての関連画像のうち、選択されたサブメイン分類項目における関連の強さの度合が最も高い画像が、関連画像としてタッチスクリーン１８に表示される。
【０１８６】
具体的には例えば、図９の例では、図９のＥに示されるように、「人」のうちの「大」が表示された分類タグPA1が指f1によって接触されているので、サブ分類項目として「大」が選択される。すると、図９のＦに示されるように、基点画像P1と「人」の「大」について関連の強い画像P2、例えば、基点画像P1と同一人物であって、その同一人物の顔が「大」のサイズで含まれる画像P2が関連画像として表示される。
【０１８７】
このように、例えば「人」の顔というメイン分類項目で検索する場合、写っている「人」の顔の大きさや、写っている「人」の数などの観点で設けられたサブ分類項目が存在する。そして、ユーザは、これらのサブ分類項目を指定できるので、所望の１枚の画像を、ある程度の構図を限定しつつ手操ることができる。
【０１８８】
図１０は、図９を用いて説明した関連画像検索操作の第３の実施例に対する関連画像検索処理、即ち第３関連画像検索処理の一例を説明するフローチャートである。
【０１８９】
ステップＳ８１において、CPU２３は、検索モードに設定されたか否かを判定する。
【０１９０】
検索モードが選択されていない場合、ステップＳ８１においてＮＯであると判定されて、処理はステップＳ８１に戻される。即ち、検索モードが選択されるまでの間、ステップＳ８１の判定処理が繰り返し実行される。
【０１９１】
その後、基点画像が選択されると、ステップＳ８１においてＹＥＳであると判定されて、処理はステップＳ８２に進む。
【０１９２】
ステップＳ８２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に分類項目選択画像を表示させる。例えば図９の例では、図９のＡに示されるように、分類項目選択画像Pa乃至Pdが表示されることになる。
【０１９３】
ステップＳ８３において、CPU２３は、タッチスクリーン１８に表示された各分類項目選択画像のうち、特定の分類項目選択画像が接触されたか否かを判定する。
【０１９４】
タッチスクリーン１８に表示された各分類項目選択画像のいずれの領域にも接触がなされない場合、ステップＳ８３においてＮＯであると判定されて、処理はステップＳ８３に戻される。即ち、タッチスクリーン１８に表示された各分類項目選択画像のいずれかに接触がなされるまでの間、ステップＳ８３の判定処理が繰り返し実行される。
【０１９５】
その後、タッチスクリーン１８に表示された各項目選択画像のうち特定の分類項目選択画像に接触がなされた場合、ステップＳ８３においてＹＥＳであると判定されて、処理はステップＳ８４に進む。
【０１９６】
ステップＳ８４において、CPU２３は、接触された分類項目選択画像に対応するメイン分類項目を設定する。
【０１９７】
例えば図９の例では、図９のＡの状態で指f1が分類項目画像Paに接触されているので、ステップＳ８３の処理でＹＥＳと判定され、ステップＳ８４の処理で「人」というメイン分類項目が選択される。
【０１９８】
ステップＳ８５において、CPU２３は、基点画像が選択されたか否かを判定する。
【０１９９】
基点画像が選択されていない場合、ステップＳ８５においてＮＯであると判定されて、処理はステップＳ８５に戻される。即ち、基点画像が選択されるまでの間、ステップＳ８５の判定処理が繰り返し実行される。
【０２００】
その後、基点画像が選択されると、ステップＳ８５においてＹＥＳであると判定されて、処理はステップＳ８６に進む。
【０２０１】
ステップＳ８６において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に基点画像を表示させる。なお、基点画像は、タッチスクリーン１８の任意の領域に表示させることができるが、その後のサブ分類項目の表示を考慮した領域に表示させるとよい。例えば、図９の例では、図９のＢに示されるように、タッチスクリーン１８の中央の領域に基点画像P1が表示されている。
【０２０２】
ステップＳ８７において、CPU２３は、タッチスクリーン１８の基点画像内の領域が接触されたか否かを判定する。
【０２０３】
基点画像内のいずれの領域にも接触がなされない場合、ステップＳ８７においてＮＯであると判定されて、処理はステップＳ８７に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ８７の判定処理が繰り返し実行される。
【０２０４】
その後、基点画像内の何れかの領域に接触がなされると、ステップＳ８７においてＹＥＳであると判定されて、処理はステップＳ８８に進む。
【０２０５】
ステップＳ４８において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８のうち基点画像の四隅に、サブ分類項目の分類タグを表示させる。例えば図９の例では、図９のＤ１またはＤ２に示されるように、「人」についてのサブ分類項目の分類タグとして、分類タグPA1乃至PD1または分類タグPA2乃至PD2が表示されることになる。なお、分類タグの表示場所は、図１０の例では、図９の例とあわせて四隅としているが、特に図９の例に限定されない。また、分類項目をユーザに提示できる形態であれば、分類タグに特に限定されない。
【０２０６】
ステップＳ８９において、CPU２３は、タッチスクリーン１８に表示された各分類タグのうち、特定の分類タグが接触されたか否かを判定する。
【０２０７】
タッチスクリーン１８に表示された各分類タグのいずれの領域にも接触がなされない場合、ステップＳ８９においてＮＯであると判定されて、処理はステップＳ８９に戻される。即ち、タッチスクリーン１８に表示された各分類タグのいずれかに接触がなされるまでの間、ステップＳ８９の判定処理が繰り返し実行される。
【０２０８】
その後、タッチスクリーン１８に表示された各分類タグのうち特定の分類タグに接触がなされた場合、ステップＳ８９においてＹＥＳであると判定されて、処理はステップＳ９０に進む。
【０２０９】
ステップＳ９０において、CPU２３は、記録デバイス１９に記録された全画像を対象として、接触された分類タグに対応する絞り込み条件（サブ分類項目）を用いて関連画像を検索する。即ち、本実施の形態では、接触された分類タグに対応する絞り込み条件（サブ分類項目）において、基点画像との間で関連の強さの度合が最も高い画像が、関連画像として検索される。
【０２１０】
ステップＳ９１において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。
【０２１１】
例えば、図７の例では、図９のＥに示されるように、分類タグPA1に指f1が接触すると、ステップＳ８９の処理でＹＥＳであると判定される。ステップＳ９０の処理で、「人」の顔のサイズが「大」という観点について基点画像P1との間で関連の強さの度合が最も高い画像が、関連画像P2として検索される。そして、ステップＳ９１の処理で、「大」の分類タグPA1が表示されていた領域の近辺に、関連画像P2が表示される。なお、関連画像P2の表示場所は、特に図９の例に限定されず任意である。ただし、図９の例の場所を採用することで、ユーザは、関連画像P2は、分類タグPA1が示す「人」の顔の「大」というサブ分類項目についての関連性の高い画像であることを容易に認識できるようになる。
【０２１２】
ステップＳ９２において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。
【０２１３】
これにより、第２関連画像検索処理は終了となる。
【０２１４】
以上、図９を参照して、関連画像検索操作の第３の実施例について説明した。そして、図１０のフローチャートを参照して、第３の実施例に対する第３関連画像検索処理の一例について説明した。
【０２１５】
なお、関連画像検索操作の第２，第３の実施例では、分類項目は基点画像の４隅に表示される。しかしながら、上述の如く、分類項目は４つに限定することも、その表示形態として画像の四隅に表示する形態に限定する必要も特にない。例えば、図１１に示されるように、表示形態としては、分類項目を文字で表示せずに、その分類項目を選択することによって表示される関連画像のサムネイル画像PS1乃至PS4を用意し、そのサムネイル画像PS1乃至PS4を表示 させる形態を採用することもできる。 
【０２１６】
次に、図１２を参照して、関連画像検索操作の第４の実施例について説明する。そして、図１３乃至図１５のフローチャートを参照して、第４の実施例に対する第４関連画像検索処理の一例について説明する。
【０２１７】
上述した第２，第３の実施例とは、CPU２３がタッチパネル２３に分類項目を提示することで、ユーザは所望の画像群を手操る例であった。
【０２１８】
これに対して、第４の実施例では、タッチパネル２３のうち、ユーザがタッチした場所（その指f1が接触した場所）に意味を持たせる例である。
【０２１９】
即ち、図１２のＡに示されるように、基点画像P1にタッチスクリーン１８に表示されている状態で、基点画像P1の所定領域が指f1に接触された場合、CPU２３は、所定領域を画像解析し、その画像解析から分類項目を認識する。
【０２２０】
画像解析自体の手法は特に限定されない。ただし、本実施の形態では、次のような画像解析の手法が採用されているとする。即ち、複数の分類項目が解析候補として予め設定され、さらに、複数の解析候補のそれぞれに対して優先順位が予め付されているとする。これにより、所定領域の画像解析として、複数の解析候補（分類候補）が優先順位の順番で解析されていく。即ち、画像解析の解析結果が、解析候補の特定の識別物が所定領域に含まれていないと認識できないという結果である場合、次の優先順位の別の解析候補によって画像解析が再度行われる。全ての画像解析により特定の識別物として認識できなかった所定領域に対しては、関連の強い画像はないものとして取り扱われる。即ち、解析不可能という解析結果となる。
【０２２１】
例えば基点画像P1のうち顔を含む所定領域がタッチされた場合、CPU２３は、所定領域を画像解析することで、分類項目として「人」を認識する。次に、CPU２３は、基点画像P1との間で「人」についての関連の強さの度合が高い画像を、関連画像P2B，P3Bとして検索する。そして、図１２のＢに示されるように、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に関連画像P2B，P3Bを表示させる。なお、関連画像の表示数や表示場所等の表示形態が限定されないことは言うまでもない。
【０２２２】
例えば基点画像P1のうち場所に関連する所定領域がタッチされた場合、CPU２３は、所定領域を画像解析することで、分類項目として「場所」を認識する。次に、CPU２３は、基点画像P1との間で「場所」についての関連の強さの度合が高い画像を、関連画像P2C，P3Cとして検索する。そして、図１２のＣに示されるように、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に関連画像P2C，P3Cを表示させる。なお、関連画像の表示数や表示場所等の表示形態が限定されないことは言うまでもない。
【０２２３】
例えば基点画像P1のうち特定色が支配的な所定領域がタッチされた場合、CPU２３は、所定領域を画像解析することで、分類項目として「色」を認識する。次に、CPU２３は、基点画像P1との間で「色」についての関連の強さの度合が高い画像を、関連画像P2D，P3Dとして検索する。そして、図１２のＤに示されるように、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に関連画像P2D，P3Dを表示させる。なお、関連画像の表示数や表示場所等の表示形態が限定されないことは言うまでもない。
【０２２４】
なお、基点画像P1の全体がタッチされた場合、CPU２３は、基点画像P1全体を画像解析し、その解析結果に基づいて、関連画像P2E，P3Eを検索する。そして、図１２のＥに示されるように、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に関連画像P2E，P3Eを表示させる。なお、関連画像の表示数や表示場所等の表示形態が限定されないことは言うまでもない。また、全体をタッチする操作（基点画像全体を接触する操作とも称する）の手法としては、基点画像P1を囲うようになぞり操作をする手法や、複数の指を基点画像P1に接触させる手法を採用することができる。
【０２２５】
図１３は、図１２を用いて説明した関連画像検索操作の第４の実施例に対する関連画像検索処理、即ち第４関連画像検索処理の一例を説明するフローチャートである。
【０２２６】
ステップＳ１０１において、CPU２３は、基点画像が選択されたか否かを判定する。
【０２２７】
基点画像が選択されていない場合、ステップＳ１０１においてＮＯであると判定されて、処理はステップＳ１０１に戻される。即ち、基点画像が選択されるまでの間、ステップＳ６１の判定処理が繰り返し実行される。
【０２２８】
その後、基点画像が選択されると、ステップＳ１０１においてＹＥＳであると判定されて、処理はステップＳ１０２に進む。
【０２２９】
ステップＳ１０２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に基点画像を表示させる。なお、基点画像は、タッチスクリーン１８の任意の領域に表示させることができるが、その後の画像解析を考慮した領域に表示させるとよい。例えば、図１２の例では、図１２のＡに示されるように、ユーザが指f1で基点画像P1内の様々な領域を接触できるように、タッチスクリーン１８の中央の領域に基点画像P1が大きく表示されている。
【０２３０】
ステップＳ１０３において、CPU２３は、タッチスクリーン１８の基点画像内の領域が接触されたか否かを判定する。
【０２３１】
基点画像内のいずれの領域にも接触がなされない場合、ステップＳ１０３においてＮＯであると判定されて、処理はステップＳ１０３に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ１０３の判定処理が繰り返し実行される。
【０２３２】
その後、基点画像内の何れかの領域に接触がなされると、ステップＳ１０３においてＹＥＳであると判定されて、処理はステップＳ１０４に進む。
【０２３３】
ステップＳ１０４において、CPU２３は、基点画像全体を接触する操作がなされたか否かを判定する。
【０２３４】
基点画像全体を接触する操作がなされた場合、ステップＳ１０４においてＹＥＳであると判定されて、処理はステップＳ１０６に進む。ステップＳ１０６において、CPU２３は、基点画像全体を画像解析し、その解析結果に基づいて関連画像を検索し、タッチスクリーン１８に表示させる。ただし、関連画像が検索されない場合、関連画像がない旨がタッチスクリーン１８に表示される。なお、以下、このようなステップＳ１０６の処理を、画像解析検索処理と称する。画像解析検索処理の詳細例については、図１５のフローチャートを参照して後述する。この画像解析検索処理が終了すると、処理はステップＳ１１１に進む。ステップＳ１１１において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。これにより、第４関連画像検索処理は終了となる。
【０２３５】
これに対して、基点画像のうちの所定領域を接触する操作がなされた場合、ステップＳ１０４においてＮＯであると判定されて、処理はステップＳ１０５に進む。ステップＳ１０５において、CPU２３は、所定領域を画像解析し、その解析結果として、複数の解析候補のうち所定の解析候補を分類項目として出力する。ただし、複数の解析候補の何れも出力できない場合、“関連画像なし”という解析結果が出力される。なお、以下、このようなステップＳ１０５の処理を、接触領域別画像解析処理と称する。接触領域別画像解析処理の詳細例については、図１４のフローチャートを参照して後述する。
【０２３６】
ステップＳ１０５の接触領域別画像解析処理が終了し、その解析結果が出力されると、処理はステップＳ１０７に進む。
【０２３７】
ステップＳ１０７において、CPU２３は、解析結果が“関連画像なし”であるか否かを判定する。
【０２３８】
解析結果が“関連画像なし”の場合、ステップＳ１０７においてＹＥＳであると判定されて処理はステップＳ１０８に進む。ステップＳ１０８において、CPU２３は、デジタル信号処理部１５を制御して、関連画像がない旨をタッチスクリーン１８に表示させる。これにより、第４関連画像探索処理は終了となる。
【０２３９】
これに対して、解析結果が所定の分類項目である場合、ステップＳ１０７においてＮＯであると判定されて処理はステップＳ１０９に進む。
【０２４０】
ステップＳ１０９において、CPU２３は、解析結果（所定の分類項目）を絞り込み条件として用いて関連画像を検索する。即ち、本実施の形態では、解析結果（絞り込み条件）において、基点画像との間で関連の強さの度合が高い画像が、関連画像として検索される。
【０２４１】
ステップＳ１１０において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。
【０２４２】
例えば、図１２の例では、解析結果が「人」の場合、ステップＳ１０９の処理で、基点画像P1との間で「人」についての関連の強さの度合が高い画像が、関連画像P2B，P3Bとして検索される。そして、ステップＳ１１０の処理で、関連画像P2B，P3Bが表示される。
【０２４３】
また例えば、解析結果が「場所」の場合、ステップＳ１０９の処理で、基点画像P1との間で「場所」についての関連の強さの度合が高い画像が、関連画像P2C，P3Cとして検索される。そして、ステップＳ１１０の処理で、関連画像P2C，P3Cが表示される。
【０２４４】
また例えば、解析結果が「色」の場合、ステップＳ１０９の処理で、基点画像P1との間で「色」についての関連の強さの度合が高い画像が、関連画像P2D，P3Dとして検索される。そして、ステップＳ１１０の処理で、関連画像P2D，P3Dが表示される。
【０２４５】
ステップＳ１１１において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。
【０２４６】
これにより、第４関連画像検索処理は終了となる。
【０２４７】
次に、図１４のフローチャートを参照して、第４関連画像検索処理のステップＳ１０５の接触領域画像解析処理の詳細例について説明する。
【０２４８】
上述の如く、複数の分類項目Ａ乃至Ｚが解析候補として予め設定され、さらに、複数の解析候補Ａ乃至Ｚのそれぞれに対して優先順位がその順番で予め付されているとする。なお、分類項目Ａ乃至Ｚとは、分類項目がアルファベット数である２６種類存在することを意味するのではない。即ち、分類項目Ｚとは、２以上の任意の数の種類のうち、優先順位が最低の種類の分類項目を示している。
【０２４９】
また、分類項目Ａ乃至Ｚは特に限定されない。ただし、図１２の例に対応させるならば、少なくとも「人」、「場所」、および「色」は、分類項目Ａ乃至Ｚに含まれるとする。その他、特定のものや特定の構図等も分類項目Ａ乃至Ｚに含ませることができる。
【０２５０】
上述の如く、基点画像のうちの所定領域を接触する操作がなされた場合、ステップＳ１０４においてＮＯであると判定されて、ステップＳ１０５の接触領域別画像解析処理として次のような処理が実行される。
【０２５１】
即ち、ステップＳ１２１において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ａ”として認識できるか否かを判定する。
【０２５２】
CPU２３は、ステップＳ１２１において“Ａ”として認識できると判定した場合、ステップＳ１２２において、解析結果を“Ａ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。
【０２５３】
これに対して、ステップＳ１２１において“Ａ”として認識できないと判定された場合、処理はステップＳ１２３に進む。
【０２５４】
ステップＳ１２３において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ｂ”として認識できるか否かを判定する。
【０２５５】
CPU２３は、ステップＳ１２３において“Ｂ”として認識できると判定した場合、ステップＳ１２４において、解析結果を“Ｂ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。
【０２５６】
これに対して、ステップＳ１２３において“Ｂ”として認識できないと判定された場合、処理はステップＳ１２５に進む。
【０２５７】
ステップＳ１２５において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ｃ”として認識できるか否かを判定する。
【０２５８】
CPU２３は、ステップＳ１２５において“Ｃ”として認識できると判定した場合、ステップＳ１２４において、解析結果を“Ｃ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。
【０２５９】
これに対して、ステップＳ１２５において“Ｃ”として認識できないと判定された場合、処理はステップＳ１２７に進む。
【０２６０】
ステップＳ１２７において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ｄ”として認識できるか否かを判定する。
【０２６１】
CPU２３は、ステップＳ１２７において“Ｄ”として認識できると判定した場合、ステップＳ８８において、解析結果を“Ｄ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。
【０２６２】
これに対して、ステップＳ１２７において“Ｄ”として認識できないと判定された場合、“Ｅ”乃至“Ｙ”についても同様の処理が繰り返される。即ち、“Ｅ”乃至“Ｙ”のうちの所定の１つの解析候補として認識できると判定された場合、その解析候補が解析結果となる。
【０２６３】
これに対して、“Ｅ”乃至“Ｙ”のうちの何れも認識できないと判定された場合、処理はステップＳ１２９に進む。ステップＳ１２９において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ｚ”として認識できるか否かを判定する。
【０２６４】
CPU２３は、ステップＳ１２９において“Ｚ”として認識できると判定した場合、ステップＳ１３０において、解析結果を“Ｚ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。
【０２６５】
これに対して、CPU２３は、ステップＳ１２９において“Ｚ”として認識できないと判定した場合、ステップＳ１３１において、解析結果を“関連画像なし”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。
【０２６６】
以上、図１４のフローチャートを参照して、第４関連画像検索処理のステップＳ１０５の接触領域画像解析処理の詳細例について説明した。
【０２６７】
次に、図１５のフローチャートを参照して、第４関連画像検索処理のステップＳ１０６の画像解析検索処理の詳細例について説明する。
【０２６８】
図１５の例の前提として、画像構成要素パターンが用いられる。画像構成要素パターンとは、画像を構成する要素の所定パターンであって、２つの画像が関連画像の関係にあるのか否かの比較に用いられる指標をいう。例えば、人が写っているというパターン、写っている人の人数が同じというパターン、風景だけが写っているパターン、撮影月日が同じ（年は除く）というパターン等様々なパターンを、画像構成要素パターンとして採用することができる。
【０２６９】
この場合、CPU２３は、基点画像と関連画像候補とを画像解析し、画像構成要素パターンが一致するか否かを判定する。この判定処理は、関連画像候補となり得る全画像についてそれぞれ実行される。CPU２３は、基点画像と画像構成要素パターンが一致する関連画像候補を、関連画像として検索する。なお、以下、このような一連の処理を、「画像構成要素パターンとして関連画像を検索する」と表現する。
【０２７０】
図１５の例では、複数の画像構成要素パターンａ乃至ｚが予め設定され、さらに、複数の画像構成要素パターンａ乃至zのそれぞれに対して優先順位がその順番で予め付されているとする。なお、画像構成要素パターンａ乃至ｚとは、画像構成要素パターンがアルファベット数である２６種類存在することを意味するのではない。即ち、画像構成要素パターンｚとは、２以上の任意の数の種類のうち、優先順位が最低の種類の画像構成要素パターンを示している。
【０２７１】
上述の如く、基点画像全体を接触する操作がなされた場合、ステップＳ１０４においてＹＥＳであると判定されて、ステップＳ１０６の画像解析検索処理として次のような処理が実行される。
【０２７２】
即ち、ステップＳ１４１において、CPU２３は、画像構成要素パターンａとして関連画像を検索する。
【０２７３】
ステップＳ１４２において、CPU２３は、関連画像が検索されたか否かを判定する。
【０２７４】
画像構成要素パターンａが基点画像と一致する画像が記録デバイス１９に存在し、その画像が関連画像として検索された場合、ステップＳ１０２においてＹＥＳであると判定されて、処理はステップＳ１４３に進む。
【０２７５】
ステップＳ１４３において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。
【０２７６】
これに対して、画像構成要素パターンａが基点画像と一致する画像が記録デバイス１９に存在しない場合、ステップＳ１４２においてＮＯであると判定されて、処理はステップＳ１４４に進む。
【０２７７】
ステップＳ１４４において、CPU２３は、画像構成要素パターンｂとして関連画像を検索する。
【０２７８】
ステップＳ１４５において、CPU２３は、関連画像が検索されたか否かを判定する。
【０２７９】
画像構成要素パターンｂが基点画像と一致する画像が記録デバイス１９に存在し、その画像が関連画像として検索された場合、ステップＳ１４５においてＹＥＳであると判定されて、処理はステップＳ１４３に進む。
【０２８０】
ステップＳ１４３において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。
【０２８１】
これに対して、画像構成要素パターンｂが基点画像と一致する画像が記録デバイス１９に存在しない場合、ステップＳ１４５においてＮＯであると判定されて、画像構成要素パターンc乃至ｙについても同様の処理が繰り返される。
【０２８２】
即ち、画像構成要素パターンc乃至yのうち所定パターンが基点画像と一致する画像が記録デバイス１９に存在し、その画像が関連画像として検索された場合、処理はステップＳ１４３に進む。
【０２８３】
ステップＳ１４３において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。
【０２８４】
これに対して、画像構成要素パターンc乃至ｙのいずれのパターンとも基点画像と一致する画像が記録デバイス１９に存在しない場合、処理はステップＳ１４６に進む。
【０２８５】
ステップＳ１４６において、CPU２３は、画像構成要素パターンｚとして関連画像を検索する。
【０２８６】
ステップＳ１４７において、CPU２３は、関連画像が検索されたか否かを判定する。
【０２８７】
画像構成要素パターンｚが基点画像と一致する画像が記録デバイス１９に存在し、その画像が関連画像として検索された場合、ステップＳ１４７においてＹＥＳであると判定されて、処理はステップＳ１４３に進む。
【０２８８】
ステップＳ１４３において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。
【０２８９】
これに対して、画像構成要素パターンｚが基点画像と一致する画像が記録デバイス１９に存在しない場合、ステップＳ１４７においてＮＯであると判定されて、処理はステップＳ１４８に進む。
【０２９０】
ステップＳ１４８において、CPU２３は、デジタル信号処理部１５を制御して、関連画像がない旨をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。
【０２９１】
以上、図１２を参照して、本実施の形態の関連画像検索の第４の実施例について説明した。そして、図１３乃至図１５のフローチャートを参照して、第４の実施例に対する第４関連画像検索処理の一例について説明した。
【０２９２】
なお、以上の例では、基点となるもの（Root）として基点画像（静止画像や同画像）が採用された。そして、基点画像に関連する画像を関連画像として、関連画像を手操っていくルールに基づく操作が、関連画像検索操作として採用された。
【０２９３】
このように、あるものを基点として、そのあるものに関連するものを手繰っていくというルールに則った操作（以下、関連検索操作と称する）は、関連画像検索操作の他、例えばMusicPlayerや、DiscServer機器に搭載されるGUIコンテキストメニューなどの表示操作に採用することもできる。
【０２９４】
例えば、図１６は、MusicPlayerに搭載されるGUIコンテキストメニューなどの表示操作に対して関連検索操作を適用した場合の操作例を説明する図である。即ち、図１６は、「Music Album」と表示されたGUIコンテキストメニューを基点として（以下、基点メニューと称する）、その基点メニューに関連するGUIコンテキストメニュー（以下、関連メニューと称する）手操っていく操作（以下、関連メニュー検索操作）の例を説明する図である。なお、「曲調」と表示されたGUIコンテキストメニューは、１２音階曲調解析結果などに使用される。また、「Genre」と表示されたGUIコンテキストメニューは、ID3タグなどの情報に使用される。
【０２９５】
例えば、図１７は、DiscServer機器に搭載されるGUIコンテキストメニューなどの表示操作に対して関連検索操作を適用した場合の操作例を説明する図である。即ち、図１７は、「Disc Server」と表示された基点メニューに対して、その基点メニューの関連メニューを手操っていく、という関連メニュー検索操作の例を説明する図である。
【０２９６】
以上、各種関連画像検索操作と、それらに対応する各種関連画像検索処理について説明した。
【０２９７】
このように、関連画像検索操作とは、特別な検索手段を設けることなく直感的な操作で次々と関連画像を手繰ることができる操作である。関連画像検索操作は、第１の実施例のように、特に目的なく手繰るという操作にも適用可能であるし、第２乃至第４の実施例のように、所望の一枚の画像を検索するという目的に対しても適用可能である。特に第３の実施例では、抽象的で検索ワードとしてユーザが想像しがたい分類項目についても、容易に関連画像を手繰って検索することが可能になる。また、手繰った関連画像の最終地点（最後に手繰った関連画像）に対して任意の操作を施すことで、手繰りの履歴や検索履歴を確認する手法も実現可能である。かかる手法により、関連画像の再手繰りや再検索も容易に可能になる。
【０２９８】
以下、さらに、図１８を参照して、関連画像検索操作の第５の実施例について説明する。そして、図１９のフローチャートを参照して、第５の実施例に対する第５関連画像検索処理の一例について説明する。
【０２９９】
図１８のＡに示されるように、全ての画像群は、無限大の空間サイズのデスクトップの上に散在しているイメージとし、タッチスクリーン１８にはデスクトップの一部が常に表示されている、ということを前提とする。
【０３００】
また、関連画像検索操作自体は、第１の実施例と基本的に同様の操作が採用されているとする。即ち、複数のなぞり操作により複数の関連画像が手操られていくことになる。即ち、図１８のＢに示されるように、基点画像P1を起点に１回目のなぞり操作が行われると、1回目のなぞり操作が終了した位置、即ち、指f1がリリースした位置には、関連画像P2やP4がタッチスクリーン１８に新規に表示される。ユーザは、さらに、新規に表示された関連画像、例えば関連画像P2を起点として２回目のなぞり操作を行うことで、２回目のなぞり操作が終了した位置、即ち、指f1がリリースした位置には、関連画像P3がタッチスクリーン１８に新規に表示される。
【０３０１】
この場合、新規に表示された関連画像P3はタッチスクリーン１８の右端に表示されている。即ち、仮に、ユーザが関連画像P2を起点とする２回目のなぞり操作をさらに右方向にさせようしていたならば、なぞり操作の終了位置は、表示エリア外となってしまう。よって、２回目のなぞり操作が終了した位置、即ち、指f1がリリースした位置に、関連画像P3を表示させることは困難になる。
【０３０２】
もっとも、第５の実施例では、図１８のＡに示されるように、無限大の空間サイズのデスクトップの上に全ての画像群が散在していることが前提事項であるので、どの場所でもなぞり操作をすることは本来可能である。それにも関わらず、なぞり操作が困難となるのは、タッチスクリーン１８の表示サイズが有限であるからに他ならない。
【０３０３】
そこで、第５の実施例では、無限大の空間サイズのデスクトップのうちタッチスクリーン１８に表示させる領域が、表示エリアとして定義される。この定義の下、CPU２３は、関連画像を手繰る操作（複数回のなぞり操作）により検索された新規の関連画像をタッチスクリーン１８に表示する場合、次のような処理を実行する。即ち、CPU２３は、現在表示中の表示エリア内に収まらないと判断したときは、その新規の関連画像がタッチスクリーン１８の中心に表示されるように表示エリアを自動でシフトする、といったシフト処理を実行する。ただし、表示中の表示エリア内に収まると判断されたときには、シフト処理は禁止されるとする。
【０３０４】
かかるシフト処理が実行されることで、ユーザが関連画像P2を起点として２回目のなぞり操作を表示エリア外にも行おうとした場合、新規な関連画像P3は、図１８のＣに示されるように、指f1がリリースした位置（点線で図示された位置）ではなく、タッチスクリーン１８の中心の位置（実線で図示された位置）に表示される。
【０３０５】
図１９は、図１８を用いて説明した関連画像検索操作の第５の実施例に対する関連画像検索処理、即ち第５関連画像検索処理の一例を説明するフローチャートである。
【０３０６】
ステップＳ１６１において、CPU２３は、基点画像が選択されたか否かを判定する。
【０３０７】
基点画像が選択されていない場合、ステップＳ１６１においてＮＯであると判定されて、処理はステップＳ１６１に戻される。即ち、基点画像が選択されるまでの間、ステップＳ１６１の判定処理が繰り返し実行される。
【０３０８】
その後、基点画像が選択されると、ステップＳ１６１においてＹＥＳであると判定されて、処理はステップＳ１６２に進む。
【０３０９】
ステップＳ１６２において、CPU２３は、デジタル信号処理部１５を制御して、基点画像がタッチスクリーンの中央に表示されるように表示エリアを移動させる。即ち、タッチスクリーン１８の中央に基点画像が表示される。
【０３１０】
ステップＳ１６３において、CPU２３は、タッチスクリーン１８の画像内の領域が接触されたか否かを判定する。
【０３１１】
基点画像内のいずれの領域にも接触がなされない場合、ステップＳ１６３においてＮＯであると判定されて、処理はステップＳ１６３に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ１６３の判定処理が繰り返し実行される。
【０３１２】
その後、基点画像内の何れかの領域に接触がなされると、ステップＳ１６３においてＹＥＳであると判定されて、処理はステップＳ１６４に進む。
【０３１３】
ステップＳ１６４において、CPU２３は、基点画像を起点に、なぞり操作がなされたか否かを判定する。
【０３１４】
なぞり操作がなされなかった場合、ステップＳ１６４でＮＯであると判定して、処理はステップＳ１６４に戻されて、それ以降の処理が繰り返し実行される。即ち、なぞり操作がなされるまでの間、ステップＳ１６４の判定処理が繰り返し実行される。
【０３１５】
その後、なぞり操作がなされると、ステップＳ１６４においてＹＥＳであると判定されて、処理はステップＳ１６５に進む。
【０３１６】
ステップＳ１６５において、CPU２３は、記録デバイス１９に記録された全画像を対象として、関連画像を検索する。
【０３１７】
ステップＳ１６６において、CPU２３は、指f1がタッチスクリーン１８からリリースされたか否か、即ち、なぞり操作が終了したか否かを判定する。
【０３１８】
なぞり操作が終了していない場合、ステップＳ１６６でＮＯであると判定されて、処理はステップＳ１６６に戻されて、それ以降の処理が繰り返し実行される。即ち、なぞり操作が継続している限り、ステップＳ１６６の判定処理が繰り返し実行される。
【０３１９】
その後、なぞり操作が終了すると、ステップＳ１６６においてＹＥＳであると判定されて、処理はステップＳ１６７に進む。
【０３２０】
ステップＳ１６７において、CPU２３は、仮想のデスクトップ上におけるリリースされた位置に関連画像を表示させる。
【０３２１】
ここで注意すべき点は、タッチスクリーン１８上ではなく、仮想のデスクトップ上を基準に関連画像が表示される点である。換言すると、仮想のデスクトップ上におけるリリースされた位置が、表示エリア外の位置であった場合、ステップＳ１６７の処理時点では、関連画像はタッチスクリーン１８に表示されない点である。
【０３２２】
ステップＳ１６８において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。
【０３２３】
ステップＳ１６９において、CPU２３は、タッチスクリーン１８内に関連画像の表示が可能であるか否かを判定する。
【０３２４】
上述の如く、仮想のデスクトップ上におけるリリースされた位置が、表示エリア外の位置であった場合、このままの状態では、関連画像はタッチスクリーン１８に表示することができない。よって、このような場合、ステップＳ１６９においてＮＯであると判定されて、処理はステップＳ１７０に進む。
【０３２５】
ステップＳ１７０において、CPU２３は、デジタル信号処理部１５を制御して、関連画像がタッチスクリーンの中央に表示されるように表示エリアを移動させる。即ち、タッチスクリーン１８の中央に関連画像が表示される。例えば、図１８の例では、図１８のＣに示されるように、関連画像P3がタッチスクリーン１８の中央に表示される。その後、処理はステップＳ１７１に進む。ただし、ステップＳ１７１以降の処理は後述する。
【０３２６】
これに対して、仮想のデスクトップ上におけるリリースされた位置が、表示エリア内の位置であった場合、このままの状態で、関連画像はタッチスクリーン１８に表示することが可能である。よって、このような場合、ステップＳ１６９においてＹＥＳであると判定されて、ステップＳ１７０の処理は実行されることなく、処理はステップＳ１３１に進む。
【０３２７】
ステップＳ１７１において、CPU２３は、処理の終了が指示されたか否かが判定される。
【０３２８】
処理の終了が指示されない限り、ステップＳ１７１においてＮＯであると判定されて、処理はステップＳ１６３に戻され、それ以降の処理が繰り返される。即ち、なぞり操作が行われる度に、ステップＳ１６３ＹＥＳ，Ｓ１６４ＹＥＳ，Ｓ１６５，Ｓ１６６ＹＥＳ，Ｓ１６７，Ｓ１６８，Ｓ１６９ＹＥＳ／Ｓ１６９ＮＯおよびＳ１７０，Ｓ１７１ＮＯのループ処理が繰り返し実行されて、新たな関連画像がタッチスクリーン１８の中央に表示されていく。即ち、ユーザは、なぞり操作を繰り返すことで、上述のループ処理が繰り返し実行されて、あたかも関連画像を手探っていくことができるようになる。そして、かかる関連画像は常にタッチスクリーン１８の中央にシフトしていくことになる。
【０３２９】
その後、処理の終了が指示された場合、ステップＳ１７１においてＹＥＳであると判定されて、第５関連画像検索処理は終了となる。
【０３３０】
このように、第５関連画像検索処理では、CPU２３は、物理的には限られたサイズのタッチスクリーン１８内で、ユーザの最も再生優先度の高い画像（新規の関連画像）をタッチスクリーン１８の中央に常に表示させるように、表示エリアを自動でシフトさせる。これにより、タッチスクリーン１８の表示サイズによらず、多数の画像を大きさを損なうことなく再生させることができるようになる。また、ユーザに対して、無限大の大きさのデスクトップの上で、関連画像を手繰るような体験をさせることも可能となる。その結果、マトリックス状に画像を並べるといった従来の画像提示手法のみならず、ユーザが好きなように画像を配置した上で閲覧することが可能になる、といった画像提示手法を採用することができるようになる。
【０３３１】
以上、図１８を参照して、関連画像検索操作の第５の実施例について説明した。そして、図１９のフローチャートを参照して、第５の実施例に対する第５関連画像検索処理の一例について説明した。
【０３３２】
ところで、第５の実施例では、関連画像を手繰る操作（複数回のなぞり操作）により検索された新規の関連画像がタッチスクリーン１８に表示される場合、表示中の表示エリア内に収まると判断されたときには、表示エリアのシフト処理は禁止された。例えば、図２０の例において、関連画像P4が新規の関連画像であるとする。この場合、図２０のＡに示されるように、新規の関連画像P4はタッチスクリーン１８の中心に表示されず、リリースされた位置に表示される。
【０３３３】
このような図２０のＡに示される状態で、例えばGUIスライドバーやPinchIn/Outなどのような操作により現在の表示エリアが拡大／縮小される場合、CPU２３は、図２０のＢに示されるように、新規の関連画像P4がタッチスクリーン１８の中心に表示されるように表示エリアを自動でシフトする、といったシフト処理を実行する。そして、CPU２３は、図２０のＡに示されるように表示エリアを拡大したり、或いは縮小する。なお、以下、このような一連の処理を、拡大／縮小画像表示処理と称する。
【０３３４】
図２１は、図２０を用いて説明した拡大／縮小画像表示処理の一例を説明するフローチャートである。
【０３３５】
ステップＳ１８１において、CPU２３は、拡大／縮小操作がなされたか否かを判定する。
【０３３６】
拡大操作も縮小操作もなされていない場合、ステップＳ１８１においてＮＯであると判定されて、処理はステップＳ１８１に戻される。即ち、拡大操作または縮小操作がなされるまでの間、ステップＳ１８１の判定処理が繰り返し実行される。
【０３３７】
その後、拡大操作または縮小操作がなされると、ステップＳ１８１においてＹＥＳであると判定されて、処理はステップＳ１８２に進む。
【０３３８】
ステップＳ１８２において、CPU２３は、デジタル信号処理部１５を制御して、新規の関連画像がタッチスクリーンの中央に表示されるように表示エリアを移動させる。即ち、タッチスクリーン１８の中央に、新規の関連画像が表示される。例えば、図２０の例では、図２０のＢに示されるように、関連画像P4がタッチスクリーン１８の中央に表示される。
【０３３９】
ステップＳ１８３において、CPU２３は、デジタル信号処理部１５を制御して、表示エリアを拡大／縮小表示する。例えば、図２０の例では、図２０のＣに示されるように、表示エリアが拡大表示される。
【０３４０】
これにより、拡大／縮小画像表示処理が終了となる。
【０３４１】
このような拡大／縮小画像表示処理を採用することで、ユーザが拡大操作をしたときに、そのユーザが最も意識をもって閲覧している画像（関連画像）の一部が欠けたり、その画像が表示エリア外に隠れてしまう、といった不具合を防止することができるようになる。
【０３４２】
なお、例えば、CPU２３は、デジタル信号処理部１５を制御して、スライドバーをタッチスクリーン１８に表示させ、ユーザによりスライドバーが操作された場合、その操作に応じて、表示エリアの調整を行ってもよい。
【０３４３】
また、例えば、CPU２３は、２本の指によるなぞり操作を検出し、それらのなぞり操作の方向や移動距離に応じて、表示エリアの調整を行ってもよい。
【０３４４】
また、例えば、CPU２３は、タッチスクリーン１８における任意の点の接触操作を検出した場合、現在の表示エリアの周辺エリアにおける画像の散在状況を、前記タッチスクリーン１８にマップとして表示させてもよい。さらに、例えば、CPU２３は、そのマップに対する接触操作を検出した場合、そのマップの範囲を表示エリアとするように、表示エリアを移動させてもよい。
【０３４５】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０３４６】
この場合、上述した一連の処理は、図１の撮像装置が実行してもよいことは勿論のこと、その他例えば、図２２に示されるパーソナルコンピュータが実行してもよい。
【０３４７】
図２２において、CPU１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３４８】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０３４９】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、出力部１０７、ハードディスクなどより構成される記憶部１０８、モデムおよびターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０３５０】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０３５１】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０３５２】
このようなプログラムを含む記録媒体は、図１または図２２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１（図１６）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されている図１のプログラムROM２６、図２２のROM１０２、記憶部１０８に含まれるハードディスクなどで構成される。
【０３５３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３５４】
また、以上、本発明が適用された情報処理装置により表示が制御される表示装置として、液晶表示パネル１７といった液晶表示装置について説明してきた。ただし、本発明は、液晶表示パネルのみならず、次のような表示装置にも適用可能である。即ち、動画像を構成するフレームやフィールドといった単位（以下、かかる単位をコマと称する）毎に表示が指示される表示装置であって、所定時間の間、１コマを構成する複数の画素が表示素子により構成されており、それら表示素子のうちの少なくとも一部の表示を保持させることができる表示装置に適用できる。なお、以下、かかる表示素子をホールド型表示素子と称し、かかるホールド型表示素子により画面が構成される表示装置を、ホールド型表示装置と称する。即ち、液晶表示装置はホールド型表示装置の例示にしか過ぎず、本発明は、ホールド型表示装置全体に適用可能である。
【０３５５】
さらに、本発明は、ホールド型表示装置のみならず、例えば、発光素子として有機ＥＬ(Electro Luminescent)デバイスを用いた平面自発光型の表示装置等にも適用可能である。即ち、本発明は、画像が複数の画素から構成され、その画素を表示する表示素子を含む表示装置全体に適用可能である。なお、かかる表示装置を、画素型表示装置と称する。ここで、画素型表示装置において、１つの画素に１つの表示素子が必ずしも対応付けられている必要は特に無い。
【０３５６】
換言すると、本発明適用された情報処理装置により表示が制御される表示装置は、上述した一連の処理を実行可能とする表示装置であれば足りる。
【図面の簡単な説明】
【０３５７】
【図１】本発明が適用される情報処理装置の一実施形態としての撮像装置の構成例を示すブロック図である。
【図２】図１の撮像装置の外観の構成例を示す斜視図である。
【図３】撮像装置の関連画像検索操作手法の第１の実施例について説明する図である。
【図４】第１関連画像検索処理の一例を説明するフローチャートである。
【図５】第１A関連画像検索処理の一例を説明するフローチャートである。
【図６】第１B関連画像検索処理の一例を説明するフローチャートである。
【図７】撮像装置の関連画像検索操作手法の第２の実施例について説明する図である。
【図８】第２関連画像検索処理の一例を説明するフローチャートである。
【図９】撮像装置の関連画像検索操作手法の第３の実施例について説明する図である。
【図１０】第３関連画像検索処理の一例を説明するフローチャートである。
【図１１】分類項目の提示手法として、サムネイル画像を用いる手法の一例を説明する図である。
【図１２】撮像装置の関連画像検索操作手法の第４の実施例について説明する図である。
【図１３】第４関連画像検索処理の一例を説明するフローチャートである。
【図１４】第４関連画像検索処理のステップＳ６５の接触領域別画像解析処理の詳細例を説明するフローチャートである。
【図１５】第４関連画像検索処理のステップＳ６６の画像解析検索処理の詳細例を説明するフローチャートである。
【図１６】撮像装置の関連メニュー検索操作の例を説明する図である。
【図１７】撮像装置の関連メニュー検索操作の別の例を説明する図である。
【図１８】撮像装置の関連画像検索操作手法の第５の実施例について説明する図である。
【図１９】第５関連画像検索処理の一例を説明するフローチャートである。
【図２０】拡大／縮小画像表示処理に伴う操作手法の一例を説明する図である。
【図２１】拡大／画像表示処理の一例を説明するフローチャートである。
【図２２】本発明が適用される情報処理装置の構成例であって、図１とは異なる構成例を示すブロック図である。
【符号の説明】
【０３５８】
１１  レンズ部，  １２  撮像素子,  １３  アナログ信号処理部，  １４  A/D変換部，  １５  デジタル信号処理部，  １６  タッチパネル，  １７  液晶パネル，  １８  タッチスクリーン，  １９  記録デバイス，  ２０  アクチュエータ，  ２１  モータドライブ，  ２２  TG，  ２３  CPU，  ２４  操作部，  ２５  EEPROM，  ２６  プログラムROM，  ２７  RAM，  ２８  タッチパネル，  ４１  ズームレバー，  ４２  シャッタボタン，  ４３  再生ボタン，  ４４  パワーボタン，  ４５  撮影レンズ，  ４６  AFイルミネータ，  ４７  レンズカバー，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０８  記憶部，  １１１  リムーバブルメディア
【図１】
2010055343.tif 000003
【図２】
2010055343.tif 000004
【図３】
2010055343.tif 000005
【図４】
2010055343.tif 000006
【図５】
2010055343.tif 000007
【図６】
2010055343.tif 000008
【図７】
2010055343.tif 000009
【図８】
2010055343.tif 000010
【図９】
2010055343.tif 000011
【図１０】
2010055343.tif 000012
【図１１】
2010055343.tif 000013
【図１２】
2010055343.tif 000014
【図１３】
2010055343.tif 000015
【図１４】
2010055343.tif 000016
【図１５】
2010055343.tif 000017
【図１６】
2010055343.tif 000018
【図１７】
2010055343.tif 000019
【図１８】
2010055343.tif 000020
【図１９】
2010055343.tif 000021
【図２０】
2010055343.tif 000022
【図２１】
2010055343.tif 000023
【図２２】
2010055343.tif 000024