(57)【要約】【課題】画像データと関連する情報を容易に取得し、ユーザの操作負担の軽減と時間短縮をすることを課題とする。【解決手段】画像データと、アプリケーションプログラムと、アプリケーションプログラムによって管理されるアプリ関連データとを記憶した記憶部と、画像データの中から対象画像を選択する画像選択部と、選択された対象画像から、その画像の特徴を示す情報を含む検索対象情報を取得する画像特徴取得部と、検索対象情報と、記憶部に記憶された情報とを比較し、記憶部に記憶された情報の中から、検索対象情報と一致可能な情報を取得して検索取得情報として記憶する比較検索部と、各検索取得情報と検索対象情報との間の一致度を計算し、各検索取得情報を、一致度の大きさの順に並べかえた検索結果リストを生成する評価部と、検索結果リストを表示させる制御部とを備える。【選択図】図８
2014059752.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
画像データと、アプリケーションプログラムと、アプリケーションプログラムによって管理されるアプリ関連データとを記憶した記憶部と、
前記画像データの中から対象画像を選択する画像選択部と、
前記選択された対象画像から、その画像の特徴を示す情報を含む検索対象情報を取得する画像特徴取得部と、
前記検索対象情報と、前記記憶部に記憶された情報とを比較し、前記記憶部に記憶された情報の中から、前記検索対象情報と一致可能な情報を取得して、１または複数個の検索取得情報として記憶する比較検索部と、
前記各検索取得情報と前記検索対象情報との間の一致度を計算し、前記各検索取得情報を、前記一致度の大きさの順に並べかえた検索結果リストを生成する評価部と、
前記検索結果リストを前記表示部に表示させる制御部とを備えたことを特徴とする情報処理装置。
【請求項２】
前記対象画像は、１つの画像データの全体画像、または、前記１つの画像データの中の任意の領域に属する部分画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検索対象情報は、
前記選択された対象画像に予め付与された画像関連情報と、
前記対象画像に対して所定の画像処理を行うことによって取得された対象画像の特徴を示す画像特徴情報と、
前記画像特徴情報によって示される前記対象画像の特徴を識別するための特徴関連情報とを含むことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記一致度は、前記各検索取得情報に含まれる複数個の情報項目のうち、前記検索対象情報と一致可能な情報項目の個数または重みの総和であることを特徴とする請求項１ないし３のいずれかに記載の情報処理装置。
【請求項５】
前記比較検索部は、
前記取得された複数個の検索対象情報と、前記記憶部に記憶された情報のうち、所定のアプリケーションプログラムによって管理されている１または複数個のアプリ関連データとを比較し、前記検索対象情報と一致可能なアプリ関連データを取得し、取得されたアプリ関連データを前記検索取得情報として記憶する関連データ検索部を含むことを特徴とする請求項１ないし４のいずれかに記載の情報処理装置。
【請求項６】
前記検索結果リストが、複数個のアプリ関連データを含み、
各アプリ関連データが、複数個の情報項目から構成される場合、
前記検索結果リストに含まれるアプリ関連データを前記表示部に表示するとき、各アプリ関連データの所定の主要な情報項目のみを表示することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記表示部に、前記検索結果リストに含まれる１または複数個のアプリ関連データを表示している状態で、所望のアプリ関連データが選択入力された場合、
その選択入力されたアプリ関連データの詳細内容を、前記表示部に表示させることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記表示部にアプリ関連データの詳細内容が表示された状態で、そのアプリ関連データの詳細内容が選択入力された場合、前記制御部が、前記アプリ関連データを管理しているアプリケーションプログラムを起動させることを特徴とする請求項７に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、情報処理装置に関し、特に、記憶された多数の情報の中から、選択された情報に関連のある情報を取得することのできる情報処理装置に関する。
【背景技術】
【０００２】
今日、パソコン、携帯端末等の情報処理装置では、複数のアプリケーションプログラムが搭載され、主として、各アプリケーションプログラムごとに、文字、図形、画像等の種々の情報が生成または取得され、ハードディスク等の記憶手段に、そのアプリケーションプログラムの関連データとして、ファイル名が付けられて記憶されている。
【０００３】
一般的に、記憶されているファイル名を選択入力する操作をすれば、そのファイル名に関連付けられているアプリケーションプログラムが起動され、そのアプリケーションプログラムの表示内容として、そのファイル名を有する情報が表示される。
たとえば、画像に関する表示編集プログラムに関連付けられているファイル名を選択入力すると、関連付けられている表示編集プログラムが起動され、そのファイル名に対応付けられた画像データが表示される。
【０００４】
このように画像データを表示させた場合、ユーザは、その画像を撮影した位置や時期、その画像の取得先等を確認したい場合がある。
たとえば、表示画像は、受信メールに添付されていた写真であるが、その写真が添付されていたメールの内容を確認したい場合がある。
また、表示画像に人物が写っている場合、その人物が写っている他の画像を見たり、その人物に連絡（電話、あるいは電子メールの送信）をとりたい場合がある。
さらに、表示画像を撮影したのは、いつ、どのようなイベント（たとえば、旅行、祭りなど）が行われていたときかを知りたい場合もある。
また、その表示画像を撮影したのと同時期に撮影した他の写真を、確認したい場合がある。
【０００５】
このようなユーザの要求を実行するためには、一般的に、ユーザが自己の記憶をたよりに、所望の要求を実行するために必要なアプリケーションプログラムを起動させて、ユーザ自身が関連する情報を検索する必要があった。
たとえば、表示画像から対応する受信メールの内容を確認しようとする場合、メールを作成および表示する専用のアプリケーションプログラムを起動させた後、受信メールの一覧リストを表示させる操作をし、表示画像のファイル名と一致する添付ファイルが添付されている受信メールを検索するか、あるいは、各受信メールに添付されている画像データを、順次表示させて、一つずつ確認しながら目的の表示画像と同じ画像が添付されている受信メールを、手動操作で探し出す必要があった。
【０００６】
また、表示画像と関連する他の画像に関連付けられているアプリケーションプログラムがわからない場合は、ユーザが考えられそうなアプリケーションプログラムを起動させた後、そのアプリケーションプログラムに関連付けられたデータの中に、上記他の画像が存在するか否かを確認する作業をする必要があった。
さらに、ユーザが表示画像に写っている人物に電話をかけようとした場合、電話番号を覚えている場合はすぐに電話をかけられるが、電子電話帳リストの中から、その人物を特定する名前などの情報を探しだし、その情報を選択入力する等の操作をする必要があった。
【０００７】
また、表示画像に写っている人物の他の画像を見たい場合には、類似画像を検索する専用のアプリケーションプログラム等を用いて、他の画像を検索することが行われている（特許文献１、２参照）。
また、受信した画像データに対して認識処理を行い、画像データに対応する認識データを特定した後、予め記憶された関連情報データベースを利用して、認識データに対応する関連画像データを特定するシステムも提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−６０１５５号公報
【特許文献２】特開２００５−３９３２９号公報
【特許文献３】特開２００９−２８２８６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、たとえば、表示画像から対応する受信メールの内容を確認しようとする場合は、メールのアプリケーションプログラムを起動させてから、所望の受信メールを探し出すのに非常に多くの操作と時間がかかる場合があり、ユーザに大きな操作負担がかかっていた。
また、表示画像が関連付けられているアプリケーションプログラムがわかっている場合でも、探したい他の情報が、どのアプリケーションプログラムによって取得されたものかがわからない場合は、考えられそうな他のアプリケーションプログラムを起動させ、関連付けられた情報をその都度確認する必要があるので、他の情報を取得するのに、多くの操作と時間がかかる場合があった。
あるいは、ユーザが、ある画像を取得したときに、その画像を表示等することのできるアプリケーションプログラムとは別に、他のアプリケーションプログラムでも利用することができるようにするために、ユーザ自らが、その取得画像に特別な情報を予め付加しておく必要があった。
【００１０】
また、特許文献１および２に記載の技術では、特定の画像データに類似するあるいは関連する画像を検索して取得することができるが、その特定の画像データに関連する情報を、他のアプリケーションプログラムによって取得された情報の中から、直接的に取得することはできなかった。
さらに、特許文献３に記載の技術では、画像認識した認識データに対応する関連情報データを検索することができるが、その認識データと関連情報データとがすでに予め対応付けられている場合に検索できるだけであり、各情報がアプリケーションプログラムごとに管理記憶され、情報どおしが直接対応付けられていない場合に、アプリケーションプログラムの違いを超えて、ある情報と他の情報とを自動的に結びつけることはできなかった。
【００１１】
したがって、従来の技術を利用することにより、ユーザが見ている表示画像に関連する情報のうち、画像アプリケーションと異なる他のアプリケーションプログラムで管理記憶されているそのアプリケーションプログラム特有の関連データを自動的に取得することは困難であり、その関連データを取得するために、ユーザは、非常に多くの入力操作をする必要があり、多くの時間を必要とするので、ユーザの操作負担はかなり大きかった。
そこで、この発明は、以上のような事情を考慮してなされたものであり、取得された画像情報と関連する情報であって、かつ他のアプリケーションプログラムで管理記憶されている情報を容易に取得し、その取得にかかるユーザの操作負担の軽減と時間短縮をすることが可能な情報処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１２】
この発明は、表示部と、画像データと、アプリケーションプログラムと、アプリケーションプログラムによって管理されるアプリ関連データとを記憶した記憶部と、前記画像データの中から対象画像を選択する画像選択部と、前記選択された対象画像から、その画像の特徴を示す情報を含む検索対象情報を取得する画像特徴取得部と、前記検索対象情報と、前記記憶部に記憶された情報とを比較し、前記記憶部に記憶された情報の中から、前記検索対象情報と一致可能な情報を取得して、１または複数個の検索取得情報として記憶する比較検索部と、前記各検索取得情報と前記検索対象情報との間の一致度を計算し、前記各検索取得情報を、前記一致度の大きさの順に並べかえた検索結果リストを生成する評価部と、前記検索結果リストを前記表示部に表示させる制御部とを備えたことを特徴とする情報処理装置を提供するものである。
【００１３】
これによれば、ユーザによって選択された対象画像の特徴を示す検索対象情報を取得した後、記憶部に記憶された情報の中からその検索対象情報と一致可能な検索取得情報を取得して検索取得情報を並べかえた検索結果リストを表示するので、ユーザが対象画像を選択入力する操作をした後、検索結果リストを表示するまでのユーザの操作負担を軽減でき、検索結果リストを表示するまでの時間を短縮化することができる。
【００１４】
ここで、前記対象画像は、１つの画像データの全体画像、または、前記１つの画像データの中の任意の領域に属する部分画像であることを特徴とする。
これによれば、選択する対象画像を、全体画像かあるいは部分画像にすることにより、ユーザが意図する画像についての特徴を示す情報が得やすくなる。
【００１５】
また、前記検索対象情報は、前記選択された対象画像に予め付与された画像関連情報と、前記対象画像に対して所定の画像処理を行うことによって取得された対象画像の特徴を示す画像特徴情報と、前記画像特徴情報によって示される前記対象画像の特徴を識別するための特徴関連情報とを含むことを特徴とする。
【００１６】
また、前記一致度は、前記各検索取得情報に含まれる複数個の情報項目のうち、前記検索対象情報と一致可能な情報項目の個数、あるいは一致可能な情報項目の重みの総和であることを特徴とする。
【００１７】
また、前記比較検索部は、前記取得された複数個の検索対象情報と、前記記憶部に記憶された情報のうち、所定のアプリケーションプログラムによって管理されている１または複数個のアプリ関連データとを比較し、前記検索対象情報と一致可能なアプリ関連データを取得し、取得されたアプリ関連データを前記検索取得情報として記憶する関連データ検索部を含むことを特徴とする。
これによれば、選択した対象画像と、アプリ関連データとが直接関係づけられていない場合でも、対象画像の特徴を示す情報と一致可能なアプリ関連データが取得されるので、ユーザがそのアプリ関連データを取得するまでの操作負担を軽減でき、取得にかかる時間を短縮することができる。
【００１８】
また、前記検索結果リストが、複数個のアプリ関連データを含み、各アプリ関連データが、複数個の情報項目から構成される場合、前記検索結果リストに含まれるアプリ関連データを前記表示部に表示するとき、各アプリ関連データの所定の主要な情報項目のみを表示することを特徴とする。
【００１９】
また、前記表示部に、前記検索結果リストに含まれる１または複数個のアプリ関連データを表示している状態で、所望のアプリ関連データが選択入力された場合、その選択入力されたアプリ関連データの詳細内容を、前記表示部に表示させることを特徴とする。
これによれば、ユーザが表示されたアプリ関連データの詳細内容を確認することによって、取得されたアプリ関連データが、ユーザが所望していたものであるか否かを、容易に確認できる。
【００２０】
また、前記表示部にアプリ関連データの詳細内容が表示された状態で、そのアプリ関連データの詳細内容が選択入力された場合、前記制御部が、前記アプリ関連データを管理しているアプリケーションプログラムを起動させることを特徴とする。
【発明の効果】
【００２１】
この発明によれば、選択された対象画像の特徴を示す検索対象情報を取得した後、その検索対象情報と一致可能な検索取得情報を取得して検索結果リストを表示しているので、ユーザが対象画像を選択入力する操作をした後、検索結果リストを表示するまでのユーザの操作負担を軽減でき、検索結果リストを表示するまでの時間を短縮することができる。
【図面の簡単な説明】
【００２２】
【図１】この発明の情報処理装置の一実施例の構成ブロック図である。
【図２】この発明で利用される画像データの一実施例の説明図である。
【図３】この発明で利用されるアプリ関連データの一実施例の説明図である。
【図４】この発明において、画像データから取得される情報と、検索取得情報の一実施例の説明図である。
【図５】この発明で利用される検索結果リストの一実施例の説明図である。
【図６】この発明の検索結果リストの中から選択されたアプリ関連データの詳細内容と、受信メールの一実施例の説明図である。
【図７】この発明において、画像データを選択した後、画像データに関係する情報を表示するまでの一実施例の概要説明図である。
【図８】この発明において、画像データに関連する情報の取得処理の一実施例のフローチャートである。
【発明を実施するための形態】
【００２３】
以下、図面を使用して本発明の実施の形態を説明する。なお、以下の実施例の記載によって、この発明が限定されるものではない。
＜この発明の情報処理装置の構成＞
図１に、この発明の情報処理装置の一実施例の構成ブロック図を示す。
この発明の情報処理装置は、主として、制御部１１、表示部１２、入力部１３、部分画像抽出部２１、画像特徴取得部２２、比較検索部２３、関連データ検索部２４、評価部２８、記憶部３１とを備える。
【００２４】
制御部１１は、この発明の機能ブロックの動作を制御する部分であり、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏコントローラ、タイマー等からなるマイクロコンピュータにより実現される。
また、ＣＰＵが、ＲＯＭ等に記憶されたプログラムに基づいて、各ハードウェアを有機的に動作させることにより、この発明の画像表示、画像特徴取得、関連データ検索、検索結果の表示、アプリケーションプログラムの起動などの種々の機能を実現させる。
表示部１２は、選択した画像等の情報の表示を行う部分であり、ＣＲＴ、ＰＤＰ、ＬＣＤ、有機ＥＬディスプレイなどが用いられる。
この発明の情報処理装置が、携帯性を有する小型・軽量の情報端末である場合は、ＬＣＤや有機ＥＬディスプレイが用いられる。
【００２５】
入力部１３は、ユーザによる情報の入力や、機能選択入力等を行う部分である。また、この発明において、入力部１３は、画像データの中から対象画像を選択する画像選択部に相当する。タッチパネル１４、キーボード１５、マウス１６などが用いられる。携帯性を有する情報端末の場合はタッチパネル１４を用いることが好ましい。
また、タッチパネル１４は、表示部１２と入力部１３とを重ね合わせて形成されるが、表示部１２と入力部１３とを一体的に形成してもよい。
【００２６】
部分画像抽出部２１は、表示部１２に表示されている画像データから、ユーザの指示入力により、選択された部分の画像データを抽出する部分である。
たとえば、図７（ａ）に示すような２名の人物が写っている画像データに対して、ユーザが左側の人物の顔部分を選択する操作をした場合、図７（ｃ）に示すように、一方の人物（Ａさん）の顔部分の画像データを抽出する。抽出された部分画像に対して、後述するようなその画像の特徴となる情報（部分画像特徴情報）が取得される。抽出された部分画像は、指示部分画像５１として記憶部３１に記憶される。
【００２７】
画像特徴取得部２２は、ユーザによって選択された対象画像から、その画像の特徴を示す情報を含む検索対象情報を取得する部分である。
ここで、対象画像としては、１つの画像データの全体画像であってもよく、または、その１つの画像データの中の任意の領域に属する部分画像であってもよい。この部分画像は、上記した部分画像抽出部２１によって抽出された画像に相当する。
また、取得される検索対象情報は、選択された対象画像に予め付与された画像関連情報３３と、対象画像に対して所定の画像処理を行うことによって取得された対象画像の特徴を示す画像特徴情報と、画像特徴情報によって示される対象画像の特徴を識別するための特徴関連情報３５とからなる。
後述する部分画像特徴情報３４は、部分画像に対して行われた画像処理によって取得された画像特徴情報を意味する。
【００２８】
画像関連情報３３は、記憶部３１に記憶されている画像データごとに予め付加されている情報であって、たとえば、その画像データのファイル名やExif情報などが含まれる。
対象画像の特徴を示す情報は、画像データそのものや抽出された部分画像そのものから得られる特徴を示すものであり、画像の輪郭検出、画像分析、画像認識などの画像処理を行うことにより求められる。たとえば、人物、建物、風景等の区別や、人物名や地名などの画像に関連する情報が取得される。
画像特徴取得部２２によって取得される３つの情報（画像関連情報３３、部分画像特徴情報３４、特徴関連情報３５）を、以下では検索対象情報と呼ぶ。
【００２９】
比較検索部２３は、上記の３つの情報（３３，３４，３５）からなる検索対象情報と、記憶部３１にすでに記憶された情報とを比較して、その記憶部３１に記憶された情報の中から、検索対象情報と一致可能な情報を取得する部分である。取得された情報は、１または複数個の検索取得情報５２として、記憶部３１に記憶する。
比較検索部２３の具体的な処理は、主として、次の３つの検索処理からなる関連データ検索部２４によって行われる。ただし、比較検索部２３の検索対象は、アプリ関連データ４５に限るものではなく、記憶部３１に記憶されているあらゆるコンテンツ情報（文字、図形、画像、音声など）を対象としてもよい。関連データ検索部２４は、比較検索部２３に含まれる一つの機能ブロックである。
【００３０】
関連データ検索部２４は、取得された３つの検索対象情報（部分画像特徴情報３４、特徴関連情報３５、画像関連情報３３）に一致可能なアプリ関連データを検索する部分である。
具体的には、関連データ検索部２４は、取得された複数個の検索対象情報と、記憶部３１に記憶された情報のうち、所定のアプリケーションプログラムによって管理されている１または複数のアプリ関連データ４５とを比較し、検索対象情報と一致可能なアプリ関連データ４５を取得し、取得されたアプリ関連データ４５を検索取得情報５２として記憶部３１に記憶する。
【００３１】
アプリ関連データ４５とは、アプリケーションプログラム（以下、アプリプログラム、あるいはアプリと略称する）に関連付けられているデータであり、アプリプログラムによって管理され、記憶されているデータである。たとえば、メールアプリによって受信された受信メールや、ユーザによって、所定のアプリケーションプログラムを用いて作成された情報（テキスト情報、カレンダー情報、アドレス帳登録データ、イベントスケジュール、送信メール）などを意味する。図３に、アプリ関連データの一実施例の説明図を示す。１つのアプリ関連データ４５には、１または複数個の情報項目が含まれる。
【００３２】
部分画像特徴情報３４と一致可能な情報を検索する部分画像特徴検索２５では、たとえば、「Ａさんの顔」という部分画像特徴情報３４と一致可能な情報を含むアプリ関連データ４５を検索する。
【００３３】
後述する図３（ｃ）に示すように、アドレス帳アプリ４４によって生成されたアドレス帳アプリ関連データ４８の中に、顔画像として、「Ａさんの顔」というキーワード情報（テキストデータ）と、Ａさんの画像データそのものが対応付けて登録されている場合において、「Ａさんの顔」という指示部分画像５１であるＡさんの顔画像そのものである部分画像特徴情報３４と、アドレス帳アプリ関連データ４８の中に記憶されていた画像データとが一致する場合は、一致するアプリ関連データ４５として、この登録名「Ａさん」というアドレス帳アプリ関連データ４８が取得される。取得されたアプリ関連データは、検索取得情報５２の一つとして記憶される。
【００３４】
また、特徴関連情報３５を検索する特徴関連情報検索２６では、たとえば、「登録名：Ａさん」と「メールアドレス：a-san@gmail.com」という特徴関連情報３５と一致可能な情報を含むアプリ関連データ４５を検索する。
たとえば、後述する図３（ａ）に示すように、メールアプリ関連データ４６である受信メールの送信者に、「a-san@gmail.com」がある場合は、上記特徴関連情報３５の一方と一致するので、この受信メールが取得される。
また、図３（ｃ）に示すように、アドレス帳アプリ関連データ４８の中の登録名に、「Ａさん」がある場合は、上記特徴関連情報３５の一方と一致するので、このアドレス帳アプリ関連データ４８が取得される。この場合、取得された２つのアプリ関連データは、検索取得情報５２として記憶される。
【００３５】
また、画像関連情報３３を検索する画像関連情報検索２７では、たとえば、図４に示す画像関連情報３３のそれぞれと一致可能な情報を含むアプリ関連データ４５を検索する。
図４の画像関連情報３３のうち、ファイル名「画像A.JPG」と、タイムスタンプの日付部分と、Exifタイトルと、Exif撮影日時の部分と、図３（ａ）の受信メールのうち、添付ファイル名と、受信日時の日付部分と、Exif情報のタイトルと、Exif情報の撮影日時とが一致するので、この受信メールが取得される。取得された受信メールは、検索取得情報５２の一つとして記憶される。
【００３６】
上記のような３つの検索（２５，２６，２７）によって、アプリ関連データ４５が検索されるが、その検索によって取得されたアプリ関連データ４５は、たとえば、図４に示すように、検索取得情報５２として記憶部３１に記憶される。
図４では、検索取得情報５２として、３つのアプリ関連データ（４６，４７，４８）が取得された場合を示している。
【００３７】
評価部２８は、上記の関連データ検索部２４によって取得された検索取得情報５２と、検索対象情報との間の一致度を計算し、一致度の大きいもの順に検索取得情報５２を並べかえ、並べかえた検索取得情報５２から、検索結果リスト５３を生成する部分である。
一致度とは、取得した各検索取得情報５２に含まれるアプリ関連データの情報項目のうち、指示部分画像５１から取得した検索対象情報（３３，３４，３５）と一致している情報項目の個数、あるいは一致可能な情報項目の個数、あるいは一致した項目の各重みを合計した総和を意味する。
検索取得情報５２に含まれるアプリ関連データ４５が、複数個の情報項目からなる場合、１つの情報項目が、複数の検索対象情報（３３，３４，３５）に一致可能となる場合もあるが、その一致可能となる情報項目の個数あるいは重みを合計したものを、一致度とする。
【００３８】
一致度は、検索取得情報５２として取得された複数個のアプリ関連データ４５のそれぞれと、対象画像である部分画像との関係の深さを示す評価値と言うこともできる。
アプリ関連データの一致度が大きいほど、そのアプリ関連データは、ユーザが所望する情報である可能性が高いと考えられる。
たとえば、図５（ａ）に示すように、取得された検索取得情報５２の３つのアプリ関連データ（４７，４８，４６）の一致度（評価値）は、それぞれ、２，２，４となる。
この中では、メールアプリ関連データ４６の一致度が最も高い。
【００３９】
たとえば、図５（ａ）のアドレス帳アプリ関連データ４８のうち、登録名の「Ａさん」は、図４に示した特徴関連情報３５の登録名と一致し、さらに、このアプリ関連データ４８の画像データ（内容）は、「Ａさんの顔」であるので、部分画像特徴情報３４のＡさんの顔の部分画像と一致する。したがって２つの情報項目が一致するので、このアドレス帳アプリ関連データ４８の一致度は、２となる。
このように、評価部２８は、指示部分画像５１と一致する情報項目の個数が多いアプリ関連データ４５を優先的にユーザが選択しやすいようにするために、取得した検索取得情報５２の上記のような一致度を算出して、一致度の大きいもの順に並べかえる。
【００４０】
この並べかえた結果が、図５（ｂ）に示すような検索結果リスト５３である。
この検索結果リスト５３は、並べかえた検索取得情報５２そのものでもよいが、並べかえた検索取得情報５２を一覧表示することにより、ユーザが確認しやすいようにするために、各アプリ関連データに含まれる情報項目から選択した所定の主要な情報のみから構成してもよい。
たとえば、図５（ｂ）において、検索結果リスト５３の中のメールアプリ関連データ４６としては、主要な情報として選択した受信メールのサブジェクトと受信日時のみを表示している。
【００４１】
図５（ｂ）では、図５（ａ）に示す一致度の大きさの順に、検索取得情報５２を並べかえたものを示しており、一致度の最も大きいメールアプリ関連データ４６を最上に表示している。
また、カレンダーアプリ関連データ４７とアドレス帳アプリ関連データ４８とは同じ一致度であるので、その並べかえ順序はどちらでもよいが、たとえば、日付に関する情報が一致した方の優先順位を高くするという条件が設定されていたとすれば、図５（ｂ）のように、スケジュール日時の一部分が一致するカレンダーアプリ関連データ４７の方を上に表示すればよい。
【００４２】
したがって、並べかえの基準となる条件は、上記した一致度の他にも、必要に応じて、種々の条件を設定してもよい。
たとえば、日付情報が一致する関連データの一致度に多くの重み付けを設定してもよい。
また、ファイル名や人物名が一致する関連データは、一致度の大きさにかかわらず、最も高い一致度を与え、最上に表示するようにしてもよい。
あるいは、画像データそのものが完全一致しないが類似すると判定される場合は、一致度に低い重み付けを設定してもよい。
【００４３】
記憶部３１は、この発明で利用する情報、各機能を実行するときに生成される情報、アプリケーションプログラムなどを記憶する部分であり、特に、この発明で利用する情報としては、画像データと、アプリケーションプログラムによって管理されるアプリ関連データと、指示部分画像と、検索取得情報と、検索結果リストとが記憶される。記憶部３１としては、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体記憶素子、ＨＤＤ、ＳＳＤなどの記憶装置、その他の記憶媒体が用いられる。
アプリケーションプログラム４１としては、たとえば、画像データの取得、表示、加工等を行う画像アプリ３２、電子メールの作成および送受信を行うメールアプリ４２、カレンダー情報の作成、管理を行うカレンダーアプリ４３、電子メール等のアドレス帳の作成、管理を行うアドレス帳アプリ４４などがある。
ただし、これ以外にも、文書作成やカメラアプリなど、種々のアプリケーションプログラム４１を記憶しておいてもよい。
【００４４】
アプリ関連データ４５は、特定のアプリケーションプログラム４１によって管理記憶されている情報であり、そのアプリケーションプログラム４１によって作成、表示、編集などの処理が行われるデータであり、そのアプリケーションプログラムと予め関連付けられており、そのデータを選択する操作をすると、関連付けられたアプリプログラムが起動させられる。
画像アプリ３２に対しては、その画像アプリによって編集や表示することが可能な画像データが関連データとして記憶されている。
また、画像データには、それを作成したときや、外部サーバ等から取得したときに生成された画像関連情報３３が付与されている。
【００４５】
図２に、この発明で利用する画像データの一実施例の説明図を示す。
画像データは、たとえば、ファイル名、タイムスタンプ（保存日）、Exif情報（タイトル、撮影日時）、画像データそのものの内容などから構成される。
ここで、画像関連情報３３としては、上記のファイル名、タイムスタンプ、Exifタイトル、Exif撮影日時が含まれ、この他にも、たとえば、画像サイズ、位置情報のような情報が含まれていてもよい。
【００４６】
画像データの画像関連情報３３は、原則として、取得した画像データに予め付属している情報であり、書きかえられることのない情報である。
したがって、画像データから部分画像を抽出した場合に、その部分画像に対しても、もとの画像データと同一の画像関連情報３３が取得される。
【００４７】
また、部分画像特徴情報３４は、上記したように抽出した部分画像そのものの特徴を示す情報である。
たとえば、図４に示すように、指示部分画像５１が、「Ａさん」の顔を示すものであった場合、部分画像特徴情報３４として、Ａさんの全体画像から、Ａさんの顔の部分を抜き出した画像（たとえば、顔の輪郭部分の画像）が取得される。
また、部分画像の特徴を計算する場合、画像解析、画像認識、SIFT/SURF/BagOfFeatureのような局所特徴マッチングによる画像の分類などの従来から行われている画像処理が実行される。
この画像処理によって、部分画像が、たとえば、人物、顔、建物、風景、文字などのいずれかに該当するかが判断される。この判断結果も、部分画像特徴情報として記憶される。
【００４８】
また、特徴関連情報３５は、上記のようにして取得された部分画像特徴情報３４から取得される情報であり、部分画像の特徴を識別するための情報である。
特徴関連情報３５としては、たとえば、図４に示すように、画像データの登録名や、メールアドレスが該当する。
画像データの登録名やメールアドレスは、アドレス帳アプリ関連データ４８の中に、画像データとして顔画像が登録されている場合、その顔画像と対応させて予め登録されているキーワード情報である。顔画像の場合、このキーワード情報としては、登録人物名、メールアドレス、電話番号、ＳＮＳアカウントなどがあり、これらはアドレス帳アプリ関連データ４８の中に、顔画像に予め対応付けられて記憶されている。
また、画像処理をした結果、部分画像の内容が文字と認識された場合、認識された文字あるいは文字列が、キーワード情報として取得される。
さらに、認識文字列が日付情報と判断された場合、その日付情報が、キーワード情報の中の日付情報として取得され、アプリ関連データ４５の中に含まれる日付と比較する対象となる。
【００４９】
また、その他のアプリプログラムと関連するアプリ関連データ４５としては、たとえば、メールアプリ４２に関連するメールアプリ関連データ４６、カレンダーアプリ４３に関連するカレンダーアプリ関連データ４７、アドレス帳アプリ４４に関連するアドレス帳アプリ関連データ４８がある。
図３に、これらのアプリ関連データ４５の一実施例を示したが、ここに示した各アプリ関連データの内容は、一つの例であり、これ以外の内容を含むものであってもよい。
【００５０】
指示部分画像５１は、上記したように、ユーザによって指示入力され、部分画像抽出部２１によって取得された画像データであり、たとえば、図７（ｃ）に示す「Ａさんの顔」の画像データである。
検索取得情報５２は、上記したように、比較検索部２３によって検索されたすべての関連データに相当するものであり、具体的には、関連データ検索部２４によって行われた３つの検索によって取得されたアプリ関連データ４５を意味する。
検索結果リスト５３は、検索取得情報５２のそれぞれに対して評価部２８により一致度を求め、検索取得情報５２をその一致度の大きさの順に並べかえたものに相当する。
図５に、検索取得情報５２と、検索結果リスト５３の一実施例の説明図を示す。
【００５１】
図５（ａ）は、３つのアプリ関連データからなる検索取得情報５２であり、それぞれの一致度の大きさの順に並べかえたものが、図５（ｂ）の検索結果リスト５３である。
検索結果リスト５３が、１または複数個のアプリ関連データ４５を含み、各アプリ関連データ４５が、複数個の情報項目から構成される場合、検索結果リストに含まれるアプリ関連データを表示部１２に表示するときは、図５（ｂ）のように、各アプリ関連データの所定の主要な情報項目のみを表示するようにしてもよい。
【００５２】
図６に、検索結果詳細表示と、受信メールの表示画面の一実施例の説明図を示す。
図５（ｂ）に示した検索結果リスト５３が表示部１２に表示されると、ユーザは、自己が指示した部分画像５１に関連するデータとして、３つの関連データがあることがわかる。
このリストの中に、ユーザが内容を確認したいデータがある場合、ユーザは、タッチパネルの場合は確認したいデータの表示領域を選択入力（接触）するか、あるいはキーボードからリストの番号を入力する。
この選択入力が行われると、図６（ａ）に示すように、検索結果リスト５３の中にある選択した関連データの詳細内容が表示される。
すなわち、表示部１２に、検索結果リスト５３に含まれる１または複数個のアプリ関連データ４５を表示している状態で、ユーザによって、所望のアプリ関連データ４５が選択入力された場合、その選択入力されたアプリ関連データ４５の詳細内容を表示させる。
図６（ａ）では、図５（ｂ）の検索結果リストのうち、最上位のメールアプリ関連データを選択した場合を示している。
【００５３】
また、ユーザが図６（ａ）に示すような詳細表示を確認した後、さらに、その詳細表示がされたアプリ関連データ４５に関連するアプリケーションプログラム４１を起動させたい場合は、ユーザが、たとえば、詳細表示の表示領域のいずれかの部分を選択入力する。
すなわち、表示部１２に表示されたアプリ関連データ４５の詳細内容が、ユーザによって選択入力された場合、制御部１１が、アプリ関連データ４５を管理しているアプリケーションプログラム４１を起動させる。
これにより、この詳細表示のアプリ関連データ４５に関連するアプリケーションプログラム４１が起動させられると、そのアプリケーションプログラム４１の中で、上記アプリ関連データ４５が表示される。
図６の場合、ユーザが、図６（ａ）のメールアプリ関連データ４６の詳細表示の表示領域内に接触することにより、メールアプリ４２が起動させられ、そのメールアプリ４２が起動後、メールアプリ４２の中で、詳細表示されていたメールアプリ関連データ４６に相当する受信メールの内容が表示される。
【００５４】
＜表示画像データから関連アプリデータの表示までの概要＞
図７に、画像データを選択した後、画像データに関係する情報を表示するまでの一連の概要の説明図を示す。
ここで、ユーザが、画像アプリを起動させて、情報処理装置に記憶されている多数の画像データを順次あるいは一覧表示させながら、見ていたとする。
図７（ａ）において、たとえば、一覧表示していた複数の画像データの中から、ユーザが１つの画像データを選択入力したとすると、その画像データが表示部１２の表示画面に表示される。
この画像データは、２人の人物（Ａさん、Ｂさん）が写っている写真だとする。
図７（ｂ）において、ユーザが、上記画像データの中の人物「Ａさん」の部分を拡大表示させた場合を示している。
【００５５】
その後、ユーザが、拡大表示された「Ａさん」の画像を見て、この画像が添付されていた受信メールの内容を確認しようと考えたとする。
受信メールはメールアプリに関連付けられており、画像データは受信メールに添付されていたものであっても保存するときに画像アプリに関連付けられて記憶されていたものとすると、画像データから、直接受信メールを読み出すことはできない。
【００５６】
受信メールを読み出す従来のやり方としては、たとえば、ユーザが、画像データに写っている人物が「Ａさん」であることを確認した後、メールアプリを起動させて、受信メールリストを確認し、あるいは「Ａさん」をキーワードとして検索し、「Ａさん」に関連した受信メールのみをリストアップして、その中から「Ａさん」が写っている画像データの添付ファイルを確認していき、その添付ファイルが添付されている受信メールを探し出すというような、時間と手間のかかる一連の操作が必要となる。
そこで、この発明では、ユーザの操作負担の軽減と時間短縮のために、画像データの部分画像を選択入力する操作をした後、容易な選択入力を数回するだけで、図７（ｆ）に示すような所望のメールアプリを起動させた状態で受信メールの内容を確認できるようにする。
【００５７】
次に、図７（ｃ）において、拡大表示された画像データの中から、ユーザが、タッチパネルを利用して「Ａさん」の顔全体を含むように、Ａさんの顔の部分画像を選択入力する。
その後、ユーザは、検索を意味するキー入力や、検索を意味する表示アイコンの部分を選択入力をする。
この検索を意味する入力によって、上記したような部分画像抽出、部分画像に対する３つの検索対象情報（３３，３４，３５）の取得処理、アプリ関連データの検索処理が、自動的に行われる。
これらの一連の処理の後、図７（ｄ）に示すような検索結果リスト５３が生成されて、表示部１２に表示される。
【００５８】
ユーザは、この表示された検索結果リスト５３を確認し、このリストの中に、受信メールが存在する場合は、その受信メールが所望するものか否かを確認するために、その受信メールに対応する表示領域を選択入力する。
この選択入力により、図７（ｅ）に示すように、選択した受信メールの詳細内容が表示される。ユーザは、この詳細内容を見ることにより、目的とする画像データに対応する受信メールであることを確認することができる。
さらに、図７（ｅ）の詳細内容が表示された領域を選択入力したとする。
このとき、この選択入力が、詳細内容に関連付けられているアプリを起動させるための操作であるとすると、受信メールに関連付けられているメールアプリを起動させ、メールアプリが起動した後、メールアプリの表示内容として、図７（ｆ）に示すように、図７（ｅ）と同様な受信メールの内容が表示される。
【００５９】
このように、図７（ａ）の画像データの選択表示状態から、図７（ｆ）のメールアプリにおける受信メールの表示状態までの間において、ユーザは、表示画面を見ながら、数回の選択入力を行うだけで、容易に、所望の画像データに関係する目的の受信メールを確認することができる。
すなわち、画像データに関連する所望の情報を取得するまでのユーザの操作負担を軽減でき、時間を短縮することができる。
【００６０】
＜画像データに関する情報の取得処理＞
図８に、この発明の情報処理装置において、画像データに関連する情報の取得処理の一実施例のフローチャートを示す。
ステップＳ１において、ユーザが、画像アプリを起動させる。画像アプリの起動は、従来と同様の操作を行えばよく、たとえば、画像アプリを意味するアイコンを選択入力することにより行えばよい。
この選択入力が行われると、制御部１１は、選択入力されたアプリが画像アプリであることを判断し、記憶部３１から画像アプリ３２を主記憶メモリに読み出して、機能選択画面や画像データ一覧表示画面などの所定の情報を表示し、画像アプリ３２を動作可能状態にする。
【００６１】
ステップＳ２において、ユーザによる所定の入力操作に基づいて、表示部１２に、記憶部３１に記憶されている画像データの一覧表示をする。ただし、一覧表示ではなく、個別の画像データを１つ表示し、ユーザによるページ送り等の操作をすることにより、順次画像データを表示するようにしてもよい。
ステップＳ３において、ユーザが一覧表示を見て、所望の画像を選択する入力をしたとすると、ステップＳ４において、その選択入力に基づいて、制御部１１は、選択された対象画像を、表示部１２に表示させる。ここでは、たとえば、図７（ａ）に示すように、画像データが表示される。
【００６２】
ステップＳ５において、ユーザが、現在表示されている画像の中の部分画像を選択する入力をしたとすると、部分画像抽出部２１が、その選択入力された部分画像に対応する画像データを抽出する。
ここでは、図７（ｃ）に示すように、ユーザが、表示画面に対して、選択したい部分画像を含む表示領域を指示する入力をする。たとえば、「Ａさん」の顔の部分を囲むように、切り取る表示領域を指示する。
抽出された部分画像の画像データは、指示部分画像５１として、記憶部３１に記憶される。ただし、表示画像の中に、選択すべき部分画像がない場合や、表示画像全体を抽出して検索対象としたい場合は、表示された全体画像そのものを、部分画像として選択してもよい。
【００６３】
ステップＳ６において、制御部１１は、ユーザが、検索を意味する指示入力をしたか否かを確認する。
ユーザは、たとえば、表示画面上に表示された検索を意味するアイコンを選択入力する。この検索指示入力があったことを確認した場合、ステップＳ７へ進み、検索対象情報を取得する。
たとえば、３つのステップ（Ｓ２１，Ｓ２２，Ｓ２３）からなる検索処理により、選択された部分画像に対応する３つの情報（画像関連情報３３、部分画像特徴情報３４、特徴関連情報３５）を取得する。
【００６４】
ステップＳ２１の画像関連情報の取得処理では、抽出された指示部分画像５１が含まれるもとの画像データ（ステップＳ３で選択された対象画像）に予め設定されていた画像関連情報３３が取得される。たとえば、図２あるいは図４に示すような画像関連情報３３が取得される。
ステップＳ２２の部分画像特徴の取得処理では、画像特徴取得部２２によって、部分画像の画像データに対して、画像分析、画像認識などの画像処理を行うことにより、部分画像特徴情報３４を取得する。たとえば、図４に示すような部分画像特徴情報３４が取得される。
また、部分画像が、人物、顔、建物等のどの分類に属するものかについても、画像特徴情報３４として取得してもよい。
【００６５】
ステップＳ２３の特徴関連情報の取得処理では、取得された部分画像特徴情報３４に基づいて、所定の画像処理や検索処理が行われ、特徴関連情報３５を取得する。たとえば、図４に示すような特徴関連情報３５が取得される。
部分画像特徴情報３４によって、指示部分画像５１が人物の顔を含む画像であると判断されていた場合、たとえば、アドレス帳アプリ関連データの中に予め記憶されている登録者ごとの画像データを検索し、指示部分画像５１の画像データと、複数の登録者ごとの画像データとのパターンマッチングを行う。そして、所定の基準以上の類似度を有する登録者の画像データが見つけられた場合は、その見つけられた画像データに対応するアドレス帳アプリ関連データ４８の中に記憶されている登録者の情報（テキスト情報）を特徴関連情報３５として取得する。
【００６６】
登録者の情報としては、図３（ｃ）に示すように、登録名、電話番号、メールアドレス、「Ａさんの顔画像」というテキストデータ、Exif情報などがある。
これらの３つの検索処理により、図４に示すような画像関連情報３３と、部分画像特徴情報３４と、特徴関連情報３５とからなる検索対象情報が取得される。
【００６７】
ステップＳ８において、取得した検索対象情報を用いて、比較検索部２３の処理の１つである関連データ検索部２４によるアプリ関連データの検索を行う。
ここでは、この情報処理装置に記憶されているすべてのアプリプログラム４１に関連付けられているアプリ関連データ４５に対して検索処理が行われる。
たとえば、メールアプリ４２と、カレンダーアプリ４３と、アドレス帳アプリ４４に関連するデータに対する検索処理（Ｓ３１，Ｓ３２，Ｓ３３）が行われる。
【００６８】
ステップＳ３１において、メールアプリ関連検索では、３つの検索対象情報（３３，３４，３５）と、図３（ａ）に示すようなメールアプリ関連データ４６との比較が行われ、各メールアプリ関連データ４６を構成する情報項目の中に、検索対象情報（３３，３４，３５）のいずれかと一致するものが１つでもあれば、そのメールアプリ関連データ４６を取得し、検索取得情報５２として記憶する。
たとえば、図３（ａ）に示したメールアプリ関連データ４６である受信メールにおいては、送信者、受信日時、添付ファイル名、Exif情報という情報項目が、図４に示す３つの検索対象情報（３３，３４，３５）のいずれかと一致可能であるので、図３（ａ）の受信メールを、検索取得情報５２として記憶する。
【００６９】
ステップＳ３２において、カレンダーアプリ関連検索では、３つの検索対象情報（３３，３４，３５）と、図３（ｂ）に示すようなカレンダーアプリ関連データ４７との比較が行われ、１つでも一致する情報項目があるカレンダーアプリ関連データ４７を取得し、検索取得情報５２として記憶する。
たとえば、図３（ｂ）に示したカレンダーアプリ関連データ４７の場合は、スケジュールないように含まれる「Ａさん」と、図４の特徴関連情報３５の「登録名：Ａさん」とが一致し、スケジュール日時の「６／１３〜６／１５」の期間の中に、画像関連情報３３のExif撮影日時（６／１４）が含まれているので、この図３（ｂ）のカレンダーアプリ関連データ４７が取得され、検索取得情報５２として記憶される。
【００７０】
ステップＳ３３において、アドレス帳アプリ関連検索では、３つの検索対象情報（３３，３４，３５）と、図３（ｃ）に示すようなアドレス帳アプリ関連データ４８との比較が行われ、１つでも一致する情報項目があるアドレス帳アプリ関連データ４８を取得し、検索取得情報５２として記憶する。
たとえば、図３（ｃ）のアドレス帳アプリ関連データ４８は、登録名や画像データ（内容）が、３つの検索対象情報のいずれかと一致するので、この図３（ｃ）のアドレス帳アプリ関連データ４８が取得され、検索取得情報５２として記憶される。
このような３つのアプリ関連検索（Ｓ３１，Ｓ３２，Ｓ３３）によって、たとえば、図４に示すような検索取得情報５２が取得される。
ステップＳ９において、取得された検索取得情報５２を、記憶部３１に記憶する。
【００７１】
ステップＳ１０において、評価部２８が、記憶した検索取得情報５２を評価し、各検索取得情報５２の一致度を算出する。一致度の算出は、上記したように、たとえば、一致する情報項目の個数、あるいは一致項目の重みの総和に基づいて行う。例えば、情報項目の特性を考慮して、一致度の重み付けをしてもよい。
たとえば、図５（ａ）に示すように、図４に示した検索取得情報に含まれる３つのアプリ関連データ（４７，４８，４６）に対しては、それぞれ、２，２，４という一致度が算出される。
【００７２】
ステップＳ１１において、評価部２８は、検索取得情報５２を、算出した一致度の大きさの順序に並べかえる。そして、並べかえた後の検索取得情報５２から、検索結果リスト５３を生成する。
たとえば、図５（ａ）の検索取得情報５２は、その一致度の大きさの順序で並べかえられて、図５（ｂ）に示すような検索結果リスト５３が生成される。
メールアプリ関連データ４６の一致度が最も大きいので、そのメールアプリ関連データ４６は、検索結果リスト５３の最上に移動されている。
図５（ｂ）の検索結果リスト５３は、一覧表示するときに表示させる主要な情報項目のみを示している。
【００７３】
ステップＳ１２において、制御部１１は、生成された検索結果リスト５３を、表示部１２に表示させる。
ここでは、ユーザが検索を意味する選択入力をした後、図７（ｄ）に示したように、検索結果リスト５３が表示されるので、ユーザは、指示部分画像５１に関連するアプリ関連データ４５を確認することができる。
また、ユーザは、その確認後、表示されたアプリ関連データのうち、所望のアプリ関連データ４５の詳細内容を表示させたい場合は、所望のアプリ関連データ４５の表示領域を選択入力すればよい。
【００７４】
ステップＳ１３において、ユーザが、表示された検索結果リスト５３の中から、所望のアプリ関連データを選択入力したか否かを確認する。
ステップＳ１４において、上記選択入力がされた場合、選択されたアプリ関連データ４５の詳細内容を、表示させる。
ここで、たとえば、図５（ｂ）の最上のアプリ関連データ４５が選択された場合は、図６（ａ）および図７（ｅ）に示すような詳細表示が行われる。
ただし、ユーザが表示された詳細内容を見て、自己が意図していたものと異なると判断した場合は、たとえば、所定のキー入力や表示アイコンの選択入力をして、図５（ｂ）に示すような検索結果リスト５２の表示に戻し、別のアプリ関連データ４５を選択入力すればよい。
【００７５】
ステップＳ１５において、ユーザが、表示されているアプリ関連データに対応するアプリを起動させるために、詳細表示がされているアプリ関連データ４５を選択入力したか否かを確認する。
ステップＳ１６において、上記選択入力がされた場合、制御部１１は、対応するアプリを起動させ、そのアプリによって、選択されたアプリ関連データ４５を表示させる。
たとえば、メールアプリが起動された後、図６（ｂ）および図７（ｆ）に示すように、メールアプリの表示項目として、受信メールの内容が表示される。
【００７６】
ユーザは、この表示された受信メールの内容を見ることにより、ユーザが選択した部分画像を含む画像データが添付されていた受信メールを確認することができる。
ステップＳ１７において、ユーザが、受信メールの確認を終了し、表示終了を意味する入力操作をしたか否かを確認する。
表示終了の入力操作がされた場合は、ステップＳ２へ戻る。
【００７７】
以上の処理により、ユーザに操作負担をかけずに、また、短時間で、ユーザが所望する画像データに関連する情報を、ユーザに提供することができる。
特に、画像データに直接関係付けられていないアプリ関連データであっても、その画像データに関係する検索対象情報（３３，３４，３５）を取得することにより、ユーザは、表示される情報を確認しながら所望の表示項目を選択するという容易な操作をするだけで、ユーザが確認したいアプリ関連データを、ユーザに提供することができる。
【符号の説明】
【００７８】
１１  制御部
１２  表示部
１３  入力部
１４  タッチパネル
１５  キーボード
１６  マウス
２１  部分画像抽出部
２２  画像特徴取得部
２３  比較検索部
２４  関連データ検索部
２５  部分画像特徴検索
２６  特徴関連情報検索
２７  画像関連情報検索
２８  評価部
３１  記憶部
３２  画像アプリ
３３  画像関連情報
３４  部分画像特徴情報
３５  特徴関連情報
４１  アプリプログラム
４２  メールアプリ
４３  カレンダーアプリ
４４  アドレス帳アプリ
４５  アプリ関連データ
４６  メールアプリ関連データ
４７  カレンダーアプリ関連データ
４８  アドレス帳アプリ関連データ
５１  指示部分画像
５２  検索取得情報
５３  検索結果リスト
【図１】
2014059752.tif 000003
【図２】
2014059752.tif 000004
【図３】
2014059752.tif 000005
【図４】
2014059752.tif 000006
【図５】
2014059752.tif 000007
【図６】
2014059752.tif 000008
【図７】
2014059752.tif 000009
【図８】
2014059752.tif 000010