(57)【要約】【課題】撮影画像をキーに指定して画像解析を行い、キー画像に関連する様々な情報を配信する。【解決手段】ユーザが、携帯端末１０を用いて画像を撮影すると、ＧＰＳ受信部１０１や、撮影部１０２や、向き情報取得部１０８により取得された位置情報、距離情報、向き情報に基づいて、撮影した対象の位置情報を算出し、画像データに対応付けて画像情報記憶部１０４ａに記憶する。そして、携帯端末１０が未使用状態にあり、且つ電力を十分に有している場合に、携帯端末１０の制御部１００は、画像情報記憶部１０４ａに記憶された画像データと該画像データの撮影対象の位置情報とを画像解析サーバ３０へ自動的に送信する。一方、画像解析サーバ３０は、受信した画像データと受信した位置情報とに基づいて画像解析を行い、画像データに関連する様々な情報を提供する。そして携帯端末１０は、提供された情報を表示部１０７に表示する。【選択図】図２
2008244660.tif 000002
【特許請求の範囲】
【請求項１】
画像解析サーバと、前記画像解析サーバにネットワークを介して接続された携帯端末と、から構成される画像解析システムであって、
前記画像解析サーバは、
前記携帯端末から、画像データと該画像データの撮影対象の位置情報とを受信する画像情報受信部と、
位置情報と、該位置情報によって特定される位置付近の特徴を表す特徴情報と、該位置情報と該特徴情報とに関連する情報を掲載するサイトの特定情報を含む関連情報と、を対応付けて記憶する画像関連情報記憶部と、
前記携帯端末から、画像データと、画像データの撮影対象の位置情報とを受信すると、前記画像関連情報記憶部から、受信した該位置情報によって特定される位置付近の特徴情報を取得し、該画像データと最も適合した特徴情報に対応付けて記憶される関連情報を抽出する、関連情報抽出部と、
前記関連情報抽出部により抽出された関連情報を、前記携帯端末へ送信する、関連情報送信部と、
を備え、
前記携帯端末は、
撮影した画像データと該画像データの撮影対象の位置情報とを対応付けて記憶する、画像情報記憶部と、
前記画像情報記憶部に記憶される画像データと、該画像データの撮影対象の位置情報とを、前記画像解析サーバへと送信する、画像情報送信部と、
前記画像解析サーバから、前記画像データと該画像データに対応する前記位置情報とに関連する関連情報を受信する関連情報受信部と、
前記画像解析サーバから受信した前記関連情報を、選択可能に表示する、関連情報表示部と、
を備える、
ことを特徴とする、画像解析システム。
【請求項２】
画像データと該画像データの撮影対象の位置情報とを受信すると、該画像データと該位置情報とを解析し、解析結果に基づいて、該画像データと該撮影対象の位置情報とに関連する情報を掲載するサイトの特定情報を含む関連情報を抽出し、該関連情報を選択可能に表示する画面情報を返信する画像解析サーバに、ネットワークを介して接続された携帯端末であって、
撮影した画像データと該画像データの撮影対象の位置情報とを対応付けて記憶する、画像情報記憶部と、
前記画像情報記憶部に記憶される画像データと、該画像データの撮影対象の位置情報とを、前記画像解析サーバへと送信する、画像情報送信部と、
前記画像解析サーバから、前記画像データと該画像データに対応する前記位置情報とに関連する関連情報を受信する関連情報受信部と、
前記画像解析サーバから受信した前記関連情報を、選択可能に表示する、関連情報表示部と、
を備える、
ことを特徴とする、携帯端末。
【請求項３】
前記画像解析サーバへ送信する該画像の撮影対象の位置情報は、撮影位置情報、撮影対象までの距離情報、撮影向き情報に基づいて算出される、
ことを特徴とする、請求項２に記載の携帯端末。
【請求項４】
現在ユーザが前記携帯端末を使用中であるか否かを判別する、使用状況判別部と、
前記画像データと該画像データの撮影対象の位置情報とを、前記画像解析サーバへ送信可能な所定の電力を有するか否かを判別する送信能力判別部と、
前記画像データと、該画像データに対応付けられた位置情報とを前記画像解析サーバに送信したか否かを判別する、送信状態判別部と、
ユーザの操作に応答して、撮影画像を画像解析サーバに送信してもよいか否かを指定する送信可否情報を入力する、送信可否入力部と、
前記送信可否入力部から入力された送信可否情報を、各撮影画像に対応付けて前記画像情報記憶部に記憶する、画像情報記憶制御部と、
をさらに備え、
前記画像情報送信部は、前記携帯端末が使用中でないと前記使用状況判別部によって判別され、且つ、前記携帯端末が前記画像データを前記画像解析サーバへ送信するのに十分な電力を有すると前記送信能力判別部によって判別されると、前記画像情報記憶部に記憶されている画像データのうち、前記画像解析サーバに送信されていないと送信状態判別部によって判断され、且つ対応する前記送信可否情報に送信可能と指定されている画像データと該画像データに対応する位置情報とを前記画像解析サーバに送信する、
を特徴とする、請求項２に記載の携帯端末。
【請求項５】
前記携帯端末における、通話状態、画像出力状態、音声出力状態、未操作状態を検出する状態検出部をさらに備え、
前記状態検出部によって、前記携帯端末は通話状態になく、画像が出力されておらず、音声が出力されておらず、所定時間以上未操作状態が継続している、と検出された場合に、前記使用状況変別部は、前記携帯端末が未使用であると判別する、
ことを特徴とする、請求項４に記載の携帯端末。
【請求項６】
前記画像情報記憶部は、画像データに対応付けて、該画像データを前記画像解析サーバに送信したか否かを指定する送信状態フラグをさらに記憶し、前記送信状態判別部は送信状態フラグに未送信であると指定されている場合に、前記画像送信部は該画像データが見送信であると判別し、該画像データを前記画像解析サーバへ送信後、前記送信状態フラグに送信済であると指定する、
ことを特徴とする、請求項４に記載の携帯端末。
【請求項７】
画像データと該画像データの撮影対象の位置情報とを受信すると、該画像データと該撮影対象の位置情報とを解析し、解析結果に基づいて、該画像データと該撮影対象の位置情報とに関連する情報を掲載するサイトの特定情報を含む関連情報を抽出し、該関連情報を選択可能に表示する画面情報を返信する画像解析サーバに、ネットワークを介して接続された携帯端末を制御する方法であって、
撮影した画像データと前記画像データの撮影対象の位置情報とを対応付けて記憶する、画像情報記憶部と、
画像情報送信部が、前記画像情報記憶部に記憶される画像データと、該画像データの撮影対象の位置情報とを、前記画像解析サーバへと送信する、画像情報送信ステップと、
関連情報受信部が、前記画像解析サーバから、前記画像データと該画像データに対応する前記位置情報とに関連する関連情報を受信する関連情報受信ステップと、
情報表示部が、前記画像解析サーバから受信した前記関連情報を、選択可能に表示する、関連情報表示ステップと、
を備える、携帯端末を制御する方法。
【請求項８】
画像データと該画像データの撮影対象の位置情報とを受信すると、該画像データと撮影対象の位置情報とを解析し、解析結果に基づいて、該画像データと撮影対象の位置情報とに関連する情報を掲載するサイトの特定情報を含む関連情報を抽出し、該関連情報を選択可能に表示する画面情報を返信する画像解析サーバに、ネットワークを介して接続されたコンピュータを、
撮影した画像データと前記画像データの撮影対象の位置情報とを対応付けて記憶する、画像情報記憶部、
前記画像情報記憶部に記憶される画像データと、該画像データの撮影対象の位置情報とを、前記画像解析サーバへと送信する、画像情報送信部、
前記画像解析サーバから、前記画像データと該画像データに対応する前記位置情報とに関連する関連情報を受信する関連情報受信部、
前記画像解析サーバから受信した前記関連情報を、選択可能に表示する、関連情報表示部、
としてして機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から自動的に関連情報を取得する画像解析システム、および携帯端末等に関する。
【背景技術】
【０００２】
撮影機能を有する携帯端末において撮影された画像データを解析して、ユーザの指定した種別の情報を提供する技術が、例えば、参考文献１に開示されている。
一方、最近ではフルブラウザ対応端末の投入や通信事業者による情報検索・配信サービスの開始などでユーザのインターネット利用率は増加傾向にあるが、利用率の増加は、「目的を持ったユーザ」に起因するものであり、「目的を持たないユーザ」がインターネットの閲覧を楽しむきっかけがまだ少ないという問題もある。
【特許文献１】特開２００３−２８３６６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は上記実状を鑑みてなされたものであり、ユーザが「なんとなく」携帯端末で撮影した画像、即ち、検索を目的として撮影されていない画像をキーに指定して画像解析を行い、キー画像に関連する様々な情報や、その情報を掲載するサイトを自動的に配信する画像解析システム、携帯端末等を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記目的を達成するため、本発明の第１の観点に係る画像解析システムは、
画像解析サーバと、前記画像解析サーバにネットワークを介して接続された携帯端末と、から構成される画像解析システムであって、
前記画像解析サーバは、
前記携帯端末から、画像データと該画像データの撮影対象の位置情報とを受信する画像情報受信部と、
位置情報と、該位置情報によって特定される位置付近の特徴を表す特徴情報と、該位置情報と該特徴情報とに関連する情報を掲載するサイトの特定情報を含む関連情報と、を対応付けて記憶する画像関連情報記憶部と、
前記携帯端末から、画像データと、画像データの撮影対象の位置情報とを受信すると、前記画像関連情報記憶部から、受信した該位置情報によって特定される位置付近の特徴情報を取得し、該画像データと最も適合した特徴情報に対応付けて記憶される関連情報を抽出する、関連情報抽出部と、
前記関連情報抽出部により抽出された関連情報を、前記携帯端末へ送信する、関連情報送信部と、
を備え、
前記携帯端末は、
撮影した画像データと前記画像データの撮影対象の位置情報とを対応付けて記憶する、画像情報記憶部と、
前記画像情報記憶部に記憶される画像データと、該画像データの撮影対象の位置情報とを、前記画像解析サーバへと送信する、画像情報送信部と、
前記画像解析サーバから、前記画像データと該画像データに対応する前記位置情報とに関連する関連情報を受信する関連情報受信部と、
前記画像解析サーバから受信した前記関連情報を、選択可能に表示する、関連情報表示部と、
を備える。
【０００５】
また、本発明の第２の観点に係る携帯端末は、
また、画像データと該画像データの撮影対象の位置情報とを受信すると、該画像データと該撮影対象の位置情報とを解析し、該解析結果に基づいて、該画像データと撮影対象の位置情報とに関連する情報を掲載するサイトの特定情報を含む関連情報を抽出し、該関連情報を選択可能に表示する画面情報を返信する画像解析サーバに、ネットワークを介して接続された携帯端末であって、
撮影した画像データと前記画像データの撮影対象の位置情報とを対応付けて記憶する、画像情報記憶部と、
前記画像情報記憶部に記憶される画像データと、該画像データの撮影対象の位置情報とを、前記画像解析サーバへと送信する、画像情報送信部と、
前記画像解析サーバから、前記画像データと該画像データに対応する前記位置情報とに関連する関連情報を受信する関連情報受信部と、
前記画像解析サーバから受信した前記関連情報を、選択可能に表示する、関連情報表示部と、
を備える。
【０００６】
また、前記携帯端末において、前記画像解析サーバへ送信する該画像の撮影対象の位置情報は、撮影位置情報、撮影対象までの距離情報、撮影向き情報に基づいて算出されるようにしてもよい。
【０００７】
また、前記携帯端末は、
現在ユーザが前記携帯端末を使用中であるか否かを判別する、使用状況判別部と、
前記画像データと該画像データの撮影対象の位置情報とを、前記画像解析サーバへ送信可能な所定の電力を有するか否かを判別する送信能力判別部と、
前記画像データと該画像データに対応付けられた位置情報とを前記画像解析サーバに送信したか否かを判別する、送信状態判別部と、
ユーザの操作に応答して、撮影画像を画像解析サーバに送信してもよいか否かを指定する送信可否情報を入力する、送信可否入力部と、
前記送信可否入力部から入力された送信可否情報を、各画像に対応付けて前記画像情報記憶部に記憶する、画像情報記憶制御部と、
をさらに備え、
前記画像情報送信部は、前記携帯端末が使用中でないと前記使用状況判別部によって判別され、且つ、前記携帯端末が前記画像データを前記画像解析サーバへ送信するのに十分な電力を有すると前記送信能力判別部によって判別されると、前記画像情報記憶部に記憶されている画像データのうち、前記画像解析サーバに送信されていないと送信状態判別部によって判断され、且つ対応する前記送信可否情報に送信可能と指定されている画像データと該画像データに対応する位置情報とを前記画像解析サーバに送信する、
ようにしてもよい。
【０００８】
また、前記形態端末は、
前記携帯端末における、通話状態、画像出力状態、音声出力状態、未操作状態を検出する状態検出部をさらに備え、
前記状態検出部によって、前記携帯端末は通話状態になく、画像が出力されておらず、音声が出力されておらず、所定時間以上未操作状態が継続している、と検出された場合に、前記使用状況変別部は、前記携帯端末が未使用であると判別する、
ようにしても良い。
【０００９】
また、前記形態端末において、
前記画像情報記憶部は、画像データに対応付けて、該画像データを前記画像解析サーバに送信したか否かを指定する送信状態フラグをさらに記憶し、前記送信状態判別部は送信状態フラグに未送信であると指定されている場合に、前記画像送信部は該画像データが見送信であると判別し、該画像データを前記画像解析サーバへ送信後、前記送信状態フラグに送信済であると指定する、
ようにしてもよい。
【００１０】
また、本発明の第３の観点に係る携帯端末を制御する方法は、
画像データと該画像データの撮影対象の位置情報とを受信すると、該画像データと撮影対象の位置情報とを解析し、解析結果に基づいて、該画像データと撮影対象の位置情報とに関連する情報を掲載するサイトの特定情報を含む関連情報を抽出し、該関連情報を選択可能に表示する画面情報を返信する画像解析サーバに、ネットワークを介して接続された携帯端末を制御する方法であって、
撮影した画像データと前記画像データの撮影対象の位置情報とを対応付けて記憶する、画像情報記憶部と、
画像情報送信部が、前記画像情報記憶部に記憶される画像データと、該画像データの撮影対象の位置情報とを、前記画像解析サーバへと送信する、画像情報送信ステップと、
関連情報受信部が、前記画像解析サーバから、前記画像データと該画像データに対応する前記位置情報とに関連する関連情報を受信する関連情報受信ステップと、
情報表示部が、前記画像解析サーバから受信した前記関連情報を、選択可能に表示する、関連情報表示ステップと、
を備える。
【００１１】
また、本発明の第４の観点に係る携帯端末を制御するプログラムは、
画像データと該画像データの撮影対象の位置情報とを受信すると、該画像データと撮影対象の位置情報とを解析し、解析結果に基づいて、該画像データと撮影対象の位置情報とに関連する情報を掲載するサイトの特定情報を含む関連情報を抽出し、該関連情報を選択可能に表示する画面情報を返信する画像解析サーバに、ネットワークを介して接続されたコンピュータを、
撮影した画像データと前記画像データの撮影対象の位置情報とを対応付けて記憶する、画像情報記憶部、
前記画像情報記憶部に記憶される画像データと、該画像データの撮影対象の位置情報とを、前記画像解析サーバへと送信する、画像情報送信部、
前記画像解析サーバから、前記画像データと該画像データに対応する前記位置情報とに関連する関連情報を受信する関連情報受信部、
前記画像解析サーバから受信した前記関連情報を、選択可能に表示する、関連情報表示部、
としてして機能させる。
【発明の効果】
【００１２】
本発明によれば、検索を目的として撮影されていない画像をキーに指定して画像解析を行い、キー画像に関連する様々な情報を自動的に配信することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面を参照して説明する。
【００１４】
図１は、本実施の形態における画像処理システムの構成例を示すブロック図である。図１に示すように、本画像解析システムは、複数の携帯端末１０と、画像解析サーバ３０とが、通信ネットワーク２０を介して接続されている。なお、図１においては便宜上３台の携帯端末を示しているが、接続台数は特にこれに限定するものではない。
以下本システムの各構成要素について説明する。
【００１５】
本実施の形態にかかる携帯端末１０は、例えば、携帯電話やＰＨＳ（Personal Handyphone System）、などといった移動体通信用の端末装置であり、図２に示すように、携帯端末１０は、制御部１００と、ＧＰＳ情報受信部１０１と、撮影部１０２と、操作部１０３と、記憶部１０４と、通信部１０５と、端末状態検出部１０６と、表示部１０７と、向き情報取得部１０８と、音声出力部１０９と、を備える。
【００１６】
制御部１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）（図示せず）、ＲＡＭ（Random Access Memory）（図示せず）等から構成されており、携帯端末１０全体の制御を行う。具体的には、ＣＰＵがＲＯＭや後述の記憶部１０４に記憶されているプログラムを実行することによって制御・演算処理を行う。この制御・演算処理の際、制御部１００はＲＡＭに各種データを一時的に記憶し、作業領域として使用する。
【００１７】
ＧＰＳ情報受信部１０１は、受信回路等から構成され、ＧＰＳ衛星（図示せず）からの電波を受信し、受信した電波から距離を測定することで、携帯端末の位置する緯度および経度を等の位置情報を算出する。
【００１８】
撮影部１０２は、レンズ、ＣＣＤまたはＣＭＯＳなどの撮像素子、駆動回路などから構成されており、レンズによって結像された被写体の光学像を光電変換して映像信号を生成する。また、撮影部１０２は、レンズの焦点距離などから、レンズから撮影対象までの距離も取得する。
【００１９】
操作部１０３は、ユーザからの操作入力、文字情報入力等を受け付けるキーパッドであり、画像撮影時において、例えば後述する送信可否情報を指定する。
【００２０】
記憶部１０４は、ＥＥＰＲＯＭなどの不揮発性メモリから構成されており、携帯端末１０を制御するプログラムや、後述する画像解析サーバ３０の送信先アドレス（ＩＰアドレス、ＵＲＬなど）を含む種々の所定値等を記憶する。この他、記憶部１０４は撮影した画像および画像に関する情報を記憶する画像情報記憶部１０４ａとして機能する。
【００２１】
画像情報記憶部１０４ａは、図４（Ａ）に示すように、画像ファイル、位置情報、送信可否フラグ、送信状態フラグ等から構成される情報である。このうち、画像ファイルは撮影部１０２によって撮影された画像データのファイルである。位置情報は、該画像の撮影対象物の位置を示す位置情報である。位置情報は例えば、緯度、経度によって示される。送信可否フラグは、ユーザによって指定される情報であり、該画像を後述の画像解析サーバ３０へ送信してもよいか否かを指定する。例えば、ユーザが画像解析サーバ３０へ画像の送付を行ってもよいと指定した場合は、送信可否フラグに「送信可能」が保存され、送付を行わないとと指定した場合は、「送信不可」が保存される。送信状態フラグは、該画像を、後述の画像解析サーバ３０へ送信したか否かを示すフラグである。例えば、画像が画像解析サーバ３０へ送信されていない場合は、送信状態フラグに「未送信」が保存され、送信された場合は、「送信済」が保存される。
【００２２】
通信部１０５は、送受信回路などから構成され、基地局（図示せず）と無線通信するためのアンテナ（図示せず）による電波送受信を制御することで、基地局を介してインターネットに接続し、データ通信をおこなう。
【００２３】
端末状態検出部１０６は、種々のセンサ等から構成され、電池（図示せず）の残量、充電状態、通話状態、後述の表示部１０７への出力状態、後述の音声出力部１０９への出力状態、操作部１０３の未操作期間等を検出する。
【００２４】
表示部１０７は、ＬＣＤ（Liquid Crystal Display）等の表示装置を含み、画像データやテキストデータ等を表示する。
【００２５】
向き情報取得部１０８はジャイロ等から構成されており、携帯端末の向いている方位情報を取得する。
【００２６】
音声出力部１０９は、Ｄ／Ａ変換器やスピーカなどから構成されており、音声データを出力する。
【００２７】
次に、画像解析サーバ３０について説明する。画像解析サーバ３０は、携帯端末１０から自動的に送信された画像を解析して、関連情報を提供するサーバである。図３に示すように、画像解析サーバ３０は、制御部３００、記憶部３０１、通信部３０２などを備える。
【００２８】
制御部３００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）（図示せず）、ＲＡＭ（Random Access Memory）（図示せず）等から構成されており、画像解析サーバ３０全体の制御を行う。具体的には、ＣＰＵがＲＯＭや後述の記憶部３０１に記憶されているプログラムを実行することによって画像解析等の処理を行う。この制御・演算処理の際、制御部３００はＲＡＭに各種データを一時的に記憶し、作業領域として使用する。
【００２９】
記憶部３０１はハードディスクなどの大容量記憶装置から構成され、制御部３００が画像を解析するためのプログラムを記憶する。また、記憶部３０１は、撮影画像と、該撮影画像の対象物の位置情報を関連付けて記憶する画像関連情報記憶部３０１ａとしても機能する。
【００３０】
画像関連情報記憶部３０１ａは、例えば、図４（Ｂ）に示すように、位置情報に対応付けて、特徴情報と、関連サイト情報と概要情報と、を記憶する。位置情報は、緯度や経度情報等であり、特徴情報は、例えば、該位置情報によって特定される位置の周辺に存在する特徴的なランドマーク、（例えば、ＧＰＳに登録されているような店舗や施設等）を特定する情報である。関連サイト情報、および概要情報は、特徴情報および位置情報に関連する情報である（関連サイト情報、および概要情報を関連情報と呼ぶ）。即ち、関連サイト情報は、位置情報と特徴情報とに関連する情報を掲載するサイトやブログ等のＵＲＬ等を記憶する。また、概要情報には、関連サイト情報に関する簡単な説明が登録される。例えば、位置情報が東京都港区芝公園４丁目付近を示すものであり（これを緯度ｘｘ度、経度ｙｙ度とする）、特徴情報が、赤いタワーの画像であるとき、関連サイト情報としては、東京タワーに関するサイトや、ブログ、等のＵＲＬが記憶される。そして、これらサイトの簡単な説明が、例えば「東京タワーのサイト」等として概要情報に登録される。
なお、本実施の形態では、関連情報として関連サイト情報および概要情報を記憶するが、その他、特徴情報および位置情報に関連する情報であってもよい。
【００３１】
通信部３０２は、通信インタフェース等を備え、携帯端末１０と通信を行う。通信部３０２は、モデム装置や赤外線通信装置等を含んでいてもよい。
【００３２】
次に、以上の構成を有する携帯端末１０および画像解析サーバ３０の動作について説明する。
【００３３】
（画像の蓄積）
まず、携帯端末１０において、画像を撮影し蓄積するフローを図５を参照して説明する。ユーザは、操作部１０３を操作して、携帯端末１０に画像の撮影を指示する（ステップＳ１０１）と、撮影部１０２は画像を撮影する。撮影と同時に、制御部１００は撮影対象物の位置情報を算出する（ステップＳ１０２）。即ち、ＧＰＳ情報受信部１０１から撮影位置を取得し、撮影部１０２から撮影対象までの距離情報を取得し、向き情報取得部１０８からは、撮影時の携帯端末１０の向きを取得する。そして、制御部１００はこれら撮影位置情報、撮影距離情報、向き情報から、撮影対象物の位置情報を算出する。次いで、制御部１００は、撮影した画像を画像解析サーバ３０に送信しても良いか否かをユーザが指定可能な選択メニューを表示部１０７に表示する（ステップＳ１０３）。ユーザが操作部１０３を操作して送信可否情報（送信してもよいか否か）を指定すると（ステップＳ１０４）、制御部１００は、ステップS１０１で撮影された画像データからファイルを作成し、撮影対象物の位置情報と、送信可否情報とに対応付けて画像情報記憶部１０４ａに記憶する。このとき、送信状態フラグには、「未送信」を保存する（ステップＳ１０５）。
【００３４】
撮影対象は特に検索を目的としたものではなく、ユーザが通常の使用時に適宜目にしたものであってよい。例えば、街中で見掛けた建造物であったり、オブジェであったり、ユーザが撮影したい任意のものであってよい。
【００３５】
（関連情報の自動配信）
このようにステップＳ１０１〜Ｓ１０５を実施して蓄積された画像を、携帯端末１０の状態に基づいて、制御部１００は自動的に画像解析サーバ３０へと送信する。そして、画像解析サーバ３０は、送信された画像と位置情報とに基づいて関連情報を送信元の携帯端末１０へ配信する。以下、関連情報の自動配信のフローを、図６を参照して説明する。
【００３６】
携帯端末１０は、所定の時間間隔、あるいは所定の時間に、以下に示す自動配信処理を実行する。まず、制御部１００は、携帯端末１０が未使用な状態にあるか否かを判断する（ステップＳ２００）。ここで、制御部１００は、端末状態検出部１０６からの検出結果に基づいて、通話状態でないこと、表示部１０７に画像や映像が出力状態にないこと（即ち、テレビ鑑賞などをしていないこと）、音声出力部１０９に音声が出力状態にないこと（即ち、音楽鑑賞などをしていないこと）、操作部１０３が所定時間以上未操作であること、等の条件を満たしていると判断すると、携帯端末１０が未使用な状態にあると判断する。
【００３７】
次に、制御部１００は端末状態検出部１０６の検出した電池残量が所定量以上であるか否かを判断する（ステップＳ２０１）。所定量以下であると判断された場合（ステップＳ２０１；Ｎｏ）、制御部１００は、充電中であるか否かを端末状態検出部１０６の検出した結果から判断する（ステップＳ２０２）。充電中であるか（ステップＳ２０２；Ｙｅｓ）あるいは電池残量が所定量以上である場合（ステップＳ２０１；Ｙｅｓ）は、制御部１００はステップ２０３へと処理を進める。そうでない場合、即ち電池残量が所定量以下であり（ステップ２０１；Ｎｏ）、且つ、充電中でもない場合（ステップＳ２０２；Ｎｏ）、処理はステップＳ２００へ戻る。
【００３８】
以上の処理（ステップＳ２００〜Ｓ２０２）で、携帯端末１０が未使用な状態にあり、電池の供給が十分にあると判断すると、次いで基地局（図示せず）からの受信電波の強さが所定値以上であるか否か（即ち、通信状態が良好であるか否か）を判断する（ステップＳ２０３）。電波の強さが所定値以上であれば（ステップＳ２０３；Ｙｅｓ）、制御部１００は画像情報記憶部１０４ａに記憶されている画像データのうち、送信可情報が「可」であり、且つ否送信フラグが「未送信」であるものについて、該画像データ、および該画像データに対応付けられた撮影対象物の位置情報を画像解析サーバ３０へ送信する（ステップＳ２０４）。なお、送信先である画像解析サーバ３０のアドレスは、記憶部１０４に記憶されている送信先アドレスを参照することで取得可能である。そして送信後、制御部１００は送信フラグを「送信済」に更新する（ステップＳ２０５）。受信電波の強さ所定値以下の場合（ステップＳ２０３；Ｎｏ）、処理はステップＳ２００へ戻る。
【００３９】
画像解析サーバ３０の制御部３００は、画像データと、該画像の撮影対象物の位置情報とを受信すると（ステップＳ２０６）、これら情報に基づいて、既存の方法を用いて画像解析を行い、関連情報を取得する（ステップＳ２０７）。例えば、制御部３００は、画像の中心点を含む輪郭線を抽出し、輪郭線に含まれる色情報等の特徴を抽出する。もう一方で、制御部３００は、撮影対象物の位置情報に基づいて、画像関連情報記憶部３０１ａから特徴情報を取得する。そして、画像から抽出された情報と、位置情報に基づいて取得された特徴情報とでパターンマッチングを行い、最も適合した特徴情報に対応付けられている関連情報、即ち、特徴情報に関連するサイト情報および概要情報を取得する。
【００４０】
例えば、経度ｘｘ、緯度ｙｙ付近の赤いタワーを撮影した画像データを受信したとすると、制御部３００は、画像関連情報記憶部３０１ａから経度ｘｘ、緯度ｙｙ付近の特徴情報をいくつか取得し、受信した画像データとパターンマッチングを行う。その中で、例えば、東京タワーを撮影した画像１と最も適合したとすると、http:/tokyotower.xx.jpが関連サイト情報として取得される（図４（Ｂ）参照）。そして、概要情報としては「東京タワーのサイト」が取得される。なお、画像解析方法としては、上記に限らず、他の方法を用いてもよい。
【００４１】
次に、制御部３００は、該関連サイト情報および対応する概要情報をリスト化し、ユーザがクリックするだけでアクセスできるような選択可能なリンクを有するウェブページや、メールなどの形で、解析した画像データの送信元である携帯端末１０へ通信部３０２を介して関連情報として送信する（ステップＳ２０８）。
【００４２】
携帯端末１０側では、通信部１０５を介して受信した（ステップＳ２０９）関連情報を掲載したウェブページ、またはメールを表示部１０７に表示する（ステップＳ２１０）。以上で関連情報の自動配信処理が終了する。ユーザは、表示された関連情報の中から興味のあるものをクリックするだけで、「なんとなく」撮影した画像に関連するサイトや情報を閲覧することが可能となる。
【００４３】
このようにして、本実施の形態に係る画像解析システムは、比較的ユーザが興味を持ちそうな関連情報を携帯端末１０に自動的に配布することによって、明確な目的を持たないユーザにインターネットを閲覧するきっかけを提供する。
【００４４】
また、携帯端末１０は、負荷が少ない未使用状態にある時に画像を送信するため、使用中に処理が重くなる等の不快感をユーザに与えないで済むというメリットもある。
【００４５】
以上、本発明の実施の形態を説明したが、本発明を実施するにあたっては、種々の形態による変形及び応用が可能であり、上記実施の形態に限られるものではない。
【００４６】
例えば、上記実施の形態では、送信状態フラグを画像に対応付けて記憶したが、未送信フォルダや送信済フォルダを記憶部１０４に用意してもよい。そして、ユーザが画像解析サーバ３０へと送信してもよいと指定した画像のみを、未送信フォルダに保存し、未送信フォルダ内の画像が画像解析サーバ３０へ送信されると、送信済フォルダに移動するようにしても良い。
【００４７】
また、自動送信機能は常に有効とするのではなく、ユーザが操作部１０３を操作して、自動送信機能を無効にするための指定をできるようにしても良い。
【００４８】
また、残電力が所定量以上の場合に、画像データを画像解析サーバ３０に送信するとしたが、送信状態フラグが「未送信」となっており、送信可否フラグが「送信可能」となっている画像データのデータ量から、送信に必要な電力を算出して、該算出された電力以上残電力を携帯端末が有する場合に送信してもよい。
【００４９】
また、上記実施の形態においては、ユーザの撮影した静止画を画像解析サーバ３０へ送信するようにしたが、動画の中から、所定の画像（例えば、最初と最後のフレーム画像）を選択して、画像解析サーバ３０へと送信してもよい。
【００５０】
また、未使用状態であるか否かを簡易的に判別する方法として、携帯端末１０の開閉状態を調べ、さらに未操作状態の時間を調べる方法もある。例えば携帯端末１０が折り畳み型であるか、或いは操作部をカバーするフリップを備えている場合、端末状態検出部１０６は、操作部がユーザに露出している状態を「開」、隠れている状態を「閉」として検出する。「開」の場合はさらに前回の操作から所定時間以上未操作であるか否かを検出する。
【００５１】
このとき、所定時間以上未操作状態が続いていれば、制御部１００は携帯端末１０が未使用状態であると判別してもよい。開閉状態が「閉」である場合も、制御部１００は携帯端末１０が未使用状態であると判別してもよい。
【００５２】
また、上記実施の形態においては、携帯端末１０内に蓄積された撮影画像を画像解析サーバ３０へ送信するようにしたが、携帯端末１０の他に、撮影対象部の位置情報が算出可能なデジタルカメラ等で撮影した画像をパソコンに記憶させ、パソコンは、これら撮影画像を画像解析サーバ３０へ自動的に送信することで、関連情報を取得するようにしてもよい。
【００５３】
また、上記実施の形態においては、撮影対象物の位置情報を携帯端末１０が算出するようにしたが、携帯端末１０は、撮影対象の位置情報算出するのに必要な情報（位置情報、向き情報、距離情報等）を画像解析サーバ３０へ送信し、画像解析サーバ３０において、撮影対象物の位置情報を算出するようにしても良い。
【００５４】
また、上記実施の形態においては、画像データと、該画像の撮影対象の位置情報との両方に基づいた関連情報を配信するようにしたが、画像データや位置情報に個別に関連する情報を配信するようにしてもよい。この場合、撮影対象の位置ではなく、撮影場所自体の位置に基づいて、撮影場所付近の店舗情報等を提供してもよい。
【００５５】
また、上記実施の形態では、携帯端末１０や画像解析サーバ３０の制御プログラムが記憶部等に予め記憶されているものとして説明した。しかし、携帯端末１０や画像解析３０サーバに、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）、ＵＳＢメモリ等の記憶媒体を読み取る装置のいずれか適したものを備え、これら記憶媒体に制御プログラムを格納して配布し、読取装置によってプログラムを読み取らせてもよい。そして、読み取ったプログラムをインストールすることにより、上述の処理動作を実行をする装置を構成してもよい。
【００５６】
また、制御プログラムを、通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、携帯端末１０や画像解析サーバ３０にダウンロード等するようにしてもよい。さらに、通信ネットワーク２０を介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。
【００５７】
なお、上記実施の形態に係る携帯端末１０や画像解析サーバ３０の各制御部がプログラムを実行することによって制御する構成にするのではなく、専用のハードウェアによっても実現することも可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態に係る画像解析システムの構成例を示すブロック図である。
【図２】携帯端末の構成例を示すブロック図である。
【図３】画像解析サーバの構成例を示すブロック図である。
【図４】（Ａ）は画像情報記憶部のデータ構成例を示す図であり、（Ｂ）は画像関連情報記憶部のデータ構成例を示す図である。
【図５】画像の蓄積処理のフロー図である。
【図６】関連情報の自動配信処理のフロー図である。
【符号の説明】
【００５９】
１０  携帯端末
１００  制御部
１０１  ＧＰＳ受信機
１０２  撮影部
１０３  操作部
１０４  記憶部
１０４ａ  画像情報記憶部
１０５  通信部
１０６  端末状態検出部
１０７  表示部
２０  通信ネットワーク
３０  画像解析サーバ
３００  制御部
３０１  記憶部
３０１ａ  画像関連情報記憶部
３０２  通信部
【図１】
2008244660.tif 000003
【図２】
2008244660.tif 000004
【図３】
2008244660.tif 000005
【図４】
2008244660.tif 000006
【図５】
2008244660.tif 000007
【図６】
2008244660.tif 000008