(57)【要約】【課題】  静止画・動画を問わず、様々な映像情報と、これに関連する情報とを有機的に融合させる。【解決手段】  撮影装置１と、外部に設けられた情報提供サーバＳと、撮影装置１と情報提供サーバＳとを接続するネットワーク５と、を有している。情報提供サーバＳは、地域情報、例えば、販売店、飲食店、公共機関（観光協会などを含む）、駅、病院などのクライアントがそれぞれの有する情報であって一般に参照させることが可能な各種情報を情報提供サーバＳにアップロードしている。撮影装置１により、日光の名所である、「杉並木」３１ａ、「三猿」３１ｂ、「華厳の滝」３１ｃ、「いろは坂」３１ｄ、「日光東照宮」３１ｅ、「日光江戸村」３１ｆのそれぞれのシーンにおける映像を順に撮影していった場合に、それぞれのシーンにおける映像３１ａ〜３１ｆと、地域情報サーバＳから通信部７を介して取得した地域情報の解説テキストファイルと、を対応付けしてメモリに記憶する。【選択図】  図１
2005191892.tif 000002
【特許請求の範囲】
【請求項１】
第１種情報を取得する第１種情報取得手段と、
前記第１種情報と、該第１種情報と関連する内容を有する第２種情報であって外部の情報ソースから取得可能な第２種情報と、を関連付けする関連付け情報を生成する関連付け情報生成手段と、
前記第１種情報と前記関連付け情報とを記憶する第１記憶手段と
を有する情報取得装置。
【請求項２】
前記関連付け情報に基づいて前記第２種情報を前記外部の情報ソースから取得するための第２種情報取得手段と、該第２種情報取得手段との間のインターフェイスを形成するインターフェイス手段を有することを特徴とする請求項１に記載の情報取得装置。
【請求項３】
前記第１種情報と前記第２種情報とを、前記関連付け情報に基づいて合成する情報合成手段と、
該情報合成手段により合成された合成情報を記憶する第２記憶手段と
を有する請求項１又は２に記載の情報取得装置。
【請求項４】
第１種情報を取得する第１種情報取得手段と、
前記第１種情報と関連する内容を有する第２種情報を外部の情報ソースから取得する第２種情報取得手段と、
前記第１種情報と前記第２種情報とを関連付けする関連付け情報を生成する関連付け情報生成手段と
を有する情報取得装置。
【請求項５】
前記第１種情報と、該第１種情報と関連する内容を有する前記第２種情報と、前記関連付け情報と、を記憶する記憶手段を有する請求項４に記載の情報取得装置。
【請求項６】
前記第１種情報と、該第１種情報と関連する内容を有する前記第２種情報と、前記関連付け情報と、のうちのいずれか１又は２以上を記憶する記憶手段と、
該記憶手段に記憶されなかった情報を他の記憶手段に記憶させる制御を行う記憶制御手段と
を有する請求項４に記載の情報取得装置。
【請求項７】
前記第１種情報と、前記関連付け情報と、を記憶する記憶手段を有し、
該第１種情報と関連する前記第２種情報と、該記憶手段に記憶されなかった情報を他の記憶手段に記憶させる制御を行う記憶制御手段と
を有する請求項４に記載の情報取得装置。
【請求項８】
請求項４から７までのいずれか１項に記載の情報取得装置と、
前記第１種情報と前記第２種情報とを合成した合成情報を、前記記憶手段に記憶前又は記憶後に生成する情報合成手段を有することを特徴とする情報取得システム。
【請求項９】
請求項３又は７に記載の情報取得装置に加えて、さらに、前記合成情報を再生する合成情報再生手段を有することを特徴とする情報処理装置。
【請求項１０】
前記第１種情報の内容を解析する解析部を備え、該解析部の解析に基づいて前記第２種情報を検索することを特徴とする請求項１から９までのいずれか１項に記載の装置。
【請求項１１】
画像情報を取得する撮像手段と、
前記画像情報と、該画像情報と関連する内容を有する画像情報、音声情報及びテロップ情報のうちの少なくともいずれか１つを含む関連情報であって外部の情報ソースから取得可能な関連情報と、を関連付けする関連付け情報を生成する関連付け情報生成手段と、
前記画像情報と前記関連付け情報とを記憶する記憶手段と
を有するカメラ。
【請求項１２】
請求項１１に記載のカメラであって、
前記関連付け情報に基づいて前記画像情報と関連する内容を有する前記関連情報を、ネットワークを介して外部の情報ソースから取得するための通信手段との間のインターフェイスを形成する通信インターフェイスを有することを特徴とするカメラ。
【請求項１３】
画像情報を取得する撮像手段と、
前記画像情報と関連する内容を有する関連情報であって、画像情報、音声情報及びテロップ情報のうちの少なくともいずれか１つを含む関連情報を、ネットワークを介して外部の情報ソースから取得するための通信手段と、
前記画像情報と前記関連情報とを関連付けする関連付け情報を生成する関連付け情報生成手段と、
前記画像情報と前記関連情報と前記関連付け情報とを記憶する記憶手段と
を有する携帯端末。
【請求項１４】
音声情報及びテロップ情報のうちの少なくとも一方を含む関連情報を提供する外部の情報ソースと、
画像情報を取得する撮像手段と、前記画像情報と関連する内容を有する関連情報であって画像情報、音声情報及びテロップ情報のうちの少なくともいずれか１つを含む関連情報を、ネットワークを介して前記情報ソースから取得するための通信手段と、前記画像情報と前記関連情報とを関連付けする関連付け情報を生成する関連付け情報生成手段と、前記画像情報と前記関連情報と前記関連付け情報とを記憶する記憶手段と、を有する情報取得装置と
を有するマルチメディア情報作成システム。
【請求項１５】
前記画像情報の内容を解析する画像解析部と、
該画像解析部の解析に基づいて、前記第１種情報と関連付けする関連情報を検索する関連情報検索部と
を有することを特徴とする請求項１１から１４までのいずれか１項に記載の装置。
【請求項１６】
前記画像情報を取得した際の位置情報を検出する位置情報検出手段と、
前記位置情報に基づいて前記画像情報と前記関連情報と、を関連付けする関連付け手段を有することを特徴とする請求項１１から１４までのいずれか１項に記載の装置。
【請求項１７】
前記画像情報と前記関連情報との関連付けの際に用いられる複数の関連付け情報候補を、前記画像情報とともに或いは単独で表示させる表示部と、
該表示部に表示された前記関連付け情報候補の中から適した関連付け情報を選択し確定するための操作を行う操作部と
を有することを特徴とする請求項１１から１６までのいずれか１項に記載の装置。
【請求項１８】
前記画像情報の切り替わりタイミングを検出する検出部と、
該検出部による検出された切り替わりタイミングに基づいて、前記関連情報を前記画像情報に同期させる同期手段と
を有することを特徴とする請求項１１から１７までのいずれか１項に記載の装置。
【請求項１９】
前記切り替わりタイミングは、映像の特徴点の切り替わりタイミング又は撮影のオンオフタイミングであることを特徴とする請求項１８に記載の装置。
【請求項２０】
静止画と動画とを含む画像情報を取得する撮像手段を有するカメラであって、
静止画撮影と動画撮影との切替操作をワンアクションで行える切替スイッチを有することを特徴とするカメラ。
【請求項２１】
前記切替スイッチは、押し込み型の１つのボタンスイッチであり、該ボタンスイッチの押し込み操作により切替が行われるタイプのスイッチであることを特徴とする請求項２０に記載のカメラ。
【請求項２２】
第１種情報を取得するステップと、
前記第１種情報と、該第１種情報と関連する内容を有する第２種情報と、を関連付けするステップと、
前記第１種情報と前記関連付け情報とを記憶するステップと
を有する情報取得方法。
【請求項２３】
第１種情報を取得するステップと、
前記第１種情報と関連する内容を有する第２種情報を外部の情報ソースから取得するステップと、
前記第１種情報と前記第２種情報とを関連付けするステップと
を有する情報取得方法。
【請求項２４】
コンピュータに請求項２２又は２３に記載のステップを実行させるためのプログラム。
【請求項２５】
撮像手段と、
内蔵又は外付けにより外部と通信可能にする通信手段と、
前記撮像手段により撮像された画像データと、前記通信手段を介して外部から取得した情報とを関連付けする関連付け手段と
を有する情報取得装置。
【請求項２６】
第１種情報を取得する第１種情報取得手段と、
前記第１種情報と、該第１種情報と関連する第２種情報であって外部の情報ソースから取得可能な第２種情報と、を関連付けする関連付け情報を生成する関連付け情報生成手段と、
前記第１種情報と前記関連付け情報とを記憶する第１記憶手段と
を有する情報取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報取得装置に関し、特にデジタルスチルカメラ及びデジタルビデオカメラなどの撮影装置と、その新しい活用技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラなどの撮影装置における一般的な使用方法としては、時系列的に撮影・記録を行い、再生時には撮影順に再生を行うのが一般的である。撮影時には、その撮影情報がいつ、どの場所で撮影されたものかがわかっていても、再生時にはそれを忘れてしまうこともある。
【０００３】
静止画や動画の撮影日時に関する情報を撮影画像の一部に挿入して撮影し、後から撮影画像を見た場合に、撮影日時がわかるようにする技術が一般的に用いられている。
【０００４】
さらに、静止画を撮影するデジタルスチルカメラ又は動画（静止画を含む）を撮影する場合に、例えば、撮影時にＧＰＳにより取得した位置情報を対応させて記録させることにより、再生時に撮影済み写真に関する撮影場所がわかるようにした撮影装置がある（例えば、特許文献１参照）。この装置を用いると、撮影済み情報と、これと対応させて記録された撮影場所と、を表示させることで、撮影後においても情報を記録した撮影場所を確認することができる。
【０００５】
【特許文献１】特開２００１−２３５７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、静止画・動画を問わず、様々な映像情報と、これに関連する情報とを融合させ、さらなる情報の活用を図ることができる新たなマルチメディア情報作成システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一観点によれば、第１種情報を取得する第１種情報取得手段と、前記第１種情報と、該第１種情報と内容的に関連する第２種情報であって外部の情報ソースから取得可能な第２種情報と、を関連付けする関連付け情報を生成する関連付け情報生成手段と、前記第１種情報と前記関連付け情報とを記憶する第１記憶手段とを有する情報取得装置が提供される。
【０００８】
また、第１種情報を取得する第１種情報取得手段と、前記第１種情報と内容的に関連する第２種情報を外部の情報ソースから取得する第２種情報取得手段と、前記第１種情報と前記第２種情報とを関連付けする関連付け情報を生成する関連付け情報生成手段とを有する情報取得装置が提供される。
【０００９】
上記情報取得装置によれば、外部の情報ソースから、取得した第１種情報と内容的に関連する第２種情報を取得して両者を関連付けするため、関連付け後の第１種情報と第２種情報とは、有機的に結びついている。すなわち、単なる関連情報は単なる書誌的な情報にとどまるものではなく、例えば第１種情報の解説的な内容に関連する情報である。
【発明の効果】
【００１０】
本発明によれば、映像データなどに関連する関連情報を付加する場合に、付加情報を外部から取得し、これらを関連付することにより、バリエーションに富んだマルチメディア情報データを簡単に作成することができるという利点がある。
【発明を実施するための最良の形態】
【００１１】
本明細書において、第１種情報取得手段が、例えば撮像装置であれば、この撮像装置により直接撮影又は録音等が行われる情報が第１種情報である。一方、第２種情報とは、第１種情報取得手段により取得された第１種情報とは異なる情報であるが第１種情報に関連して取得された情報である。第２種情報取得手段とは、第２種情報を取得する手段であり、第１種情報取得手段以外の情報取得手段であって、外部の情報ソース、例えばインターネットや無線ＬＡＮ等から情報を取得する手段である。
【００１２】
また、「内容的に関連する」とは、撮影日時や撮影場所などの書誌的な情報のみではなく、内容を解説したり補足したりすることができる情報のことである。内容を、情報処理に基づいて解析して関連する情報を付加しても良いし、ユーザが主体的に選択しても良い。
【００１３】
本明細書において、撮像装置を主体として説明しているため、撮影装置により撮影されたデータに付加する関連情報を外部から取得すると称する。録音装置を主体とした場合には、録音した音声情報に外部から取得した映像データを付加する場合もあり、内部・外部とは相対的な表現である。但し、一般的に映像データ、特にハイビジョンの動画データはデータ量が大きくなるため、デジタルビデオカメラなどの撮影装置が主体となる場合を例にして説明する。
【００１４】
本発明に係るマルチメディア情報作成システムは、静止画や動画などの画像データ（以下、「撮影データ」と総称する。）を撮影するための撮影装置を機軸としたシステムであり、基本的には撮影装置により撮影された撮影データに関連する付加情報（関連情報）を、撮影装置の外部から取得し、撮影データと対応する関連情報とを関連付けしておき、再生処理においては撮影データに対して関連情報を付加した形式で出力するシステムに関する。
【００１５】
関連情報は、撮影情報に関する上記のような撮影日時や撮影場所などの固定的情報のみならず、例えばネットワークなどを介して外部から取得可能な種々の情報である。この関連情報を撮影データと有機的に関連付けすることにより、マルチメディア情報を作成し、様々なシーンでの活用が可能となる。以下に、本発明の実施の形態による撮影装置及びその活用技術について図面を参照しつつ説明を行う。
【００１６】
まず、本発明の第１の実施の形態による撮影装置について説明を行う。図１は、本実施の形態による撮影装置を活用したマルチメディア情報作成システムの基本的な概略構成例を示す図である。図２（Ａ）、（Ｂ）は、本実施の形態による撮影装置の外観例を示す図であり、図２（Ａ）は斜視図、図２（Ｂ）は背面の概略構成図である。図３は、撮影装置の構成例を示す機能ブロック図である。図４は、本実施の形態による撮影装置のモニタ画面の表示例を示す図である。図５は、撮影装置に設けられた操作スイッチの構成例を示す図である。
【００１７】
図１に示すように、本実施の形態によるマルチメディア情報作成システムＡは、例えばデジタルビデオカメラなどの撮影装置１と、外部に設けられた情報ソース、例えば情報提供サーバ（地域情報ｗｅｂサーバ）Ｓと、撮影装置１と情報提供サーバＳとを接続するネットワーク５と、を有している。情報提供サーバＳは、例えば地域情報を格納するデータベースを有しており、例えば、販売店、飲食店、公共機関（観光協会などを含む）、駅、病院などのクライアントがそれぞれの有する情報であって一般に参照させることが可能な各種情報を情報提供サーバにアップロードしている。これにより、情報提供サーバＳは、例えば、地域情報ウェブサーバとしての性格を有する。
【００１８】
次に、本実施の形態による撮影装置の構造について図２及び図３を参照して説明する。図３及び図２（Ａ）に示すように、本実施の形態による撮影装置１の本体部２は、ＣＣＤ固体撮影装置の他にレンズ部１０やビューファインダ１４などの光学系とモニタ１６とを備えた撮像部４と、撮像部４において撮像された画像データを記録、再生する記録再生部３と、を有している。図３及び図２（Ａ）、（Ｂ）に示すように、記録再生部３を形成する一面に切り換えスイッチＳＷを含む操作部１８が設けられている。切り換えスイッチＳＷを用いることにより、例えば動画と静止画との撮影の切り換えを行う。
【００１９】
図５に示すように、本実施の形態による撮影装置では、押し込み形式の１つの切り換えスイッチＳＷを用いて、例えば初期位置Ｐ１から第１の停止位置Ｐ２まで押した状態で動画が撮影することができ、さらにスイッチＳＷを第２の停止位置Ｐ３まで深く押し込むと、静止画を撮影することができるようになっている。静止画を撮影した後に手を離すと、動画撮影が行える第１停止位置に戻る。スイッチＳＷを上記のように構成することにより、動画と静止画との撮影の切り換えが迅速かつ簡単にできるという利点がある。
【００２０】
さらに、記録再生部３の裏面側に設けられインターフェイスを形成するスロット部７ａに、通信カード、例えば無線ＬＡＮカード７ｂを差し込むことにより、外部との通信を行う通信部７が形成される。通信部７により、図示しないアクセスポイントを介してインターネットなどのネットワークを通じて情報提供サーバＳにアクセスすることができる。尚、撮像部４には、さらに、位置情報取得部、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ：図３）２１を内蔵又は外付け可能になっているのが好ましい。
【００２１】
次に、上記のマルチメディア情報作成システムＡによるマルチメディア情報作成手順について、図１〜４までを参照しつつ簡単に説明する。詳細な手順については後述する。撮影装置（デジタルビデオカメラ）１を用いてユーザが観光地「日光」に行き、日光における様々な名所を撮影していく場合を例にして説明する。デジタルビデオカメラにより、日光の名所である、「杉並木」３１ａ、「三猿」３１ｂ、「華厳の滝」３１ｃ、「ロープウェイ」３１ｄ、「（日光）東照宮」３１ｅ、「日光江戸村」３１ｆのそれぞれのシーンにおける映像を順に撮影していった場合に（図では３１ａから３１ｆまでは、静止画として表示されているが、実際には動画像の１シーンを表示しているものとしても良い。）、それぞれのシーンにおける映像３１ａ〜３１ｆと、地域情報サーバＳから通信部７を介して取得した地域情報の解説テキストファイルと、を対応付けしてメモリ３に記憶する。次いで、メモリ３内における記憶に基づいて、地域情報と映像とを対応させて表示させることも可能であり、或いは、テキストデータを音声データに変換し、映像を、これに対応する音声データにより解説するマルチメディア情報を生成することも可能である。これにより、映像に対して地域情報の解説を自動的に入れることができる。この手順については後述する。
【００２２】
図４（Ａ）、（Ｂ）は、映像を撮影する際のＬＣＤ表示モニタ１６への表示例を示す図である。図４（Ａ）に示すように、ユーザは、上記マルチメディア情報作成に基づいて、撮影中の映像表示１６ａと映像表示１６ａと関連して取得された地域情報とを、例えばテキストに基づく文字情報（テロップ情報）１６ｂ（インデックス１６ｃと内容１６ｄとを含む）として映像にスーパーインポーズさせて表示させることができる。
【００２３】
この際、テロップ情報１６ｂによる表示が映像と対応しているとユーザが判断した場合には、これを映像と関連付けしてメモリに記憶させるための操作を行う。映像にふさわしくない関連情報であると判断された場合には、関連付けを行わないか、或いは、現在表示されているテロップ情報とは異なる別のテロップ情報を関連付けの候補として取得し（図４（Ｂ）の１６ｘ（１６ｃ−１〜４）参照）をメニュー表示し、映像に対応するふさわしい表示が行われた場合に、これを関連付けするようにしても良い。或いは、関連情報の候補として複数の候補メニュー（１６ｃ−１〜１６ｃ−４）を表示させ、その中からふさわしい関連情報を選択可能に表示させ、表示させた候補の中からユーザの選択を促すようにしても良い。
【００２４】
以下に、動画と関連情報とを対応付けして齟齬なく再生するための技術の例について図６を参照しつつ説明を行う。例として、一般的な高画質圧縮動画データであるＭＰＥＧ２フォーマットにより圧縮された動画データと、関連情報（テキストに基づく文字列）と、を対応付けして再生する（同期をとる）技術の例について説明を行う。ＭＰＥＧ２による圧縮技術は、５ｓ（秒）から１０ｓ（秒）を１単位とする１カット１０１ｂ、１０１ｄ、１０１ｆ、１０３ｂ、１０３ｄのデータ列と、これらのデータ列の間に設けられたインデックス１０１ａ、１０１ｃ、１０１ｅ、１０１ｇ、１０３ａ、１０３ｃとを有している。
【００２５】
ここで、ＭＰＥＧ２では、時系列的に前のデータとの差分のみを後のデータとすることにより、データの圧縮を行っているため、例えばデータ量の大小の経時的な変化を見ることにより、どの時点で大きくシーンが変化しているか、すなわちシーンチェンジが生じているかを判定することができる。図６に示す例では、１シーン（１０１ａ〜１０１ｇ）と次の１シーン（１０３ａ〜１０３ｄ）とで、１０３ｂでデータ量が大きくなるのを検知すると、この１０３ｂにおいてシーンチェンジ（特徴的なシーンの変化）が生じていると推測できる。シーンチェンジとは、例えば図１の杉並木のシーン３１ａから三猿のシーン３１ｂに変化することに対応する。このシーンチェンジのタイミングと同期させてテキストデータ１０５（ＴＥＸＴＡ）とテキストデータ１０７（ＴＥＸＴＢ）とを挿入することにより、ほぼ正確に動画データ中にテキストデータをスーパーインポーズすることができる。尚、この場合に、同期に関する大きな時間的ずれは上述のように表示モニタ１６において確認すれば防止でき、精密な時間的な同期に関してはこの方法で取ることができる。ＭＰＥＧのタイムスタンプ情報をベースにして対応付けしても良いし、新たなインデックステーブルを作成して管理しても良い。その他、例えば、スイッチＳＷのオンオフのタイミングによってシーンチェンジのタイミングを判別する方法もある。
【００２６】
次に、本実施の形態によるマルチメディア情報作成システムにおける情報作成手順について図８を参照しつつ説明を行う。図８に示すように、まずステップＳ１において処理を開始する。ステップＳ２において関連情報付加モードであるか否かを選択する。関連情報付加モードでない場合には、ステップＳ３に進む（ステップＳ３については、第２の実施の形態において図１０を参照しつつ説明する）。ステップＳ２において関連情報付加モードを選択した場合には、ステップＳ４に進み、動画モードか否かを選択する。動画モードでない場合には、ステップＳ５の静止画モードに進み、ステップＳ６において関連情報として定型的なデータ（文書などに既に記載されているデータ）であるか否かを判定する。定型的なデータである場合にはステップＳ７に進み書物などから文字情報を関連情報として取得する（この際、文字を打ち込んで入力しても良い。取得情報の一部を流用しても良い。）。定型的でない場合にはステップＳ８においてネットワークを介して情報ソースから関連する情報を取得し、いずれの場合もステップＳ９において静止画と関連情報とを合成する。
【００２７】
一方、ステップＳ４において動画モードを選択した場合（ステップＳ１０）には、ステップＳ１１に進み、例えばネットワークから現在撮影中の動画に関連する情報を取得する。次いで、ステップＳ１２において、動画と関連情報とを対応付けして合成する。
【００２８】
ステップＳ７からの処理について図９を参照しつつ説明を行う。ステップＳ２１において処理が開始され、ステップＳ２２において、カメラによりチケットやパンフレットなどの刊行物などに記載されている情報を撮影する。ステップＳ２３において、撮影した情報を画像データとして取得し、ステップＳ２４において画像データをＯＣＲなどの文字認識機能を用いて文字に変換する。ステップＳ２５において、ステップＳ２４で変換された文字情報をテキスト情報としてメモリ内に保存する。その後、ステップＳ２６又はＳ２７に進み、映像に文字をスーパーインポーズするか、或いは、ステップＳ２７においてテキスト情報を音声情報に変換した後、ステップＳ２８において映像に音声を合わせて再生を行う。
【００２９】
以上、本発明の第１の実施の形態によるマルチメディア情報作成システムによれば、撮影装置により撮影した映像情報と、この映像情報に関連する情報であって外部から取得した関連情報と、を予め対応付けしておくことができる。その場で又は撮影後に、映像情報と内容的に関連する関連情報とを合成してマルチメディア情報を作成する場合に、ユーザの記憶のみに頼る必要がなく、編集が非常に簡単にできるという利点がある。尚、後述するように、情報源（サーバＳ）として自宅のホームサーバを用いても良い。
【００３０】
次に、本発明の第１の実施の形態によるマルチメディア情報作成システムの変形例について図１〜図４までを参照しつつ説明を行う。本変形例によるマルチメディア情報作成システムは、ＧＰＳ２１を利用するシステムである。
【００３１】
ＧＰＳ２１により撮影時の位置情報を取得することができる。この際に、撮影画像とＧＰＳ２１による位置情報とを関連付けする。位置情報に基づいて情報提供サーバＳから地域情報を取得し、撮影画像と地域情報とを関連付けして記憶する。この記憶に基づく再生を行うことにより、撮影画像と撮影画像に関連する地域情報とを対応させた形式で視聴することができる。或いは、撮影画像と位置情報とを関連付けして記憶しておくことで、例えば再生時に位置情報に基づいて、情報提供サーバＳから地域情報を取得し、撮影画像と地域情報とを対応させて再生することも可能である。
【００３２】
この場合に、位置情報を地図上に表示させ、地図上の位置に対応する画像データを呼び出すことも可能であり、また、画像データに基づいて（例えば画像データを指定すると対応する位置が地図上で点滅するなどの表示をすることで）地図検索を行うことも可能である。すなわち、例えば日光の地図を表示させ、位置をマウスなどでクリックすることで、画像情報と関連情報とを表示させることができ、いわゆる地図をインデックスとした電子アルバムを作成することができる。
【００３３】
尚、上記変形例では、画像を撮影する際の位置情報に基づいて地域情報などを検索する例を示したが、位置情報の代わりに、撮影している画像を解析し、その解析結果に基づいて内容的に関連情報を取得するように構成しても良いし、複数の候補中からユーザが選択しても良い。画像の内容解析処理は、例えば、画像中の特徴的な部分と取得した位置情報とに基づいて、多くの画像データとそれと対応する解説的なデータとを含む地域情報データベース中から特徴点が類似する画像を特定し、これに基づいて関連する情報をデータベースから取り出すようにしても良い。又は、図１の映像３１ｅに示すように、日光東照宮を撮影している場合であれば、意識的に又は無意識に撮影した日光東照宮の石碑に記載された文字を、ユーザの何らかの操作により或いは自動的にＯＣＲ認識処理し、現在撮影中の映像の内容に関するキーワードを取得し、これに基づいて関連情報を外部から取得するようにしても良い。この際、ＯＣＲ認識処理に基づく外部データベース検索のためのキーワード候補をモニタ部に複数表示させ、ユーザに正しいキーワードを選択させるようにすると、検索処理の確実性が増す。或いは、ユーザが現在撮影中の画像に関する簡単なキーワードを入力又は表示メニュー候補から選択し、このキーワードに基づいて外部のデータベースから情報を取得するようにしても良い。
【００３４】
次に、本実施の形態によるマルチメディア情報取得装置における画像情報と位置情報との対応付けについて説明する。画像情報、特に動画と位置情報とを対応付ける方法には周知の方法として同期用テーブルをシステム上に保持する方法を用いることができる。例えば、ＭＰＥＧにより圧縮された動画データであれば、０．５秒毎に区切りがある（ＧＯＰ：Ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅ）。このＧＯＰを利用して動画データと関連情報データとを対応付けする同期用テーブルを作成しておくことで、両者を対応付けすることが可能である。
【００３５】
尚、撮影した映像情報と、関連情報と、関連付け情報とは、撮影と関連情報との取得に応じて合成しても良いし、映像情報をＤＶテープに保存し、関連付け情報と関連情報とをメモリに保存しておいて、再生時に合成しても良いが、全ての情報をインターネットディスクなどに保存しておいても良い。或いは、上述のように関連情報は関連付け情報に基づいて後に取得しても良い。
【００３６】
次に、本発明の第２の実施の形態によるマルチメディア情報作成システムについて図面を参照しつつ説明を行う。第１の実施の形態は、撮影情報を基準にして関連情報を付加していく関連情報付加モードである。一方、本実施の形態によるシステムは、まずテキスト情報などの関連情報を取得し、取得した関連情報に基づいて映像データを取得する（撮影を行う）処理であることを特徴とする。この処理について図７と図１０とを参照しつつ説明を行う。図７は、本実施の形態による映像データとテキストデータとの対応付け方法を示す図である。図１０は、図８のステップＳ３からの処理に相当する図である。
【００３７】
図８のステップＳ３から開始し、ステップＳ３１において処理を開始し、ステップＳ３０において関連情報を情報ソースから取得するか、或いは、ステップＳ３２〜ステップＳ３４において、チケットやパンフレットの情報をカメラにより撮影し（ステップＳ３２）、情報を画像データとして取得し（ステップＳ３３）、画像データをＯＣＲにより文字認識しテキスト情報に変換する（ステップＳ３４）。図７に示すように、変換されたテキスト情報は、ＴA、ＴB、ＴC、…の期間の周期のタイミングで切り替わる。
【００３８】
ステップＳ３０又はステップＳ３４の処理後に、ステップＳ３５に進み、関連情報に基づいて対応する画像を撮影する。ステップＳ３６において、関連情報と、対応する画像とを合成する。図７に示すように、ＴA期間に画像情報１１１ａを、ＴB期間に画像情報１１１ｂを、ＴC期間に画像情報１１１ｃを配置する。以上の処理により、例えばある規定に沿った関連情報に基づいて画像を撮影することができ、ある規定に沿った一連の画像群、いわゆる電子アルバムを簡単に作成することができる。尚、文字認識の代わりに音声認識技術などを用いても良い。また、本実施の形態によるマルチメディア情報作成システムは、定期観光バス等の乗客に撮影装置を貸し出すサービスなどに応用することも可能である。
【００３９】
次に、本発明の第３の実施の形態によるマルチメディア情報取得システムについて図面を参照しつつ説明を行う。図１１は、本実施の形態によるマルチメディア情報作成システムの構成例を示す図である。図１１に示すように、本実施の形態によるシステムにおいて用いられる撮影装置は、例えば静止画又は静止画と動画とを撮影可能な携帯電話機（携帯端末）１１である。或いは、携帯電話機１１とカメラ１とを連携して用いても良い。携帯電話機１１には、通信手段と撮像手段と表示手段とメモリと制御部とが備えられており、さらにＧＰＳ機能を具備するものであれば、１台で情報提供サーバ以外のシステム構成を具備していることになる。従って、携帯電話機のユーザは、画像を取得しつつＧＰＳ機能に基づく位置情報などと関連付けて地域情報を、携帯電話機の通信手段を用いて取得し、これらの情報を上述の如く自己のサーバ（ＰＣ）又はインターネットディスク６などに保存しておくことができる。保存されている情報に基づいて、例えば、ＰＣ上において上記インターネットディスクにアクセスして、映像と関連情報とを合成した情報を再生することができる。携帯電話機では一般にメモリ容量が少ないため、インターネットディスクなどに撮影データを保存する方法が有効である。この場合には、再生時においてインターネットディスクからデータを取得して再生することができる。
【００４０】
尚、符号６ａに示すテーブルは、映像情報１０１ｂ〜１０３ｃと、テロップ情報１０５、１０７と、両者を関連付けする関連付け情報１−１〜２−２と、を対応させた表である。この表６ａに示す内容に基づいて、映像情報と関連情報とを関連付け（同期）させて再生することが可能である。
【００４１】
以下、図１２から図１５までを参照しつつ、本発明の各実施の形態によるマルチメディア情報作成システムを用いた他の応用例についてより具体的に説明する。
【００４２】
図１２は、動画メールによるコミュニケーション方法を示す図である。図１２に示すように、本発明の各実施の形態による撮影装置２０１を用いて動画を撮影し、付随する無線ＬＡＮ２０７ｂなどの通信手段を用いホットスポット２０６ａを介したネットワーク接続により、パーソナルコンピュータ（以下ＰＣと称する。）２１０又はホットスポット２０６ｂを介した他の通信機能付き撮影装置２１１に対して動画メール２１２ａを送信する。
【００４３】
動画メール２１２ａを受け取った相手方はそれを見たことによる感想などを例えば文字又は音声によるメッセージ付き映像メール２１７ａをリターンするという形で返信する。
【００４４】
このように、双方で動画メールとメッセージ付き映像メールのリターンとをやり取りすることで、あたかも双方がすぐ近くにいるような感覚でコミュニケーションを行うことができる。
【００４５】
図１３は、コンテンツの受信に関する応用例を示す図である。図１３に示すように、本発明の各実施の形態による撮影装置２０１を用い、付随する無線ＬＡＮ２０７ｂなどの通信手段２０７を用いホットスポット２０６ａを介したネットワーク２０５接続により、オンデマンドサーバ２２１と接続する。オンデマンドサーバ２２１は、ユーザの要求に応じて、映画、音楽、スポーツなどのコンテンツを有料又は無料で提供するためのコンテンツサーバ２２３を有している。オンデマンドサーバ２２１は、ユーザ側からの要求により圧縮したコンテンツを撮影装置２０１側に送信し、撮影装置２０１側でコンテンツデータを解凍することで、例えば動画コンテンツの再生により、好みのアーチィストのライブ映像などを移動しながら視聴して楽しむことが可能である。尚、ライブ映像をＤＶテープに蓄積しておき、ネットワーク２０５を介して取得した関連情報も合わせて視聴することも可能である。
【００４６】
図１４は、送信内容のバックアップに関する応用例である。図１４は、本発明の各実施の形態による撮影装置２０１であって無線ＬＡＮ２０７ｂなどの通信手段２０７を備えた撮影装置２０１により、例えば気に入ったお店をチェックして撮影装置２０７により撮影し、画像データ２３６に、お店を例えば友人に紹介するための紹介メールを添付し、通信手段２０７を用いて友人に画像データと紹介メールを送るとともに、自宅のホームサーバ２３１又はＰＣ２３０又はハードディスクレコーダ２３２などの記録再生装置２３２にＣｃで画像データと紹介メールとを送る。自宅に送られたデータに基づき、例えば記録再生装置２３２内のメモリに動画付きメールのデータとそのリスト２３７を生成することもできる。これらのデータとリストとを、送信内容の確認とバックアップとに利用することができる。図に示すようにリスト２３７表示中には、画像データによるインデックスと関連するデータ属性と、再生処理に必要な操作用アイコンの表示によるＧＵＩが提供されており、データ再生時のインデックスとして用いるのに便利である。尚、紹介メールには、外部から取得した関連情報を含めることができる。
【００４７】
図１５は、動画コンテンツの再生（鑑賞）に関する応用例を示す図である。図１５に示すように、本実施の形態による撮影装置２０１を用い或いは別の方法で記録したコンテンツを、例えばＰＣ２４０内のハードディスク（ＨＤＤ）又は記録再生装置２４２内の記録部又は記録媒体中に記録する際に、符号２４７に示すように、コンテンツの代表的な静止画面などをインデックス代わりに用いて、コンテンツのリストを作成しておく。この際にも、上述のように関連情報を映像データと関連付けて記憶しておくと良い。撮影装置２０１のコンテンツ再生機能又はその他の装置のコンテンツ再生機能を用い、これらの装置を持ち歩いている場合に、ユーザが、コンテンツのリスト２４７に基づいて視聴（再生）したい動画コンテンツを指定すると（この場合は、サッカーの試合の映像２４５を指定）、ＰＣ２４０又は記録再生装置２４２からコンテンツのストリームデータがネットワーク２０５を介し無線ＬＡＮ２０７ａを含む通信手段２０７により撮影装置２０１に送られる。この送られた情報に基づいて、例えば撮影装置２０１のモニタにより要求したサッカーの試合の再生映像を視聴することができる。尚、コンテンツは、現在放送中の映像であってＰＣ２４０又は記録再生装置に接続された図示しないハイビジョン液晶テレビなどに現在表示されている映像でも良く、この場合には生の映像を外出先でリアルタイムに楽しむことも可能である。
【００４８】
図１６は、映像データ保持サービスの一例を示す図である。上述したように、インターネットディスクを用いると、大容量の動画データを外部に保存しておき、いつでも参照することができる。インターネットディスクのコンテンツデータベース２５１内に、上記各実施の形態により作成したマルチメディアデータ（画像データに関連情報を付加したデータ）を、インターネットディスクを保持するサーバにアクセスすることにより、いつでもどこでも、また、認証等により許容されているユーザであればだれでも、マルチメディア情報を参照することができる。従って、マルチメディア情報を、将来にわたって保存・参照・配信することができるとともに、個人映像ウェブとしても機能し、さらに、グループ内で共通に用いることができるようにすれば、グループ間で共通の映像ウェブとして用いることもできる。すなわち、ユーザ又はその仲間は、ＰＣ２５３からネットワーク２０５を介してサーバにアクセスしてコンテンツデータベース２５１の内容を参照したり、動画や静止画を関連情報とともに再生したりすることができる。
【００４９】
以上、本実施の形態に沿って説明したが、本発明はこれらの例に限定されるものではなく、種々の変形が可能であるのは言うまでもない。本実施の形態によるマルチメディア情報作成システムは、各種通信機能を利用可能な撮像装置により実現することが可能である。また、上記、各実施の形態においては、映像データに対して音声又は文字情報などを付加する場合について主として説明したが、映像データに映像データを付加する場合など同種のデータを付加する場合や、音声データに映像データを付加する場合（例えば音楽アルバムにアーチストの映像を外部から取得して付加する場合など、著作権法等において許容されている範囲内で様々な応用が可能である。
【産業上の利用可能性】
【００５０】
映像データなどに関連する関連情報を付加する場合に、付加情報を外部から取得し、これらを関連付することにより、バリエーションに富んだマルチメディア情報データを作成することができる。
【図面の簡単な説明】
【００５１】
【図１】本実施の形態による撮影装置を活用したマルチメディア情報作成システムの基本的な概略構成例を示す図である。
【図２】図２（Ａ）、（Ｂ）は、本実施の形態による撮影装置の外観例を示す図であり、図２（Ａ）は斜視図、図２（Ｂ）は背面の概略構成図である。
【図３】撮影装置の構成例を示す機能ブロック図である。
【図４】本実施の形態による撮影装置のモニタ画面の表示例を示す図である。
【図５】撮影装置に設けられた操作スイッチの構成例を示す図である。
【図６】動画と関連情報とを対応付けして再生するための技術の例を示す図である。
【図７】映像データとテキストデータとの対応付け方法を示す図である。
【図８】本実施の形態によるマルチメディア情報作成システムにおける情報作成手順を示すフローチャート図である。
【図９】図８のステップＳ７からの処理の流れを示すフローチャート図である。
【図１０】図８のステップＳ３からの処理を示すフローチャート図である。
【図１１】本発明の第３の実施の形態によるマルチメディア情報取得システムの構成例を示す図である。
【図１２】動画メールによるコミュニケーションのコンセプトを示す図である。
【図１３】コンテンツの受信に関する応用例を示す図である。
【図１４】送信内容のバックアップに関する応用例を示す図である。
【図１５】動画コンテンツの再生（鑑賞）に関する応用例を示す図である。
【図１６】映像データ保持サービスの一例を示す図である。
【符号の説明】
【００５２】
１…撮影装置、２…本体部、３…記録再生部（メモリ）、４…撮像部、Ｓ…情報提供サーバ、５…ネットワーク、７…通信部、１６…モニタ。
【図１】
2005191892.tif 000003
【図２】
2005191892.tif 000004
【図３】
2005191892.tif 000005
【図４】
2005191892.tif 000006
【図５】
2005191892.tif 000007
【図６】
2005191892.tif 000008
【図７】
2005191892.tif 000009
【図８】
2005191892.tif 000010
【図９】
2005191892.tif 000011
【図１０】
2005191892.tif 000012
【図１１】
2005191892.tif 000013
【図１２】
2005191892.tif 000014
【図１３】
2005191892.tif 000015
【図１４】
2005191892.tif 000016
【図１５】
2005191892.tif 000017
【図１６】
2005191892.tif 000018