(57)【要約】【課題】ネットワークで接続された不特定多数の利用者によるコラボレーションの結果として、創発を誘導する画像を作り出す。【解決手段】画像管理サーバ装置１は、画像データ保存部１４に保存された登録画像データの中から、クライアント端末２から送信されるメタデータに対応する画像データと相関の高い高相関性画像データを検索し、検索の結果得られた高相関性画像データを、ネットワーク３を介してクライアント端末２に送信する。クライアント端末２は、画像管理サーバ装置１から受信した高相関性画像データおよび画像管理サーバ装置１に対して送信したメタデータに対応する画像データを用いて合成画像データを生成する。【選択図】図１
2008067290.tif 000002
【特許請求の範囲】
【請求項１】
画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存する画像管理サーバ装置と、この画像管理サーバ装置から供給される複数の画像データを用いて合成画像データを生成するクライアント端末とをネットワークを介して接続するとともに、前記クライアント端末には、前記生成した合成画像データを出力して表示するための表示装置を接続した画像表示システムであって、
前記クライアント端末は、
撮影により生成した画像データと当該画像データについての所定の撮影条件を示すメタデータとを対応させて蓄積する画像データ蓄積手段と、
この画像データ蓄積手段に蓄積された画像データの中から選択される任意の画像データと当該画像データに対応するメタデータとの両方を、または前記選択される任意の画像データに対応するメタデータのみを、前記画像管理サーバ装置に送信する第１の送信手段と、
この第１の送信手段から送信されたメタデータを受信した前記画像管理サーバ装置から送信される、前記メタデータに対応する前記画像データと相関の高い高相関性画像データ、および前記第１の送信手段から送信されたメタデータに対応する前記画像データのそれぞれに対して重み付けを行うための加重値曲線を生成する加重値生成手段と、
この加重値生成手段で生成された加重値曲線を用いて、前記画像管理サーバ装置から受信した前記高相関性画像データ、および前記第１の送信手段から送信した前記メタデータに対応する画像データをそれぞれ加工して複数の加工画像データを生成する画像加工手段と、
この画像加工手段で生成された複数の加工画像データを合成して合成画像データを生成する画像合成手段と、
この画像合成手段で生成された合成画像データを前記表示装置に出力する画像表示処理手段とを備え、
前記画像管理サーバ装置は、
前記画像データ保存手段に保存されている登録画像データを、当該登録画像データに対応するメタデータに基づいて複数のグループに分類する分類手段と、
前記クライアント端末から送信されたメタデータに基づいて、前記メタデータに対応する画像データが前記複数のグループのうちのどのグループに属するかを求め、前記画像データ保存手段に保存されている複数の登録画像データの中から、前記クライアント端末から送信された前記メタデータに対応する画像データと同一のグループに属し、かつ相関の高い高相関性画像データを検索する検索手段と、
この検索手段による検索の結果として得られた高相関性画像データを前記クライアント端末に対して送信する第２の送信手段と
を備えることを特徴とする画像表示システム。
【請求項２】
画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存するとともに、この画像データ保存手段に保存した複数の登録画像データを用いて合成画像データを生成する画像管理サーバ装置と、この画像管理サーバ装置から供給される前記合成画像データを出力して表示するための表示装置を接続したクライアント端末とをネットワークを介して接続した画像表示システムであって、
前記画像管理サーバ装置は、
前記画像データ保存手段に保存されている登録画像データを、当該登録画像データに対応するメタデータに基づいて複数のグループに分類する分類手段と、
前記クライアント端末から送信される画像データと当該画像データに対応するメタデータとの両方を、または前記クライアント端末から送信されるメタデータのみを受信する第１の受信手段と、
前記クライアント端末から送信されたメタデータに基づいて、前記メタデータに対応する画像データが前記複数のグループのうちのどのグループに属するかを求め、前記画像データ保存手段に保存されている複数の登録画像データの中から、前記クライアント端末から送信された前記メタデータに対応する画像データと同一のグループに属し、かつ相関の高い高相関性画像データを検索する検索手段と、
この検索手段による検索の結果として得られた高相関性画像データ、および前記クライアント端末から画像データを受信した場合は当該画像データのそれぞれに対して重み付けを行うための加重値曲線を生成する加重値生成手段と、
この加重値生成手段で生成された加重値曲線を用いて、前記検索手段による検索の結果として得られた前記高相関性画像データを加工し、前記クライアント端末から画像データを受信した場合は当該画像データも加工して、複数の加工画像データを生成する画像加工手段と、
この画像加工手段で生成された複数の加工画像データを合成して合成画像データを生成する画像合成手段と、
この画像合成手段で生成された合成画像データを前記クライアント端末に対して送信する第１の送信手段とを備え、
前記クライアント端末は、
撮影により生成した画像データと当該画像データについての所定の撮影条件を示すメタデータとを対応させて蓄積する画像データ蓄積手段と、
この画像データ蓄積手段に蓄積された画像データの中から選択される任意の画像データと当該画像データに対応するメタデータとの両方を、または前記選択される任意の画像データに対応するメタデータのみを、前記画像管理サーバ装置に送信する第２の送信手段と、
前記画像管理サーバ装置の前記画像合成手段で生成された合成画像データを受信する第２の受信手段と、
この第２の受信手段で受信した合成画像データを前記表示装置に出力する画像表示処理手段と
を備えることを特徴とする画像表示システム。
【請求項３】
前記メタデータは、当該メタデータに対応する前記画像データについての撮影日時を示す撮影日時情報、撮影位置を示す撮影位置情報、および撮影方向を示す撮影方向情報を含み、
前記分類手段は、前記撮影位置情報および前記撮影方向情報の少なくともいずれか１つの要素で構成される多次元空間上での前記登録画像データの分布状態を基にクラスタリングして前記登録画像データを複数のグループに分類し、
前記加重値設定手段は、前記検索手段による検索の結果得られた前記高相関性画像データに対応するメタデータ、および前記クライアント端末から前記画像管理サーバ装置に送信された前記メタデータのそれぞれに含まれる撮影日時情報、並びにユーザ操作により指定された前記クライアント端末から前記画像管理サーバ装置に送信された前記メタデータに含まれる前記撮影日時情報に対する変移時間に基づいて、前記加重値曲線を生成することを特徴とする請求項１または２に記載の画像表示システム。
【請求項４】
画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして保存する画像管理サーバ装置と、この画像管理サーバ装置から供給される複数の画像データを用いて合成画像データを生成するクライアント端末とをネットワークを介して接続するとともに、前記クライアント端末には、前記生成した合成画像データを出力して表示するための表示装置を接続した画像表示システムにおけるクライアント端末であって、
撮影により生成した画像データと当該画像データについての所定の撮影条件を示すメタデータとを対応させて蓄積する画像データ蓄積手段と、
この画像データ蓄積手段に蓄積された画像データの中から選択される任意の画像データと当該画像データに対応するメタデータとの両方を、または前記選択される任意の画像データに対応するメタデータのみを、前記画像管理サーバ装置に送信する送信手段と、
この送信手段から送信されたメタデータを受信した前記画像管理サーバ装置から送信される、前記メタデータに対応する前記画像データと相関の高い高相関性画像データ、および前記送信手段から送信されたメタデータに対応する前記画像データのそれぞれに対して重み付けを行うための加重値曲線を生成する加重値生成手段と、
この加重値生成手段で生成された加重値曲線を用いて、前記画像管理サーバ装置から受信した前記高相関性画像データ、および前記送信手段から送信した前記メタデータに対応する画像データをそれぞれ加工して複数の加工画像データを生成する画像加工手段と、
この画像加工手段で生成された複数の加工画像データを合成して合成画像データを生成する画像合成手段と、
この画像合成手段で生成された合成画像データを前記表示装置に出力する画像表示処理手段と
を備えることを特徴とするクライアント端末。
【請求項５】
画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存する画像管理サーバ装置と、この画像管理サーバ装置から供給される複数の画像データを用いて合成画像データを生成するクライアント端末とをネットワークを介して接続するとともに、前記クライアント端末には、前記生成した合成画像データを出力して表示するための表示装置を接続した画像表示システムにおける画像管理サーバ装置であって、
前記画像データ保存手段に保存されている登録画像データを、当該登録画像データに対応するメタデータに基づいて複数のグループに分類する分類手段と、
前記クライアント端末から送信される画像データと当該画像データに対応するメタデータとの両方を、または前記クライアント端末から送信されるメタデータのみを受信する受信手段と、
前記クライアント端末から送信されたメタデータに基づいて、前記メタデータに対応する画像データが前記複数のグループのうちのどのグループに属するかを求め、前記画像データ保存手段に保存されている複数の登録画像データの中から、前記クライアント端末から送信された前記メタデータに対応する画像データと同一のグループに属し、かつ相関の高い高相関性画像データを検索する検索手段と、
この検索手段による検索の結果として得られた高相関性画像データを前記クライアント端末に対して送信する送信手段と
を備えることを特徴とする画像管理サーバ装置。
【請求項６】
画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存するとともに、この画像データ保存手段に保存した複数の登録画像データを用いて合成画像データを生成する画像管理サーバ装置と、この画像管理サーバ装置から供給される前記合成画像データを出力して表示するための表示装置を接続したクライアント端末とをネットワークを介して接続した画像表示システムにおけるクライアント端末であって、
撮影により生成した画像データと当該画像データについての所定の撮影条件を示すメタデータとを対応させて蓄積する画像データ蓄積手段と、
この画像データ蓄積手段に蓄積された画像データの中から選択される任意の画像データと当該画像データに対応するメタデータとの両方を、または前記選択される任意の画像データに対応するメタデータのみを、前記画像管理サーバ装置に送信する送信手段と、
前記画像管理サーバ装置で生成された合成画像データを受信する受信手段と、
この受信手段で受信した合成画像データを前記表示装置に出力する画像表示処理手段と
を備えることを特徴とするクライアント端末。
【請求項７】
画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存するとともに、この画像データ保存手段に保存した複数の登録画像データを用いて合成画像データを生成する画像管理サーバ装置と、この画像管理サーバ装置から供給される前記合成画像データを出力して表示するための表示装置を接続したクライアント端末とをネットワークを介して接続した画像表示システムにおける画像管理サーバ装置であって、
前記画像データ保存手段に保存されている登録画像データを、当該登録画像データに対応するメタデータに基づいて複数のグループに分類する分類手段と、
前記クライアント端末から送信される画像データと当該画像データに対応するメタデータとの両方を、または前記クライアント端末から送信されるメタデータのみを受信する受信手段と、
前記クライアント端末から送信されたメタデータに基づいて、前記メタデータに対応する画像データが前記複数のグループのうちのどのグループに属するかを求め、前記画像データ保存手段に保存されている複数の登録画像データの中から、前記クライアント端末から送信された前記メタデータに対応する画像データと同一のグループに属し、かつ相関の高い高相関性画像データを検索する検索手段と、
この検索手段による検索の結果として得られた高相関性画像データ、および前記クライアント端末から画像データを受信した場合は当該画像データのそれぞれに対して重み付けを行うための加重値曲線を生成する加重値生成手段と、
この加重値生成手段で生成された加重値曲線を用いて、前記検索手段による検索の結果として得られた前記高相関性画像データを加工し、前記クライアント端末から画像データを受信した場合は当該画像データも加工して、複数の加工画像データを生成する画像加工手段と、
この画像加工手段で生成された複数の加工画像データを合成して合成画像データを生成する画像合成手段と、
この画像合成手段で生成された合成画像データを前記クライアント端末に対して送信する送信手段と
を備えることを特徴とする画像管理サーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像などの撮影された複数の画像データを、ネットワークを通じて共有し、公開閲覧する画像表示システム、クライアント端末、および画像管理サーバ装置に関する。
【背景技術】
【０００２】
近年、インターネットの普及と、デジタルビデオカメラやデジタルスチルカメラの普及とが相まって、多くの画像データがネットワーク上で流通するようになっている。これは、インターネットによる情報発信や情報共有の仕組みが整備されたことと、デジタル画像の扱い易さによるところが大きい。さらには、単なる画像データの流通ではなく、多くの人のコラボレーションによる創作活動へとその形態の裾野が広がりつつある。
【０００３】
このような背景から、インターネット上にコラボレーションの場を提供するシステムが注目されている。また、このような場は多くの人の目に触れるため、地域情報の提供やプリントサービス、さらには携帯機器との連動など、商業利用の側面からも注目され、人々の関心を集めるシステム作りは企業にとっても重要な課題となっている。
【０００４】
従来、インターネット上にコラボレーションの場を提供するシステムとしては、エンタテインメント性の観点では、例えば特許文献１に開示されたものがある。特許文献１に開示された技術は、複数の画像を、変形を伴う処理により連結して３次元形状の奥行き感を演出する画像合成方法を基本とし、鑑賞する人にエンタテインメント性のある情報提供の場を提案している。
【０００５】
また、商業利用の観点では、例えば特許文献２に開示されたものがある。特許文献２に開示された技術は、位置情報と個人の情報とを連係させることで、携帯機器やナビゲーションシステムの利用価値を高める狙いがある。
【特許文献１】特許第３６０３１１８号公報
【特許文献２】特開２００５−６１２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１，２に開示された技術は、情報保有者の主観により制作されたコンテンツを取りまとめることに主眼が置かれていた。例えば、特許文献１に開示された技術は、コンテンツを制作するためのツールを提供し、コンテンツのストーリーを情報保有者自身が制作するものである。すなわち、情報保有者本人が所有する情報に対する意外性はなく、あくまで他の鑑賞者を楽しませることに目的がある。
【０００７】
また、特許文献２に開示された技術も、自分の過去の情報や他者の情報を位置情報に関連づけて提示する機能を提供しているが、複数のコンテンツを整理しておくことに主眼が置かれていることにかわりはない。
【０００８】
しかし、他者の創作物に対する興味は意外と少ないのが実際であり、主としてテキスト情報を中心としたネット掲示板のように他者との会話を楽しむようなシステムに比べ、アクセス数が伸びにくい。これは、ネットワークで接続された不特定多数の利用者によるコラボレーションの結果として、創発を生み出す仕組みが取り入れられていないことに原因の一端がある。ここで、創発とは、物理学や生物学、社会学などの分野における複雑系の現象を指し、多くの自律的要素が集まり相互作用した結果、予測不能な構造や創作物が生み出される現象を意味している。
【０００９】
例えば、前述のネット掲示板では、会話という他者との作用から創発されるストーリーや結論を楽しんでいると言える。ところが、画像を中心とした特許文献１，２に開示された技術では、誰かの意図により作り出されたコンテンツを鑑賞することはできても、情報保有者自身が思いもよらない発見をする面白さを提供することは考慮されていなかった。
【００１０】
本発明は上記に鑑みてなされたもので、ネットワークで接続された不特定多数の利用者によるコラボレーションの結果として、創発を誘導する画像を作り出すことができる画像表示システム、クライアント端末、および画像管理サーバ装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の画像表示システムは、画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存する画像管理サーバ装置と、この画像管理サーバ装置から供給される複数の画像データを用いて合成画像データを生成するクライアント端末とをネットワークを介して接続するとともに、前記クライアント端末には、前記生成した合成画像データを出力して表示するための表示装置を接続した画像表示システムであって、前記クライアント端末は、撮影により生成した画像データと当該画像データについての所定の撮影条件を示すメタデータとを対応させて蓄積する画像データ蓄積手段と、この画像データ蓄積手段に蓄積された画像データの中から選択される任意の画像データと当該画像データに対応するメタデータとの両方を、または前記選択される任意の画像データに対応するメタデータのみを、前記画像管理サーバ装置に送信する第１の送信手段と、この第１の送信手段から送信されたメタデータを受信した前記画像管理サーバ装置から送信される、前記メタデータに対応する前記画像データと相関の高い高相関性画像データ、および前記第１の送信手段から送信されたメタデータに対応する前記画像データのそれぞれに対して重み付けを行うための加重値曲線を生成する加重値生成手段と、この加重値生成手段で生成された加重値曲線を用いて、前記画像管理サーバ装置から受信した前記高相関性画像データ、および前記第１の送信手段から送信した前記メタデータに対応する画像データをそれぞれ加工して複数の加工画像データを生成する画像加工手段と、この画像加工手段で生成された複数の加工画像データを合成して合成画像データを生成する画像合成手段と、この画像合成手段で生成された合成画像データを前記表示装置に出力する画像表示処理手段とを備え、前記画像管理サーバ装置は、前記画像データ保存手段に保存されている登録画像データを、当該登録画像データに対応するメタデータに基づいて複数のグループに分類する分類手段と、前記クライアント端末から送信されたメタデータに基づいて、前記メタデータに対応する画像データが前記複数のグループのうちのどのグループに属するかを求め、前記画像データ保存手段に保存されている複数の登録画像データの中から、前記クライアント端末から送信された前記メタデータに対応する画像データと同一のグループに属し、かつ相関の高い高相関性画像データを検索する検索手段と、この検索手段による検索の結果として得られた高相関性画像データを前記クライアント端末に対して送信する第２の送信手段とを備えることを特徴とする。
【００１２】
また、本発明の画像表示システムは、画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存するとともに、この画像データ保存手段に保存した複数の登録画像データを用いて合成画像データを生成する画像管理サーバ装置と、この画像管理サーバ装置から供給される前記合成画像データを出力して表示するための表示装置を接続したクライアント端末とをネットワークを介して接続した画像表示システムであって、前記画像管理サーバ装置は、前記画像データ保存手段に保存されている登録画像データを、当該登録画像データに対応するメタデータに基づいて複数のグループに分類する分類手段と、前記クライアント端末から送信される画像データと当該画像データに対応するメタデータとの両方を、または前記クライアント端末から送信されるメタデータのみを受信する第１の受信手段と、前記クライアント端末から送信されたメタデータに基づいて、前記メタデータに対応する画像データが前記複数のグループのうちのどのグループに属するかを求め、前記画像データ保存手段に保存されている複数の登録画像データの中から、前記クライアント端末から送信された前記メタデータに対応する画像データと同一のグループに属し、かつ相関の高い高相関性画像データを検索する検索手段と、この検索手段による検索の結果として得られた高相関性画像データ、および前記クライアント端末から画像データを受信した場合は当該画像データのそれぞれに対して重み付けを行うための加重値曲線を生成する加重値生成手段と、この加重値生成手段で生成された加重値曲線を用いて、前記検索手段による検索の結果として得られた前記高相関性画像データを加工し、前記クライアント端末から画像データを受信した場合は当該画像データも加工して、複数の加工画像データを生成する画像加工手段と、この画像加工手段で生成された複数の加工画像データを合成して合成画像データを生成する画像合成手段と、この画像合成手段で生成された合成画像データを前記クライアント端末に対して送信する第１の送信手段とを備え、前記クライアント端末は、撮影により生成した画像データと当該画像データについての所定の撮影条件を示すメタデータとを対応させて蓄積する画像データ蓄積手段と、この画像データ蓄積手段に蓄積された画像データの中から選択される任意の画像データと当該画像データに対応するメタデータとの両方を、または前記選択される任意の画像データに対応するメタデータのみを、前記画像管理サーバ装置に送信する第２の送信手段と、前記画像管理サーバ装置の前記画像合成手段で生成された合成画像データを受信する第２の受信手段と、この第２の受信手段で受信した合成画像データを前記表示装置に出力する画像表示処理手段とを備えることを特徴とする。
【００１３】
また、本発明の画像表示システムは、前記メタデータは、当該メタデータに対応する前記画像データについての撮影日時を示す撮影日時情報、撮影位置を示す撮影位置情報、および撮影方向を示す撮影方向情報を含み、前記分類手段は、前記撮影位置情報および前記撮影方向情報の少なくともいずれか１つの要素で構成される多次元空間上での前記登録画像データの分布状態を基にクラスタリングして前記登録画像データを複数のグループに分類し、前記加重値設定手段は、前記検索手段による検索の結果得られた前記高相関性画像データに対応するメタデータ、および前記クライアント端末から前記画像管理サーバ装置に送信された前記メタデータのそれぞれに含まれる撮影日時情報、並びにユーザ操作により指定された前記クライアント端末から前記画像管理サーバ装置に送信された前記メタデータに含まれる前記撮影日時情報に対する変移時間に基づいて、前記加重値曲線を生成することを特徴とする。
【００１４】
また、本発明のクライアント端末は、画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして保存する画像管理サーバ装置と、この画像管理サーバ装置から供給される複数の画像データを用いて合成画像データを生成するクライアント端末とをネットワークを介して接続するとともに、前記クライアント端末には、前記生成した合成画像データを出力して表示するための表示装置を接続した画像表示システムにおけるクライアント端末であって、撮影により生成した画像データと当該画像データについての所定の撮影条件を示すメタデータとを対応させて蓄積する画像データ蓄積手段と、この画像データ蓄積手段に蓄積された画像データの中から選択される任意の画像データと当該画像データに対応するメタデータとの両方を、または前記選択される任意の画像データに対応するメタデータのみを、前記画像管理サーバ装置に送信する送信手段と、この送信手段から送信されたメタデータを受信した前記画像管理サーバ装置から送信される、前記メタデータに対応する前記画像データと相関の高い高相関性画像データ、および前記送信手段から送信されたメタデータに対応する前記画像データのそれぞれに対して重み付けを行うための加重値曲線を生成する加重値生成手段と、この加重値生成手段で生成された加重値曲線を用いて、前記画像管理サーバ装置から受信した前記高相関性画像データ、および前記送信手段から送信した前記メタデータに対応する画像データをそれぞれ加工して複数の加工画像データを生成する画像加工手段と、この画像加工手段で生成された複数の加工画像データを合成して合成画像データを生成する画像合成手段と、この画像合成手段で生成された合成画像データを前記表示装置に出力する画像表示処理手段とを備えることを特徴とする。
【００１５】
また、本発明の画像管理サーバ装置は、画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存する画像管理サーバ装置と、この画像管理サーバ装置から供給される複数の画像データを用いて合成画像データを生成するクライアント端末とをネットワークを介して接続するとともに、前記クライアント端末には、前記生成した合成画像データを出力して表示するための表示装置を接続した画像表示システムにおける画像管理サーバ装置であって、前記画像データ保存手段に保存されている登録画像データを、当該登録画像データに対応するメタデータに基づいて複数のグループに分類する分類手段と、前記クライアント端末から送信される画像データと当該画像データに対応するメタデータとの両方を、または前記クライアント端末から送信されるメタデータのみを受信する受信手段と、前記クライアント端末から送信されたメタデータに基づいて、前記メタデータに対応する画像データが前記複数のグループのうちのどのグループに属するかを求め、前記画像データ保存手段に保存されている複数の登録画像データの中から、前記クライアント端末から送信された前記メタデータに対応する画像データと同一のグループに属し、かつ相関の高い高相関性画像データを検索する検索手段と、この検索手段による検索の結果として得られた高相関性画像データを前記クライアント端末に対して送信する送信手段とを備えることを特徴とする。
【００１６】
また、本発明のクライアント端末は、画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存するとともに、この画像データ保存手段に保存した複数の登録画像データを用いて合成画像データを生成する画像管理サーバ装置と、この画像管理サーバ装置から供給される前記合成画像データを出力して表示するための表示装置を接続したクライアント端末とをネットワークを介して接続した画像表示システムにおけるクライアント端末であって、撮影により生成した画像データと当該画像データについての所定の撮影条件を示すメタデータとを対応させて蓄積する画像データ蓄積手段と、この画像データ蓄積手段に蓄積された画像データの中から選択される任意の画像データと当該画像データに対応するメタデータとの両方を、または前記選択される任意の画像データに対応するメタデータのみを、前記画像管理サーバ装置に送信する送信手段と、前記画像管理サーバ装置で生成された合成画像データを受信する受信手段と、この受信手段で受信した合成画像データを前記表示装置に出力する画像表示処理手段とを備えることを特徴とする。
【００１７】
また、本発明の画像管理サーバ装置は、画像データと当該画像データについての所定の撮影条件を示すメタデータとを登録画像データとして画像データ保存手段に保存するとともに、この画像データ保存手段に保存した複数の登録画像データを用いて合成画像データを生成する画像管理サーバ装置と、この画像管理サーバ装置から供給される前記合成画像データを出力して表示するための表示装置を接続したクライアント端末とをネットワークを介して接続した画像表示システムにおける画像管理サーバ装置であって、前記画像データ保存手段に保存されている登録画像データを、当該登録画像データに対応するメタデータに基づいて複数のグループに分類する分類手段と、前記クライアント端末から送信される画像データと当該画像データに対応するメタデータとの両方を、または前記クライアント端末から送信されるメタデータのみを受信する受信手段と、前記クライアント端末から送信されたメタデータに基づいて、前記メタデータに対応する画像データが前記複数のグループのうちのどのグループに属するかを求め、前記画像データ保存手段に保存されている複数の登録画像データの中から、前記クライアント端末から送信された前記メタデータに対応する画像データと同一のグループに属し、かつ相関の高い高相関性画像データを検索する検索手段と、この検索手段による検索の結果として得られた高相関性画像データ、および前記クライアント端末から画像データを受信した場合は当該画像データのそれぞれに対して重み付けを行うための加重値曲線を生成する加重値生成手段と、この加重値生成手段で生成された加重値曲線を用いて、前記検索手段による検索の結果として得られた前記高相関性画像データを加工し、前記クライアント端末から画像データを受信した場合は当該画像データも加工して、複数の加工画像データを生成する画像加工手段と、この画像加工手段で生成された複数の加工画像データを合成して合成画像データを生成する画像合成手段と、この画像合成手段で生成された合成画像データを前記クライアント端末に対して送信する送信手段とを備えることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、画像管理サーバ装置に保存された登録画像データの中から、クライアント端末から送信されたメタデータに対応する画像データと相関の高い高相関性画像データを検索し、検索の結果得られた高相関性画像データ、およびクライアント端末から送信されたメタデータに対応する画像データを用いて合成画像データを生成することにより、ネットワークで接続された不特定多数の利用者によるコラボレーションの結果として、創発を誘導する画像を作り出すことができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。なお、各図面を通じて同一もしくは同等の部位や構成要素には、同一もしくは同等の参照符号を付し、その説明を省略もしくは簡略化する。
【００２０】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像表示システムの構成を示すブロック図である。図１に示すように、第１の実施の形態に係る画像表示システムは、画像管理サーバ装置１と、クライアント端末２とを備える。クライアント端末２は、ネットワーク機能を有し、インターネットなどのネットワーク３を介して画像管理サーバ装置１と接続可能になっている。画像管理サーバ装置１は、ネットワーク３を介してアクセスされる複数のクライアント端末からの要求に対し、複数の高相関性画像データを提供する機能を有している。
【００２１】
画像管理サーバ装置１は、ネットワーク３を介して画像データ等のデータを送受信する送受信部１１と、クライアント端末２からネットワーク３を介して受信したデータからメタデータ等を分離するメタデータ抽出部１２と、メタデータ抽出部１２で抽出されたメタデータに基づいて、画像データ保存部１４に保存されている登録画像データから高相関性画像データを検索する検索手段として機能する分類部１３と、画像データを当該画像データについての撮影条件を示すメタデータとともに登録画像データとして保存する画像データ保存部１４と、画像管理サーバ装置１に設けられた各部を制御する制御部１５を備える。また、分類部１３は、画像データ保存部１４に保存されている登録画像データを、当該登録画像データについてのメタデータに基づいて複数のグループに分類するようになっており、分類手段を構成する。
【００２２】
クライアント端末２は、自ら取得した画像データまたは外部装置から取得した画像データを、当該画像データのメタデータに関連付けて蓄積する画像データ蓄積部２１と、ネットワーク３を介して画像データ等のデータを送受信する送受信部２２と、送受信部２２で画像管理サーバ装置１から受信した高相関性画像データ等を一時保存する受信画像データ一時蓄積部２３と、画像管理サーバ装置１から高相関性画像データとともに受信したメタデータを抽出するメタデータ抽出部２４と、メタデータ抽出部２４で抽出したメタデータ等に基づいて、画像管理サーバ装置１から受信した高相関性画像データ等に対する重み付けを行うための加重値を算出する加重値設定部２５と、加重値設定部２５で算出された加重値を用いて、画像管理サーバ装置１から受信した高相関性画像データ等を加工して加工画像データを生成する画像加工部２６と、画像加工部２６で生成された複数の加工画像データを合成して合成画像データを生成する画像合成部２７と、画像合成部２７で生成された合成画像データを外部のディスプレイに出力する画像表示処理部２８と、ユーザ操作を受け取り、結果を出力するコマンド入力部２９と、クライアント端末２に設けられた各部を制御する制御部３０を備える。コマンド入力部２９は、キーボード、マウス、リモコンなどのユーザインタフェース機器から構成される。
【００２３】
クライアント端末２では、予め画像データおよびメタデータを取得し、画像データ蓄積部２１に蓄積しておく。以下、この画像取得処理について説明する。クライアント端末２は、メタデータを伴う画像データを、自ら備える撮影部（図示せず）、あるいは外部装置から取得する。
【００２４】
図２はクライアント端末２が外部の撮影機器４から画像データを取得する場合について説明するための図である。ここで、撮影機器４は、例えばデジタルカメラにより構成され、撮影部４１と、撮影部４１で生成された画像データを記録する画像データ記録部４２と、単体で撮影時に撮影日時情報（撮影時刻）をはじめとする撮影条件を取得する撮影条件取得部４３と、画像データ等の送受信を行う送受信部４４とを備える。画像データ記録部４２には、撮影部４１で生成された画像データが、撮影条件取得部４３で取得される当該画像データの撮影条件のメタデータとともに記録される。
【００２５】
上述の撮影日時情報以外の撮影条件としては、撮影を行った位置を示す撮影位置情報がある。この撮影位置情報の取得は、撮影条件取得部４３に例えばＧＰＳ（Global Positioning System）を内蔵することにより実現することができる。ＧＰＳ以外に、携帯型電話の位置情報サービス受信機能を撮影条件取得部４３に内蔵し、これにより撮影位置情報を取得してもよい。
【００２６】
また、撮影時において、撮影位置情報を取得する手段を撮影条件取得部４３が有していない場合には、撮影後にユーザが撮影機器４の入力手段（図示せず）を操作することによりマニュアルで設定するようにしてもよい。例えば、撮影場所が建造物の敷地内である場合など、位置が特定しやすい場合には、撮影時に撮影位置情報を取得できなくとも、後から地図データを参照するなどして、撮影位置を入力、保存するようにしてもよい。また、撮影機器４では行わず、後述するクライアント端末２に画像データを蓄積した後に、コマンド入力部２９によって、撮影位置を入力、保存するようにしてもよい。
【００２７】
また、撮影条件として、撮影条件取得部４３により撮影方向も取得できる場合は、その撮影方向を示す撮影方向情報も撮影条件を示すメタデータに含めてもよい。この撮影方向情報は、専用の方向センサなどを撮影条件取得部４３に内蔵して、この方向センサなどから取得するか、上述の撮影位置情報と同様にＧＰＳにより取得する。
【００２８】
クライアント端末２は、送受信部２２を介して撮影機器４の送受信部４４と有線または無線で接続し、画像データ記録部４２に記録されている画像データを撮影条件のメタデータとともに受信し、受信した画像データおよびメタデータを画像データ蓄積部２１に蓄積する。なお、このような信号路経由による伝送以外に、撮影機器４で画像データおよびメタデータを一旦メモリカードなどの記録媒体に記録し、この記録媒体に記録された画像データおよびメタデータをクライアント端末２において読出手段（図示せず）により読み出し、画像データ蓄積部２１に蓄積してもよい。
【００２９】
また、クライアント端末２は、画像データおよびメタデータを撮影機器４から取得する以外に、図３で示すようにネットワーク機器５からネットワーク３を介して取得することもできる。図３はクライアント端末２が外部のネットワーク機器５から画像データを受け取る場合について説明するための図である。ここで、ネットワーク機器５は、例えば写真や動画の整理機能を有するＤＶＤレコーダにより構成され、画像データが当該画像データの撮影条件のメタデータとともに記録される画像データ記録部５１と、ネットワーク３を介して画像データ等の送受信を行う送受信部５２とを備える。この場合、クライアント端末２は、送受信部２２を介してネットワーク機器５にアクセスし、画像データおよび撮影条件のメタデータを取得し、画像データ蓄積部２１に蓄積する。
【００３０】
次に、第１の実施の形態に係る画像表示システムの動作を説明する。図４は図１に示す画像表示システムのクライアント端末２の動作を示すフローチャート、図５は図１に示す画像表示システムの画像管理サーバ装置１の動作を示すフローチャートである。
【００３１】
まず、図４に示すフローチャートのステップＳ１０において、クライアント端末２の制御部３０は、既に画像データ蓄積部２１に蓄積されている画像データの中からユーザ操作により選択される画像データを当該画像データに対応するメタデータとともに、あるいは画像データ蓄積部２１に蓄積されている画像データの中からユーザ操作により選択される画像データに対応するメタデータを単体で、ネットワーク３を介して画像管理サーバ装置１に送信するように送受信部２２を制御する。クライアント端末２は、画像データを送信する場合は画像データとともに撮影条件のメタデータも送信し、画像データを送信しない場合は撮影条件のメタデータのみを単体で送信する。
【００３２】
ここで、画像データをメタデータとともに送信する場合は、画像管理サーバ装置１より高相関性画像検索サービスと画像登録サービスとの両方を受ける場合であり、メタデータを単体で送信する場合は、高相関性画像検索サービスのみを受ける場合である。画像データをメタデータとともに送信するか、メタデータを単体で送信するかは、ユーザがコマンド入力部２９を操作することにより選択される。
【００３３】
ここで、画像データをメタデータとともに送信する場合は、図６に示すようにメタデータが画像データ内部に埋め込まれた形式として提供してもよいし、図７に示すように画像データとメタデータとが分離された形式としてもよい。これらのメタデータには、撮影条件として、画像を撮影した日時を示す撮影日時情報、撮影した位置を示す撮影位置情報、撮影した方向を示す撮影方向情報等の情報が含まれている。
【００３４】
図６に示すように、画像データ６にメタデータ６１が埋め込まれている場合、画像データ６は、メタデータ６１と画像情報６２とを含み、メタデータ６１は、撮影日時情報６１１、撮影位置情報６１２、撮影方向情報６１３等を含む。撮影日時情報６１１、撮影位置情報６１２、撮影方向情報６１３等は、画像データ６の先頭位置にヘッダ情報として埋め込まれている。
【００３５】
また、図７に示すように、メタデータ８が画像データ７とは別情報である場合、画像データ７は画像情報７１を含み、メタデータ８に撮影日時情報８１１、撮影位置情報８１２、撮影方向情報８１３等が含まれている。図７に示すような別情報形式の場合は、ファイル、またはメッセージとして、単一もしくは複数の単位で画像管理サーバ装置１に伝達される。この場合のメタデータ８は、例えばＸＭＬのようなテキストフォーマットで記載する。
【００３６】
次に、画像管理サーバ装置１の動作について、図５に示すフローチャートを参照して説明する。
【００３７】
クライアント端末２からメタデータ、画像データ等のデータが送信されると、図５に示すフローチャートのステップＳ１１０において、画像管理サーバ装置１の送受信部１１は、クライアント端末２からのデータを受信する。次に、ステップＳ１２０では、画像管理サーバ装置１の制御部１５は、クライアント端末２から受信したデータに、撮影条件に関するメタデータや、画像検索条件に関する検索パラメータが含まれている場合は、それらを抽出するようにメタデータ抽出部１２を制御する。
【００３８】
ここで、検索パラメータとは、例えばクライアント端末２が１回に受理可能な画像枚数を指定する最大受理可能画像枚数などの情報である。さらに、検索対象範囲を限定する最大サーチ範囲についての情報なども検索パラメータに含まれる。これらの情報はクライアント端末２のメモリ量、表示画像サイズ、画像処理能力、ネットワーク伝送能力などから決定され、図４に示すフローチャートのステップＳ１０において、画像データ等とともにクライアント端末２から画像管理サーバ装置１に送信される。
【００３９】
次に、ステップＳ１３０では、画像管理サーバ装置１の制御部１５は、クライアント端末２から受信したデータに、撮影条件のメタデータが含まれているかどうかを判断する。撮影条件のメタデータが存在する場合（ステップＳ１３０：ＹＥＳ）、ステップＳ１４０に進み、撮影条件のメタデータが存在しない場合（ステップＳ１３０：ＮＯ）、処理を終了する。
【００４０】
そして、ステップＳ１４０では、画像管理サーバ装置１の制御部１５は、ステップＳ１１０で受信した撮影条件のメタデータを検索キーとして、画像データ保存部１４に対して高相関性画像データを検索するように分類部１３を制御する。このステップＳ１４０における画像の検索は、撮影条件のメタデータを特徴次元として構成される特徴空間上で行われ、図８に示すフローチャートの手順で行われる。
【００４１】
図８は分類部１３における高相関性画像データの検索手順を示すフローチャートである。まず、ステップＳ２１０において、分類部１３は、検索キーとして与えられた撮影条件のメタデータが属する特徴空間上のクラスタを求める。この際、特徴空間は、既に画像データ保存部１４に登録されている登録画像データのメタデータに基づいて、後述するクラスタリング処理により、クラスタ化されているものとする。なお、撮影条件のメタデータは、撮影日時情報、撮影位置情報、撮影方向情報などの複数情報を含んでおり、この中からすべて、あるいは一部の情報に対し、特徴空間が構成される。
【００４２】
ここで、高相関性画像データの検索における問題点を示し、クラスタリング処理の必要性について、図９を参照して説明する。まず、図９に示す２次元空間を例に距離計算による高相関性画像検索の問題点を説明する。図９では、横軸を経度、縦軸を緯度として、付与されたメタデータに従い、各登録画像データの位置を●印で示している。これらの画像群は、３箇所の異なる場所で撮影されたものであり、どの登録画像データが３箇所のうちのどの場所（グループ）に属するかは既知であったとする。それぞれの登録画像データがどのグループに属するかは既知であることから、×印で示す重心９１〜９３がそれぞれのグループの重心位置で、破線９４を境界面として求めることができる。
【００４３】
この２次元空間に△印で示す検索キー画像９５が入力された場合に、検索キー画像９５からの距離の近さのみで高相関性画像データを検索すると、検索キー画像９５と画像９６との間の線分９７が最も短いことから、重心９２のグループに属する画像９６が高相関性画像データとして求められてしまう。しかし、本来は重心９３のグループ内で最も短い線分９８の先にある画像９９を高相関性画像データとして選択することが望ましい。
【００４４】
また、特徴空間上の距離によって画像を２枚選択することを考えた場合にも、最も近い画像９６と次いで近い画像９９が選択され、異なるグループの登録画像データが選択されることになってしまうため、複数枚の登録画像データを常に同じグループから選択されることが必要である。
【００４５】
このため、登録画像データのグループが既知でない場合には、分類部１３において空間をクラスタ化しておく。すなわち、特徴空間上の各データの分散状態からクラスタ境界を作成する。この作成には例えば、公知のｋ−ｍｅａｎｓ法などを用いて行う。ｋ−ｍｅａｎｓ法の詳細については、尾上守夫監訳、「パターン識別」、（株）新技術コミュニケーションズ刊、５２８−５２９ページに記載されている。
【００４６】
なお、クラスタ境界が作成されると、クラスタ内に含まれる既存登録画像データがクラスタ内画像リストとして取得でき、これら各クラスタに属する情報が画像データ保存部１４に保存される。
【００４７】
次に、ステップＳ２２０では、分類部１３は、ステップＳ２１０で決定されたクラスタに属する既存登録画像データのメタデータに含まれる撮影条件と、クライアント端末２から受信したメタデータに含まれる撮影条件との空間距離を計算する。この空間距離は自乗距離によって求める。
【００４８】
そして、ステップＳ２３０では、分類部１３は、ステップＳ２２０で求められた空間距離の中から距離の近い登録画像データを、指定された枚数分だけ高相関性画像データとして選択する。これにより、図５に示すフローチャートのステップＳ１４０における画像の検索処理を終了する。例えば、図９に示す２次元空間が地理的平面空間である場合には、検索キーとして与えられた撮影条件のメタデータが属するクラスタ内において、地理的に近い順に指定枚数の登録画像データが高相関性画像データとして選択される。この高相関性画像データ選択時には、高相関性画像データとして選択された登録画像データに対応する撮影条件のメタデータも付随してくる。
【００４９】
次に、図５に示すフローチャートのステップＳ１５０では、画像管理サーバ装置１の制御部１５は、ステップＳ１４０で選択された高相関性画像データを撮影条件のメタデータとともに、ネットワーク３を介してクライアント端末２に送信するように送受信部１１を制御する。
【００５０】
次に、ステップＳ１６０では、画像管理サーバ装置１の制御部１５は、クライアント端末２から受信したデータにおいて、登録する画像データが存在するか否かを判断する。ここで、ステップＳ１１０における受信処理でクライアント端末２から画像データをメタデータとともに受信した場合は登録する画像データが存在すると判断し、メタデータ単体で受信した場合は登録する画像データが存在しないと判断する。
【００５１】
登録する画像データが存在する場合（ステップＳ１６０：ＹＥＳ）、ステップＳ１７０において、画像管理サーバ装置１の制御部１５は、クライアント端末２から受信した画像データを画像データ保存部１４へ登録する。登録する画像データが存在しない場合（ステップＳ１６０：ＮＯ）、処理を終了する。
【００５２】
ステップＳ１７０における画像データの登録は、図１０に示すフローチャートの手順で行われる。この画像データの登録動作には、クライアント端末２から受信した新たな画像データを含めた特徴空間を再度クラスタリングする動作も含むが、必ずしもオンラインで行う必要はなく、ステップＳ１１０〜Ｓ１５０の処理の後にオフラインで処理してもよい。
【００５３】
まず、ステップＳ３１０では、画像管理サーバ装置１の制御部１５は、クライアント端末２から受信した画像データを画像データ保存部１４へ保存する。次にクライアント端末２からメタデータ等のデータを受信するときには、ステップＳ３１０で保存した画像データは登録画像データとして扱われる。
【００５４】
次いで、ステップＳ３２０では、画像管理サーバ装置１の制御部１５は、メタデータ抽出部１２によって分離された撮影条件のメタデータを特徴空間上に加えて、改めてクラスタリングを行うように分類部１３を制御する。これにより作成されたクラスタリングされた特徴空間を次回以降の予めクラスタリングされた特徴空間として、前述した図５に示すフローチャートのステップＳ１４０において利用する。
【００５５】
引き続き図４を参照して、クライアント端末２における高相関性画像データ受信時の動作について説明する。
【００５６】
画像管理サーバ装置１から検索の結果得られた高相関性画像データおよび当該高相関性画像データに対応する撮影条件のメタデータが送信されると、ステップＳ２０において、クライアント端末２の送受信部２２は、画像管理サーバ装置１からの高相関性画像データおよび当該高相関性画像データに対応する撮影条件のメタデータを受信する。そして、クライアント端末２の制御部３０は、受信した高相関性画像データおよび撮影条件のメタデータを受信画像データ一時蓄積部２３に保存する。ここで、受信画像枚数は検索結果にもよるが、多くの場合複数枚が取得される。
【００５７】
次に、ステップＳ３０では、クライアント端末２の制御部３０は、受信した各高相関性画像データに対応する撮影条件のメタデータを抽出するようにメタデータ抽出部２４を制御する。
【００５８】
次に、ステップＳ４０では、クライアント端末２の制御部３０は、ユーザ操作に応じてコマンド入力部２９で生成されるオフセット操作情報を読み取る。ここで、オフセット操作情報としては、例えば、今回画像管理サーバ装置１に送信したメタデータに含まれる撮影日時情報に対し、その前後にどれだけ相対的に時刻を変移させるかを示す変移時間情報が生成される。
【００５９】
次に、ステップＳ５０では、クライアント端末２の制御部３０は、加重値設定部２５が加重値曲線を決定するように制御する。加重値設定部２５において加重値曲線を決定する手順について説明する。まず、画像管理サーバ装置１から取得した高相関性画像データにおいて、特定枚数、例えば４枚の高相関性画像データが含まれるように時間区間を選択した場合の区間長を、時間的にずらしながら、取得したすべての高相関性画像データに対し最低１回は含まれるようにして求め、その平均値を平均混合時間長とする。
【００６０】
なお、取得枚数が１枚以下の場合の平均混合時間長は任意の正の値で代用する。また２枚以上指定枚数に満たない場合もそれらの画像が含まれる区間長を平均混合時間長として代用する。
【００６１】
加重値曲線は、時間をパラメータとする特性曲線である。加重値設定部２５は、時間軸に対し正規化された正規化加重値曲線を保有している。この正規化加重値曲線は、基準時刻をピーク値として前後の時間で値が減少する特性曲線である。加重値設定部２５は、この正規化加重値曲線を時間軸方向について、平均混合時間長に比例してスケーリングし、加重値曲線を得る。
【００６２】
さらに、加重値設定部２５は、今回画像管理サーバ装置１に送信したメタデータに含まれる撮影日時情報、およびユーザ操作に応じてコマンド入力部２９で生成される変移時間情報に基づいて、今回画像管理サーバ装置１に送信したメタデータに対応する画像データの撮影時刻に対して変移時間を加算したオフセット時刻を基準時刻とする加重値曲線を生成する。
【００６３】
次に、ステップＳ６０では、クライアント端末２の制御部３０は、加重値設定部２５で生成された加重値曲線から、画像管理サーバ装置１に送信したメタデータに対応する画像データおよび画像管理サーバ装置１から受信した各高相関性画像データそれぞれの撮影時刻に対する加重値を得て、この加重値を用いて各画像データに対して画像処理を行い、加工画像データを生成するように画像加工部２６を制御する。この画像処理には、例えば画像の拡大、縮小などの処理に対し、その拡大、縮小率に加重値を用いる。
【００６４】
次に、ステップＳ７０では、クライアント端末２の制御部３０は、画像加工部２６で生成された各加工画像データを合成して合成画像データを生成するように画像合成部２７を制御する。合成画像は各加工画像の透明度に応じて、下の画像が透過する形でブレンドされる。この際に、それぞれの画像の透明度は加重値により決定される。この際、画像管理サーバ装置１に送信したメタデータに対応する加工画像も合成対象とする。このときの画像のレイヤの上下関係は、合成対象の各画像データに対応する撮影条件のメタデータに含まれる撮影日時情報で決められる。この順序は、例えば古い時間順にレイヤが上に重なるようにする。
【００６５】
次に、ステップＳ８０では、クライアント端末２の制御部３０は、画像合成部２７で生成された合成画像データを、新たな表示画像として外部のディスプレイ装置に出力するように画像表示処理部２８を制御する。
【００６６】
最後に、ステップＳ９０において、クライアント端末２の制御部３０は、コマンド入力部２９からユーザ操作に応じた表示終了要求が出力されたかどうかを判断し、表示終了要求が出力された場合（ステップＳ９０：ＹＥＳ）は表示を終了する。表示終了要求が出力されていない場合（ステップＳ９０：ＮＯ）には、ステップＳ４０に戻り、クライアント端末２の制御部３０は、コマンド入力部２９からの新たなオフセット操作情報を読み取り、新たな合成画像を継続生成する。
【００６７】
図１１〜図１４は本発明における画像合成について説明するための図である。図１１〜図１４では、クライアント端末２から画像管理サーバ装置１に送信したメタデータに対応する画像の撮影時刻（基準撮影時刻位置）を１０としている。また、画像管理サーバ装置１から３枚の高相関性画像データを取得するものとし、それぞれの撮影時刻を４，７，１５としている。
【００６８】
図１１は変移時間が−３の場合を示している。この場合、図１１（ａ）に示すような、時刻７をピーク値とする加重値曲線１０１ａが得られる。そして、図１１（ｂ）に示すように、加重値曲線１０１ａから得られる時刻４，７，１０，１５に対する加重値に基づいて、加工画像１０２ａ，１０３ａ，１０４ａ，１０５ａが生成され、これらを合成することによって、図１１（ｃ）に示すような合成画像１０６ａが得られる。ここで、加重値が加重値曲線１０１ａのピーク値となる加工画像１０３ａは透明度が低く、下の画像１０４ａ，１０５ａを透過しないものとする。
【００６９】
図１２は変移時間が−２の場合を示している。この場合、図１２（ａ）に示すような、時刻８をピーク値とする加重値曲線１０１ｂが得られる。そして、図１２（ｂ）に示すように、加重値曲線１０１ｂから得られる時刻４，７，１０，１５に対する加重値に基づいて、加工画像１０２ｂ，１０３ｂ，１０４ｂ，１０５ｂが生成され、これらを合成することによって、図１２（ｃ）に示すような合成画像１０６ｂが得られる。
【００７０】
図１３は変移時間が０の場合を示している。この場合、図１３（ａ）に示すような、時刻１０をピーク値とする加重値曲線１０１ｃが得られる。そして、図１３（ｂ）に示すように、加重値曲線１０１ｃから得られる時刻４，７，１０，１５に対する加重値に基づいて、加工画像１０２ｃ，１０３ｃ，１０４ｃ，１０５ｃが生成され、これらを合成することによって、図１３（ｃ）に示すような合成画像１０６ｃが得られる。ここで、加重値が加重値曲線１０１ｃのピーク値となる加工画像１０４ｃは透明度が低く、下の画像１０５ｃを透過しないものとする。
【００７１】
図１４は変移時間が５の場合を示している。この場合、図１４（ａ）に示すような、時刻１５をピーク値とする加重値曲線１０１ｄが得られる。そして、図１４（ｂ）に示すように、加重値曲線１０１ｄから得られる時刻４，７，１０，１５に対する加重値に基づいて、加工画像１０２ｄ，１０３ｄ，１０４ｄ，１０５ｄが生成され、これらを合成することによって、図１４（ｃ）に示すような合成画像１０６ｄが得られる。ここで、加重値が加重値曲線１０１ｄのピーク値となる加工画像１０５ｄは透明度が低くなるものとする。
【００７２】
図１１〜図１４に示すように、ユーザ操作に応じて変移時間を変更することで、ユーザは自身が保有する画像と、撮影位置が近い他者が撮影した複数の画像、あるいは撮影位置と撮影方向が近い他者が撮影した複数の画像とが時間を追って合成される様子を鑑賞することができる。
【００７３】
第１の実施の形態によれば、画像管理サーバ装置１の画像データ保存部１４に保存された登録画像データの中から、クライアント端末２から送信されたメタデータに対応する画像データと相関の高い高相関性画像データを検索し、検索の結果得られた高相関性画像データ、およびクライアント端末２から送信されたメタデータに対応する画像データを用いて合成画像データを生成するので、ユーザは自身が保有する画像と関連性の強い他者保有の画像が合成された合成画像を鑑賞することができる。このようにして、ネットワークで接続された不特定多数のユーザによるコラボレーションの結果として、創発を誘導する画像を作り出し、ユーザに提供することができる。
【００７４】
（第２の実施の形態）
第１の実施の形態では、画像合成処理をクライアント端末側で行ったが、第２の実施の形態では、画像合成処理を画像管理サーバ装置側で行う。
【００７５】
図１５は本発明の第２の実施の形態に係る画像表示システムの構成を示すブロック図である。図１５に示すように、第２の実施の形態に係る画像表示システムは、画像管理サーバ装置１Ａと、クライアント端末２Ａとを備え、画像管理サーバ装置１Ａとクライアント端末２Ａとは、インターネットなどのネットワーク３を介して接続可能になっている。
【００７６】
画像管理サーバ装置１Ａは、ネットワーク３を介して画像データ等のデータを送受信する送受信部１１と、クライアント端末２Ａからネットワーク３を介して受信したデータからメタデータ等を分離するメタデータ抽出部１２と、メタデータ抽出部１２で抽出されたメタデータに基づいて、画像データ保存部１４に保存されている登録画像データから高相関性画像データを検索する検索手段として機能する分類部１３と、画像データを当該画像データについての撮影条件を示すメタデータとともに登録画像データとして保存する画像データ保存部１４と、分類部１３での検索の結果得られた高相関性画像データを当該高相関画像データについてのメタデータとともに一時保存する選択画像データ一時蓄積部１６と、メタデータに基づいて、選択画像データ一時蓄積部１６に保存された高相関性画像データ等に対する重み付けを行うための加重値を算出する加重値設定部１７と、加重値設定部１７で算出された加重値を用いて、選択画像データ一時蓄積部１６に保存された高相関性画像データ等を加工して加工画像データを生成する画像加工部１８と、画像加工部１８で生成された複数の加工画像データを合成して合成画像データを生成する画像合成部１９と、画像管理サーバ装置１Ａに設けられた各部を制御する制御部１５を備える。また、分類部１３は、画像データ保存部１４に保存されている登録画像データを、当該登録画像データについてのメタデータに基づいて複数のグループに分類するようになっており、分類手段を構成する。
【００７７】
クライアント端末２Ａは、自ら取得した画像データまたは外部装置から取得した画像データを、当該画像データのメタデータに関連付けて蓄積する画像データ蓄積部２１と、ネットワーク３を介して画像データ等のデータを送受信する送受信部２２と、画像管理サーバ装置１Ａから受信した合成画像データを外部のディスプレイに出力する画像表示処理部２８と、ユーザ操作を受け取り、結果を出力するコマンド入力部２９と、クライアント端末２Ａに設けられた各部を制御する制御部３０を備える。コマンド入力部２９は、キーボード、マウス、リモコンなどのユーザインタフェース機器から構成される。
【００７８】
クライアント端末２Ａでは、第１の実施の形態と同様に、メタデータを伴う画像データを、自ら備える撮影部（図示せず）、あるいは外部装置から予め取得し、画像データ蓄積部２１に蓄積しておく。
【００７９】
次に、第２の実施の形態に係る画像表示システムの動作を説明する。図１６は図１５に示す画像表示システムのクライアント端末２Ａの動作を示すフローチャート、図１７は図１５に示す画像表示システムの画像管理サーバ装置１Ａの動作を示すフローチャートである。
【００８０】
まず、図１６を参照して、クライアント端末２Ａにおける画像データの送信時の処理について説明する。
【００８１】
まず、ステップＳ４１０では、クライアント端末２Ａの制御部３０は、ユーザ操作に応じてコマンド入力部２９で生成される選択情報を読み取る。選択情報は、既に画像データ蓄積部２１に蓄積されている画像データの中から、どの画像データについてのメタデータを画像管理サーバ装置１Ａに送信するか、また、メタデータとともに画像データを送信するかどうかを示すものである。また、クライアント端末２Ａの制御部３０は、ユーザ操作に応じてコマンド入力部２９で生成されるオフセット操作情報を読み取る。ここで、オフセット操作情報としては、例えば、今回画像管理サーバ装置１Ａに送信するメタデータに含まれる撮影日時情報に対し、その前後にどれだけ相対的に時刻を変移させるかを示す変移時間情報が生成される。
【００８２】
次に、ステップＳ４２０では、クライアント端末２Ａの制御部３０は、ユーザ操作により選択された画像データを当該画像データに対応するメタデータとともに、あるいは選択された画像データに対応するメタデータを単体で、ネットワーク３を介して画像管理サーバ装置１Ａに送信するように送受信部２２を制御する。また、クライアント端末２Ａの制御部３０は、変移時間情報も同時に送信するように制御する。
【００８３】
次に、画像管理サーバ装置１Ａの動作について、図１７に示すフローチャートを参照して説明する。
【００８４】
クライアント端末２Ａからメタデータ、画像データ等のデータが送信されると、図１７に示すフローチャートのステップＳ５１０において、画像管理サーバ装置１Ａの送受信部１１は、クライアント端末２Ａからのデータを受信する。次に、ステップＳ５２０では、画像管理サーバ装置１Ａの制御部１５は、クライアント端末２Ａから受信したデータに、撮影条件に関するメタデータや、画像検索条件に関する検索パラメータが含まれている場合は、それらを抽出するようにメタデータ抽出部１２を制御する。
【００８５】
次に、ステップＳ５３０では、画像管理サーバ装置１Ａの制御部１５は、クライアント端末２Ａから受信したデータに、撮影条件のメタデータが含まれているかどうかを判断する。撮影条件のメタデータが存在する場合（ステップＳ５３０：ＹＥＳ）、ステップＳ５４０に進み、撮影条件のメタデータが存在しない場合（ステップＳ５３０：ＮＯ）、処理を終了する。
【００８６】
次に、ステップＳ５４０では、画像管理サーバ装置１Ａの制御部１５は、ステップＳ５１０で受信した撮影条件のメタデータを検索キーとして、画像データ保存部１４に対して高相関性画像データを検索するように分類部１３を制御する。このステップＳ５４０における画像の検索は、第１の実施の形態で説明した図８に示すフローチャートの手順で行われる。そして、画像管理サーバ装置１Ａの制御部１５は、検索の結果得られた高相関性画像データおよび当該高相関性画像データに対応する撮影条件のメタデータを選択画像データ一時蓄積部１６に保存する。
【００８７】
次に、ステップＳ５５０では、画像管理サーバ装置１Ａの制御部１５は、加重値設定部１７が加重値曲線を決定するように制御する。加重値設定部１７において加重値曲線を決定する手順について説明する。まず、検索の結果得られた高相関性画像データにおいて、特定枚数、例えば４枚の高相関性画像データが含まれるように時間区間を選択した場合の区間長を、時間的にずらしながら、検索の結果得られたすべての高相関性画像データに対し最低１回は含まれるようにして求め、その平均値を平均混合時間長とする。
【００８８】
なお、検索の結果得られた枚数が１枚以下の場合の平均混合時間長は任意の正の値で代用する。また２枚以上指定枚数に満たない場合もそれらの画像が含まれる区間長を平均混合時間長として代用する。
【００８９】
加重値設定部１７は、時間軸に対し正規化された正規化加重値曲線を保有している。加重値設定部１７は、この正規化加重値曲線を時間軸方向について、平均混合時間長に比例してスケーリングし、加重値曲線を得る。加重値設定部１７は、今回クライアント端末２Ａから受信したメタデータに含まれる撮影日時情報および変移時間情報に基づいて、今回クライアント端末２Ａから受信したメタデータに対応する画像データの撮影時刻に対して変移時間を加算したオフセット時刻を基準時刻とする加重値曲線を生成する。
【００９０】
次に、ステップＳ５６０では、画像管理サーバ装置１Ａの制御部１５は、加重値設定部１７で生成された加重値曲線から、クライアント端末２Ａから受信したメタデータに対応する画像データおよび分類部１３による検索の結果得られた各高相関性画像データそれぞれの撮影時刻に対する加重値を得て、この加重値を用いて各画像データに対して画像処理を行い、加工画像データを生成するように画像加工部１８を制御する。この画像処理には、例えば画像の拡大、縮小などの処理に対し、その拡大、縮小率に加重値を用いる。
【００９１】
次に、ステップＳ５７０では、画像管理サーバ装置１Ａの制御部１５は、画像加工部１８で生成された各加工画像データを合成して合成画像データを生成するように画像合成部１９を制御する。合成画像は各加工画像の透明度に応じて、下の画像が透過する形でブレンドされる。この際に、それぞれの画像の透明度は加重値により決定される。
【００９２】
なお、クライアント端末２Ａからメタデータのみを受信し、画像データを受信していない場合は、検索の結果得られた各高相関性画像データのみについて加工画像データおよび合成画像データが生成される。
【００９３】
次に、ステップＳ５８０では、画像管理サーバ装置１Ａの制御部１５は、画像合成部１９で生成された合成画像データを、ネットワーク３を介してクライアント端末２Ａに送信するように送受信部１１を制御する。
【００９４】
次に、ステップＳ５９０では、画像管理サーバ装置１Ａの制御部１５は、クライアント端末２Ａから受信したデータにおいて、登録する画像データが存在するか否かを判断する。ここで、ステップＳ５１０における受信処理でクライアント端末２Ａから画像データをメタデータとともに受信した場合は登録する画像データが存在すると判断し、メタデータ単体で受信した場合は登録する画像データが存在しないと判断する。
【００９５】
登録する画像データが存在する場合（ステップＳ５９０：ＹＥＳ）、ステップＳ６００において、画像管理サーバ装置１Ａの制御部１５は、クライアント端末２Ａから受信した画像データを画像データ保存部１４へ登録する。登録する画像データが存在しない場合（ステップＳ５９０：ＮＯ）、処理を終了する。ステップＳ６００における画像データの登録は、第１の実施の形態で説明した図１０に示すフローチャートの手順で行われる。
【００９６】
引き続き図１６を参照して、クライアント端末２Ａにおける合成画像データ受信時の動作について説明する。
【００９７】
画像管理サーバ装置１Ａから合成画像データが送信されると、ステップＳ４３０において、クライアント端末２Ａの送受信部２２は、画像管理サーバ装置１Ａからの合成画像データを受信する。次に、ステップＳ４４０では、クライアント端末２Ａの制御部３０は、画像管理サーバ装置１Ａから受信した合成画像データを、新たな表示画像として外部のディスプレイ装置に出力するように画像表示処理部２８を制御する。
【００９８】
最後に、ステップＳ４５０において、クライアント端末２Ａの制御部３０は、コマンド入力部２９からユーザ操作に応じた表示終了要求が出力されたかどうかを判断し、表示終了要求が出力された場合（ステップＳ４５０：ＹＥＳ）は表示を終了する。表示終了要求が出力されていない場合（ステップＳ４５０：ＮＯ）は、ステップＳ４１０に戻り、以降の処理を繰り返す。
【００９９】
第２の実施の形態によれば、加重値設定部１７、画像加工部１８、画像合成部１９を画像管理サーバ装置１Ａに設けたので、クライアント端末２Ａの処理能力が高くない場合でも、合成画像の生成、表示が可能となる。
【０１００】
なお、第２の実施の形態に係る画像表示システムでは、コマンド入力部２９のオフセット操作情報を頻繁に画像管理サーバ装置１Ａへ送信し、このオフセット操作情報を基に合成画像データが画像管理サーバ装置１Ａで生成されることになる。このため、画像管理サーバ装置１Ａに対して、クライアント端末２Ａの数はある程度限られ、ネットワーク３の伝送能力も十分に確保されていることが望ましい。
【０１０１】
上記各実施の形態のクライアント端末２，２Ａは、ネットワーク接続機能を有するネットワーク機器、もしくはネットワーク接続機能を有するパーソナルコンピュータとその上で動作するプログラムとして構成される。ネットワーク機器としては、様々な形態が考えられ、例えば、ネットワーク機能を有するデジタルビデオカムコーダやデジタルビデオレコーダがある。
【０１０２】
クライアント端末２，２Ａの具体的なハードウェア構成を図１８に示す。図１８に示すようにクライアント端末は、各種の演算処理を実行するＣＰＵ１１１と、各種情報を一時記憶するＲＡＭ１１２と、起動時の動作プログラムなどを格納するＲＯＭ１１３と、ネットワーク３とのインタフェースを行うネットワーク入出力部１１４と、画像データの入力を行う画像データ入力部１１５と、ユーザからのコマンドを受け付けるコマンド入力部１１６と、画像データや本発明の画像表示プログラムなどのデータを長期保存するデータ記憶部１１７と、画像データを外部のディスプレイ装置に出力する画像出力部１１８と、装置全体の情報伝達を行う経路であるシステムバス１１９とを備えて構成され、本発明の画像表示プログラムがＣＰＵ１１１で実行される。
【０１０３】
また、上記各実施の形態の画像管理サーバ装置１，１Ａの具体的なハードウェア構成を図１９に示す。図１９に示すように画像管理サーバ装置は、各種の演算処理を実行するＣＰＵ１２１と、各種情報を一時記憶するＲＡＭ１２２と、起動時の動作プログラムなどを格納するＲＯＭ１２３と、ネットワーク３とのインタフェースを行うネットワーク入出力部１２４と、画像データやプログラムなどのデータを長期保存するデータ記憶部１２５と、装置全体の情報伝達を行う経路であるシステムバス１２６とを備えて構成され、データ記憶部１２５に保存されているプログラムにしたがって、図５，図１７のフローチャート等に示した処理がＣＰＵ１２１で実行される。
【０１０４】
なお、上記各実施の形態では、クライアント端末２，２Ａでの表示はユーザ操作に応じたコマンド入力部２９からのオフセット操作情報を基にインタラクティブに表示する動作について述べたが、オフセット操作情報の時間的変化を自動化し、合成画像をスライドショー的に表示させることも可能である。このスライドショーは複数の画像の加重値分布曲線を時間とともに変化させることにより実現する。その動作は時間変化を順方向に１回だけ実施してもよいし、繰り返し実施する表示でもよいし、逆方向に変化させるものでもよい。
【０１０５】
また、本発明において扱われる画像は、実在する地点における現実画像ではなく、想像によって作られた、過去、現在、未来の仮想空間の画像であってもよい。
【産業上の利用可能性】
【０１０６】
本発明は、パーソナルコンピュータ上の画像閲覧プログラム、ネットワーク接続機能を有するデジタルカメラやデジタルビデオレコーダなどに適用できる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の第１の実施の形態に係る画像表示システムの構成を示すブロック図である。
【図２】クライアント端末が外部の撮影機器から画像データを取得する場合について説明するための図である。
【図３】クライアント端末が外部のネットワーク機器から画像データを取得する場合について説明するための図である。
【図４】図１に示す画像表示システムのクライアント端末の動作を示すフローチャートである。
【図５】図１に示す画像表示システムの画像管理サーバ装置の動作を示すフローチャートである。
【図６】メタデータが内部に埋め込まれている画像データを示す図である。
【図７】画像データとメタデータとが分離されている形式の画像データおよびメタデータを示す図である。
【図８】高相関性画像データの検索手順を示すフローチャートである。
【図９】クラスタリングの概念図である。
【図１０】画像データの登録手順を示すフローチャートである。
【図１１】画像合成について説明するための図である。
【図１２】画像合成について説明するための図である。
【図１３】画像合成について説明するための図である。
【図１４】画像合成について説明するための図である。
【図１５】本発明の第２の実施の形態に係る画像表示システムの構成を示すブロック図である。
【図１６】図１５に示す画像表示システムのクライアント端末の動作を示すフローチャートである。
【図１７】図１５に示す画像表示システムの画像管理サーバ装置の動作を示すフローチャートである。
【図１８】クライアント端末の具体的なハードウェア構成を示すブロック図である。
【図１９】画像管理サーバ装置の具体的なハードウェア構成を示すブロック図である。
【符号の説明】
【０１０８】
１，１Ａ  画像管理サーバ装置
２，２Ａ  クライアント端末
３  ネットワーク
６，７  画像データ
８，６１  メタデータ
１１，２２  送受信部
１２，２４  メタデータ抽出部
１３  分類部
１４  画像データ保存部
１５，３０  制御部
１６  選択画像データ一時蓄積部
１７，２５  加重値設定部
１８，２６  画像加工部
１９，２７  画像合成部
２１  画像データ蓄積部
２３  受信画像データ一時蓄積部
２８  画像表示処理部
２９  コマンド入力部
６２，７１  画像情報
８１，６１１  撮影日時情報
８２，６１２  撮影位置情報
８３，６１３  撮影方向情報
【図１】
2008067290.tif 000003
【図２】
2008067290.tif 000004
【図３】
2008067290.tif 000005
【図４】
2008067290.tif 000006
【図５】
2008067290.tif 000007
【図６】
2008067290.tif 000008
【図７】
2008067290.tif 000009
【図８】
2008067290.tif 000010
【図９】
2008067290.tif 000011
【図１０】
2008067290.tif 000012
【図１１】
2008067290.tif 000013
【図１２】
2008067290.tif 000014
【図１３】
2008067290.tif 000015
【図１４】
2008067290.tif 000016
【図１５】
2008067290.tif 000017
【図１６】
2008067290.tif 000018
【図１７】
2008067290.tif 000019
【図１８】
2008067290.tif 000020
【図１９】
2008067290.tif 000021