(57)【特許請求の範囲】
【請求項１】
画像を所定のカテゴリーに分類する画像分類部と、
前記所定のカテゴリーに応じて、仮想空間への入り口部を有する仮想空間内の所定位置に、前記画像を配置する機能を有する表示制御部と、
前記仮想空間内で画像の鑑賞者を表すアバターを、前記入り口部から移動させるためのアバター制御部と、
を備え、
前記画像分類部は、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類し、
前記表示制御部は、前記プライベートな画像の表示の手前に前記アバターを重ねて表示を隠す、
ことを特徴とする画像表示装置。
【請求項２】
前記仮想空間内の所定位置は、前記入り口部から見える位置かどうかによって決まる位置であることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記表示制御部は、さらに、前記画像を前記所定のカテゴリーに応じた大きさで前記仮想空間内に表示する機能を有するものであることを特徴とする請求項１に記載の画像表示装置。
【請求項４】
画像分類部が、画像を所定のカテゴリーに分類し、
表示制御部が、前記所定のカテゴリーに応じて、仮想空間への入り口部を有する仮想空間内の所定位置に前記画像を配置し、前記画像の鑑賞者を表すアバターを前記仮想空間内に合成し、前記アバターの向いた方向の前記仮想空間内画像を表示し、
前記画像分類部は、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類し、
前記表示制御部は、前記プライベートな画像の表示の手前に前記アバターを重ねて表示を隠す、
ことを特徴とする画像表示方法。
【請求項５】
前記仮想空間内の前記画像配置用の所定位置は、前記入り口部から前記配置画像が見える位置かどうかによって決まる位置であることを特徴とする請求項４に記載の画像表示方法。
【請求項６】
前記表示方法は、さらに、前記画像を前記所定のカテゴリーに応じた大きさで前記仮想空間内に表示するステップを有するものであることを特徴とする請求項４に記載の画像表示方法。
【請求項７】
画像を所定のカテゴリーに分類する画像分類ステップと、
前記所定のカテゴリーに応じて、仮想空間への入り口部を有する仮想空間内の所定位置に、前記画像を配置する機能を有する表示制御ステップと、
前記仮想空間内で画像の鑑賞者を表すアバターを、前記入り口部から移動させるアバター制御ステップと、
を備え、
前記画像分類ステップは、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類し、
前記表示制御ステップは、前記プライベートな画像の表示の手前に前記アバターを重ねて表示を隠す、
ことをコンピュータに実行させることを特徴とする画像表示用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法および画像表示用プログラムに関し、詳しくは、現実の空間を模した仮想空間にて、そこに画像を展示するに適した画像表示装置、画像表示方法、および画像表示用プログラムに関する。
【背景技術】
【０００２】
コンピュータグラフィック技術が発展し、コンピュータやグラフィックエンジンの処理速度が高速化してきていることにより、３Ｄ空間での表示が容易になってきている。また、近年、ネットワークを通じて、コンピュータグラフィックで作られた仮想空間に、アクセス可能とするサービスが普及してきている。このような仮想空間は、従来のネットワークを通じて行うデータアクセスとは異なり、フレンドリーなユーザーインターフェースにて、ユーザーをネットの向こうの世界に誘うのに効果を発揮している。
【０００３】
この仮想空間においては、リアルな空間と同様の疑似体験が可能であり、また、これまでのネットワークを通じて提供されるサービスのうち、比較的単純なデータストアを置き換えるとしても、その空間特性を活かしたテーマ分類等も可能である。このような仮想空間を利用する技術は、種々提案されている。
【０００４】
例えば、特許文献１には、仮想空間内において、ビルの上にビルの名前などのアノテーション（注釈）を合成表示するようにし、体験者の位置によって表示方法を切り換えるようにした画像生成装置が開示されている。
【特許文献１】特開２００５−１７４０２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように特許文献１の画像生成装置によれば、体験者の位置によって表示位置を切り換えることから、常に最適な位置にアノテーションを表示することができる。しかし、この画像生成装置には、仮想空間のどこに行けばどの画像を見ることができるか、また、ユーザーにとって分かりやすい展示や、プライバシーの保護対策については、触れられていない。さらに、撮影した画像を極力有効利用して、表示画面の雰囲気を豊かにするような提案もなかった。
【０００６】
仮想空間では、空間特性を活かした活用が望ましく、リアルな空間に類似させることのできる特性を極力活かして、表示画面の豊かさを増し、なおかつ仮想世界ならではの工夫を行うことが必要である。例えば、仮想空間では、主に利用者は、アバターの姿を借りて空間内を移動するが、このアバターと画像の大きさの関係などは、仮想空間での特有の問題である。
【０００７】
前述の特許文献１に開示された画像生成装置では、仮想空間を利用して画像展示する展示者が、仮想空間で見ることができるようにしたコンテンツを、仮想空間上で違和感のない表示方法、言い換えると、現実空間にあるようなアイテムを利用して、展示することは何ら考慮されていなかった。このため、仮想空間を訪れた訪問者が不自然さを感じることなく、様々な画像を楽しむことができなかった。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、仮想空間上で違和感のない表示方法で画像を表示し、訪問者が不自然さを感じることのない画像表示装置、画像表示方法、および画像表示用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の発明に係わる画像表示装置は、画像を所定のカテゴリーに分類する画像分類部と、前記所定のカテゴリーに応じて、仮想空間への入り口部を有する仮想空間内の所定位置に、前記画像を配置する機能を有する表示制御部と、前記仮想空間内で画像の鑑賞者を表すアバターを、前記入り口部から移動させるためのアバター制御部と、を備え、前記画像分類部は、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類し、前記表示制御部は、前記プライベートな画像の表示の手前に前記アバターを重ねて表示を隠す。
【００１１】
第２の発明に係わる画像表示装置は、前記第１の発明において、前記仮想空間内の所定位置は、前記入り口部から見える位置かどうかによって決まる位置である。
【００１２】
第３の発明に係わる画像表示装置は、前記第１の発明において、前記表示制御部は、さらに、前記画像を前記所定のカテゴリーに応じた大きさで前記仮想空間内に表示する機能を有するものである。
【００１３】
第４の発明に係わる画像表示方法は、画像分類部が、画像を所定のカテゴリーに分類し、表示制御部が、前記所定のカテゴリーに応じて、仮想空間への入り口部を有する仮想空間内の所定位置に前記画像を配置し、前記画像の鑑賞者を表すアバターを前記仮想空間内に合成し、前記アバターの向いた方向の前記仮想空間内画像を表示し、前記画像分類部は、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類し、前記表示制御部は、前記プライベートな画像の表示の手前に前記アバターを重ねて表示を隠す。
【００１４】
第５の発明に係わる画像表示方法は、第４の発明において、前記仮想空間内の前記画像配置用の所定位置は、前記入り口部から前記配置画像が見える位置かどうかによって決まる位置である。
【００１５】
第６の発明に係わる画像表示方法は、第４の発明において、前記表示方法は、さらに、前記画像を前記所定のカテゴリーに応じた大きさで前記仮想空間内に表示するステップを有するものである。
【００１６】
第７の発明に係わる画像表示用プログラムは、画像を所定のカテゴリーに分類する画像分類ステップと、前記所定のカテゴリーに応じて、仮想空間への入り口部を有する仮想空間内の所定位置に、前記画像を配置する機能を有する表示制御ステップと、前記仮想空間内で画像の鑑賞者を表すアバターを、前記入り口部から移動させるアバター制御ステップと、を備え、前記画像分類ステップは、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類し、前記表示制御ステップは、前記プライベートな画像の表示の手前に前記アバターを重ねて表示を隠す、ことをコンピュータに実行させる。
【発明の効果】
【００２７】
本発明によれば、仮想空間上で違和感のない表示方法で画像を表示し、訪問者が不自然さを感じることのない画像表示装置、画像表示方法、および画像表示用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面に従って本発明を適用したデジタルカメラとサーバーとからなるシステムを用いて好ましい一実施形態について説明する。本実施形態におけるデジタルカメラは、レリーズ釦の操作に応じて静止画の画像データを取得し、これを記録媒体に記録する。写真の画像データの記録にあたって、撮影日時や撮影位置を記録媒体に付随情報として併せて記録する。ここで記録された情報を基にして、プライベート画像かノン・プライベート画像か等の画像分類を行う。仮想空間での展示にあたっては、画像分類の結果や、訪問者とプライベート画像の相対位置関係に応じて、画像の拡大率や、画像の配置位置、あるいはアバターの位置等の表示態様を変化させている。本実施形態においては、撮影した写真を有効に点在させて、この空間をカスタマイズすることにより雰囲気を高めている。また、ユーザーが、仮想空間のどこにどの画像があるかを直感的に判断でき、また、プライバシーにも留意した画像展示を行っている。
【００２９】
図１は本発明の一実施形態に係わるカメラとサーバーからなるシステムの構成を示すブロック図であり、カメラ１０は被写体を撮影し、画像を取得するデジタルカメラである。
カメラ１０は、制御部１、行動記録部１ａ、撮影部２、画像記録部３、顔検出部４、年齢推定部４ａ、表示部５、通信部５、位置判定部６、時計部７、画像分類部８、仮想空間データ部９、通信部９ａを有している。
【００３０】
制御部１は、ＣＰＵ（Central Processing Unit）等によって構成され、このカメラ１０の各部と接続され、全体制御を行う。行動記録部１ａは、カメラ１０を携帯するユーザーの行動を判定して記録する。この判定にあたっては、時計部７が出力する日時情報、および位置判定部６が出力する位置情報に基づいて行う。
【００３１】
撮影部２は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される画像信号を処理する画像処理部等を含み、画像データを出力する。
顔検出部４は、撮影部２から出力される画像信号を入力し、この画像信号に基づいて画面内に人物の顔の部分があるか否かを判定し、判定結果を年齢推定部４ａに出力する。年齢推定部４ａは、顔検出部４によって検出された顔の画像に基づいて、写っている人物が大人か子供か等、人物の年齢を推定する。なお、顔検出部４における顔検出結果は、年齢推定部４ａを通じて、制御部１に伝えられる。
【００３２】
画像記録部３は、撮影部２から出力される画像信号に基づいて静止画の画像データを記録する。表示部５は、画像記録部３に記録された画像データに基づいて画像を表示する。
また、表示部５は、通信部９ａを通じて仮想空間コミュニティサーバー２１にアクセスし、仮想空間の画像を表示する。
【００３３】
画像分類部８は、画像記録部３に記録されている画像の分類を行う。分類にあたっては、顔検出部４によって人物の顔が含まれるか否か等によって行う。位置判定部６は、ＧＰＳ（Global Positioning System：全地球測位システム）等の位置測定機能を有し、撮影位置情報を取得し、画像データと共に画像記録部３に記録される。また、時計部７は、時計機能を有しており、日時情報を出力し、撮影日時(撮影時間とも称す)情報は、画像データと共に画像記録部３に記録される。
【００３４】
仮想空間データ部９は、仮想空間を形成するためのデータの記憶部である。仮想空間に関するデータは、仮想空間コミュニティサーバー２１より送られてくるが、この仮想空間データ部９に、仮想空間の背景やアバター表示用の画像データを記憶する。仮想空間コミュニティサーバー２１との通信のたびに、背景等の画像データを受信すると、通信時間による遅延が発生してしまうことから、仮想空間データ部９に背景等の画像データを記憶し、不要な通信を行わないようにしている。
【００３５】
通信部９ａは、インターネット２０を介して仮想空間コミュニティサーバー２１と通信を行う。通信は、無線通信や赤外通信等によってネットワークに接続する。なお、赤外通信ではネットワークに直接接続することができないので、携帯電話やＰＣ等の外部機器を介して通信する。
【００３６】
仮想空間コミュニティサーバー２１は、仮想空間を提供するものによって運営されているサーバーであり、カメラ１０のほか、パーソナルコンピュータや携帯電話等から、インターネット２０を通じてアクセス可能である。
【００３７】
次に、本実施形態においてユーザーが撮影した画像を自動的に分類する画像分類について図２乃至図４を用いて説明する。本実施形態においては、通勤・通学における職場・学校での撮影画像は、ノン・プライベート画像であり、一方、通勤・通学から外れたルートでの撮影画像は、プライベート画像であると分類する。
【００３８】
図２は自宅２５と職場２６との位置関係を示す地図である。例えば、自宅２５と職場２６の通勤の際に、カメラ１０を常に持ち歩いているとする。この場合には、カメラ１０に内蔵の位置判定部６や時計部７によって、時刻と位置を判定することができる。また、カメラ１０に内蔵する加速度センサ（不図示）の出力と、時計部７によって出力される時刻情報に基づいて、カメラ１０のユーザーの生活リズムを検出するようにしても良い。
【００３９】
ユーザーの生活リズムとして、時刻と自宅２５からの移動距離をグラフ化すると、図３のようになる。ここで自宅２５か否かの判定は、自宅２５に居る際に手動で設定してもよいが、夜中に居た場所を自宅２５と判定すればよい。なお、自宅からの移動の様子は、二次元で表示すべきであるが、図３においては一次元で表示している。
【００４０】
図３において、実線３１は、プラスマイナス１時間程度の差で、朝と夜に移動していることから、通勤・通学のパターンと判断することができる。すなわち、実線部３１ａは、１時間程度の差で、自宅から通勤先・学校への移動を示しており、実線部３１ｂは、１時間程度の差で、通勤先・学校から自宅への移動を示しており、日々、このような移動を行っていることから通勤・通学のパターンと判断できる。
【００４１】
一方、実線３１から外れた破線３２、３３のような行動は、通常の仕事とは別の行動と考えることができる。なお、通勤・通学か否かの判定にあたっては、何日もデータを取って、その結果より平均を求め、そこからの誤差で通常の通勤・通学以外と判定してもよい。
【００４２】
また、図４に示すように、撮影画像を整理することによっても、画像を分類することができる。つまり、撮影の時刻や密集度、さらに、顔画像のありなしによって、運動会、旅行等、それぞれのイベントの特有の特徴を判定し、画像分類が可能である。ここで、運動会は、主に午前中に密集して顔画像のある画像を多数撮影するが、旅行では、風景画像が増加し、しかも密集度合いは運動会より少ないことから、判定できる。
【００４３】
以上説明した画像分類の考え方に沿って撮影画像の分類の動作について、図５を用いて説明する。この撮影画像の分類動作は、カメラ１０によって実行される。この分類制御のフローに入ると、まず、ステップＳ５１〜Ｓ５４において、カメラ１０を持ち歩くユーザーの行動を判定し、明確な生活リズムが得られた時点で通勤・通学の判定を行う。
【００４４】
まず、所定時間間隔であるかを判定する（Ｓ５１）。すなわち、この行動判定は、時計部７による日時情報に基づいて、所定時間間隔で行われる。所定時間経過したことを判定すると、次に、移動検出と場所判定を行う（Ｓ５２）。このステップでは、位置判定部６によって現在の検出を行い、時計部７から現在の日時情報を得る。続いて、時間と位置の関係を記録する（Ｓ５３）。ここでは、ステップＳ５２において検出判定された位置情報と、そのときの日時情報をペアにして画像記録部３等の記録部に記録する。
【００４５】
次に、判定可能か否かを判断する（Ｓ５４）。図３、図４を用いて説明したように、日常的な通勤・通学における移動（つまり実線３１での移動）か、それ以外移動（破線３２、３３での移動）を判定できるだけの情報が集まったか、あるいは明確な生活リズムが得られた時点であるか否かの判定を行う。
【００４６】
ステップＳ５４における判定の結果、判定可能でなかった場合には、ステップＳ５１に戻り、前述のステップを繰り返す。一方、判定の結果、判定可能であった場合には、通勤・通学場所判定を行う（Ｓ５５）。このステップでは、ステップＳ５３において記録された日時情報および位置情報に基づいて、通勤・通学場所と判定するための時間帯や自宅基準での位置等の情報を決定する。
【００４７】
続いて、ステップＳ５５の通勤通学場所判定に基づいて、画像記録部３に記録されている撮影画像の中に通勤・通学場所での写真があるか否かの判定を行う（Ｓ５６）。この判定の結果、通勤・通学場所での撮影画像がなかった場合には、ステップＳ５１に戻り、前述のステップを繰り返す。
【００４８】
一方、ステップＳ５６における判定の結果、通勤・通学場所写真があった場合には、その撮影画像の中に人物の顔が検出されるか否かの判定を行う（Ｓ５７）。このステップでは、顔検出部４によって人物の顔が検出されるか否かを判定する。この判定の結果、顔が検出された場合には、この画像をプライベート以外（ノン・プライベート）の人物の顔画像として記録する（Ｓ５８）。
【００４９】
すなわち、ステップＳ５８においては、通勤・通学の途上、および、職場・学校で撮影した画像は、プライベートな写真ではないと判断し、このとき検出された人物の顔はノン・プライベート人物として記録される。この時、子供の顔などは、年齢推定部４ａによる年齢判定で除外するようにしてもよい。つまり、ここで記録されたデータに基づき、ノン・プライベートとされた人以外の人が家族などプライベートな関係の人であると推測できる。
【００５０】
職場近くの仕事帰りの飲み会なども、通常パターン（図３における実線３１参照）の生活リズムに該当していると考え、この中に含むようにする。これは、図４に示すような考え方に従ってパーティ判定を行い、通勤の帰りの時間近くの人物の多い密集写真は、ノン・プライベートと判定すればよい。
【００５１】
続いて、未分類画像があるか否かの判定を行う（Ｓ６１）。このステップでは、画像記録部３に記録されている撮影画像の中で、プライベート画像、ノン・プライベート画像、旅行、風景画像等に分類されていない未分類の画像が有るか否かの判定を行う。このステップにおける判定の結果、未分類画像がなかった場合には、元のフローにリターンする。
【００５２】
一方、ステップＳ６１における判定の結果、未分類画像が有った場合には、その未分類画像に人物の顔画像が有るか否かの判定を行う（Ｓ６２）。このステップにおける判定は、顔検出部４によって行う。この判定の結果、顔画像が有った場合には、次に、その顔がノン・プライベート人物か否かの判定を行う（Ｓ６３）。前述したように、ステップＳ５８において、ノン・プライベート人物判定を行っているので、このときの判定を利用して行う。
【００５３】
ステップＳ６３における判定の結果、ノン・プライベート人物であった場合には、すなわち、家族等のプライベート人物であった場合には、ステップＳ７４にジャンプする。一方、ステップＳ６３における判定の結果、ノン・プライベート人物でなかった場合には、プライベート画像と判定する（Ｓ６４）。そして、正面向き人物の多い写真を家族写真と判定する（Ｓ６５）。このステップでは、プライベート画像と判定された複数の写真の中から、正面向きの人物が最も多い写真を検索し、この写真を家族写真とする。なお、この家族写真判定にあたっては、年齢判定を行い、子供が含まれることを条件にしてもよい。
【００５４】
ステップＳ６２における判定の結果、顔画像がなかった場合には、その画像が通勤・通学の場所で撮影したものか否かの判定を行う（Ｓ７１）。このステップでは、撮影画像ごとに撮影位置情報と撮影日時情報が記録されており、また、ステップＳ５５において、通勤・通学を判定するための情報が求められているので、この判定情報を用いて判定する。
【００５５】
ステップＳ７１における判定の結果、その画像が通勤・通学の場所で撮影したものであった場合には、ステップＳ７４にジャンプする。一方、この判定の結果、通勤・通学の場所以外で撮影されていた場合には、その写真が旅行か否かの判定を行う（Ｓ７１）。この判定は、図４に示すように、一群の撮影画像が日をまたいて撮影がなされており、また、人物以外の写真も多い場合に旅行と判定する。
【００５６】
ステップＳ７２における判定の結果、旅行でなかった場合には、ステップＳ７４にジャンプする。一方、この判定の結果、旅行であった場合には、その画像は、風景画像と判定する（Ｓ７３）。
【００５７】
前述したステップＳ６５で家族写真判定を行うと、また、ステップＳ７３において風景画像判定を行うと、または、前述したステップにおいて、ステップＳ７４にジャンプと判定されると、それぞれの判定結果を画像と関連付けて、画像記録部３に記録する（Ｓ７４）。この記録を行うと、元のフローに戻る。
【００５８】
このように、本実施形態の分類制御のフローにおいては、顔画像を含む写真を随時判定し、ノン・プライベート人物の顔があればノン・プライベート画像、なければプライベート画像と判定する。すなわち、未分類画像で顔画像があれば（Ｓ６１、Ｓ６２→Ｓ６３）、先のノン・プライベート人物と比較して、プライベート画像とする（Ｓ６４）。さらに、正面向きの人物が並んだ画像は、家族写真と判定する。
【００５９】
また、顔画像のない画像は風景画像と考えることが出来るが、通勤・通学場所での、黒板、白板の写真や資料の写真等を風景画像と誤って判定しないように、通勤・通学場所での画像は風景画像と判定していない（Ｓ７１）。また、自宅周辺の風景より、旅先の風景の方が好ましいので、図４に示すような方法で、旅行中の画像かどうかを判定し、その結果によって、風景画像としている（Ｓ７２→７３）。
【００６０】
次に、図６および図７に示すフローチャートを用いて、カメラ１０の動作について説明する。カメラ制御のフローに入ると、まず、カメラ１０が撮影モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードや再生モードが撮影者によって設定可能である。ステップＳ１における判定の結果、撮影モードが選択されていた場合には、レリーズか否かの判定を行う（Ｓ２）。このレリーズか否かの判定は、レリーズ釦が全押し操作されたか否かを検出することによって行う。
【００６１】
ステップＳ２における判定の結果、レリーズでなかった場合には、ステップＳ１に戻る。一方、判定の結果、レリーズであった場合には、撮像動作を行う（Ｓ３）。撮影動作は、撮影部２において、被写体像の静止画の画像データを取得し、この画像データを画像記録部３に記録する。また画像データの記録にあたって、時計部７で取得した撮影日時情報、および位置判定部６で取得した撮影位置情報も併せて記録する（Ｓ４）。撮影動作が終わるとリターンし、ステップＳ１から実行する。
【００６２】
ステップＳ１における判定の結果、撮影モードが選択されていなかった場合には、手動分類を行うか否かの判定を行う（Ｓ３１）。後述するように、ステップＳ３５において、画像の分類制御を自動で行うが、本実施形態においては、自動で行う以外にもユーザーが自らの判断で画像の手動分類を行うことができるようにしている。このステップでは、カメラ１０の図示しない操作部材の操作状態に基づいて判定する。
【００６３】
ステップＳ３１における判定の結果、手動分類を行う場合には、画像分類操作を行う（Ｓ３２）。このステップでは、表示部５に撮影画像を再生させ、それぞれの撮影画像に対して、ユーザーがプライベート画像、ノン・プライベート画像、家族写真等、種々の分類操作を行う。続いて、画像に分類情報を付加する（Ｓ３３）。すなわち、ステップＳ３２における分類操作に応じた分類情報を付加し、この情報を画像に付随して記録する。分類情報の付加を行うと、リターンし、ステップＳ１から再び実行する。
【００６４】
ステップＳ３１における判定の結果、手動分類でなかった場合には、再生モードが選択され再生開始を行うか否かの判定を行う（Ｓ１１）。この判定の結果、再生開始でなかった場合には、次に、図５に示した分類制御のサブルーチンを実行する（Ｓ３５）。この分類制御のサブルーチンでは、前述したように、写真が顔画像を含むか否かを判定し、ノン・プライベート人物の顔があればノン・プライベート画像、なければプライベート画像と判定する。分類制御のサブルーチンが終わると、ステップＳ１に戻る。なお、分類制御のサブルーチンでは、ステップＳ５６、Ｓ５４においてステップＳ５１に戻り、繰り返し実行するような場合でも、所定時間間隔でメインフローにリターンする。
【００６５】
ステップＳ１１における判定の結果、再生開始であった場合には、仮想空間表示を行う（Ｓ１２）。すなわち、通信部９ａ、インターネット２０を通じて仮想空間コミュニティサーバー２１にアクセスし、仮想空間のデータを取り込み、これを表示部５に表示する。
ここで、背景画像や次のステップで表示するアバターの画像データについては、仮想空間データ部９に一時記憶し、ここから、アバターが移動して背景画像が変化しない限り、仮想空間データ部９から画像データを読み出すことにより、通信に時間がかからないようにしている。なお、分類情報の添付された撮影画像は、仮想空間コミュニティサーバー２１の画像記録部に記録されており、ここでは記録のステップを省略して説明する。
【００６６】
続いて、アバターの表示を行う（Ｓ１３）。アバターは自分の分身となるキャラクターであり、ユーザーやユーザー以外のキャラクターである。その他、仮想空間内でのサービスを行うキャラクターもいる。このステップでは、仮想空間内に訪問者のアバター５１（図８参照）を表示させる。
【００６７】
続いて、額縁４１に最新風景写真の表示を行う（Ｓ１４）。このステップでは、仮想空間内におけるユーザーの展示スペースに、ステップＳ７３で判定した風景画像の中から最新の風景写真を選択し額縁４１に嵌め込み展示する（図８参照）。ここでは、一般の方にも見られてもよく、プライバシーや仕事上の機密のない風景画像を、大きな額縁４１に入れて展示する。これによって、仮想空間の雰囲気を豊かにし、風景画像を見るものが癒される。
【００６８】
次に、写真立て４２に最新の家族写真を表示する（Ｓ１５）。このステップでは、ステップＳ６５において判定された家族写真を選択し展示する。家族写真はプライベートなので、直ぐには見えない大きさで展示する。続いて、仮想空間内のファイル４３にノン・プライベート画像を格納する（Ｓ１６）。すなわち、ノン・プライベート画像は直接見えるところに表示せず、ファイルの中に入れて見えないようにする。このファイルの置き場としては、最初に仮想空間に入った状態（図８（ａ）参照）では、目につきにくい場所に位置に配置する（図８（ｂ）のファイル４３の位置）。
【００６９】
この状態で、次に、アバター操作がなされてか否かの判定を行う（Ｓ１７）。このステップでは、カメラ１０の背面等に配置された十字キー（不図示）が操作されたかを判定する。判定がなされるのを待つ待機状態であり、アバター操作がなされると、障害がないか否かの判定を行う（Ｓ１８）。仮想空間内でアバターを十字キーによる操作方向に移動させる場合、壁やドア等の障害物があるか無いかの判定である。
【００７０】
ステップＳ１８における判定の結果、障害物がある場合には、アバター５１（図８参照）を移動させることができないので、ステップＳ１７に戻る。一方、この判定の結果、障害物がない場合には、十字キーの操作に従ってアバター５１を移動させる（Ｓ１９）。ここでは、アバター５１が移動しているかのように、背景が変化する。
【００７１】
続いて、アバター５１がファイル４３に近づいているか否かの判定を行う（Ｓ２０）。
この判定の結果、ファイル４３に近づいていた場合には、ファイル４３内に格納されているファイル画像が再生表示される（Ｓ２１）。ファイル画像を開くと、またはステップＳ２０において、ファイル４３に近づいていないと判定された場合には、アバター５１がファイル４３に格納されたファイル画像に近づいているか否かの判定を行う（Ｓ２２）。
【００７２】
ステップ２２における判定の結果、アバター５１がファイル画像に近づいていた場合には、そのファイル画像を拡大表示する（Ｓ２３）。この拡大表示としては、拡大対象は異なるが、図１０（ｂ）のように拡大する。続いて、アバター５１がファイル画像にさらに近づいたかを判定し、その距離が限界距離以上に近づいていた場合には、画像の切替表示を行う（Ｓ２５）。このステップにおける画像の切替は、次の候補の画像に切り替え、表示する。これによって、仕事に関連する画像も整理でき、大きくして見ることができる。
【００７３】
画像の切替を行うと、またはステップＳ２４における判定の結果、限界以上、近づいていなかった場合、またはステップＳ２２においてアバター５１がファイル画像に近づいていなかった場合には、アバター５１がファイルやファイル画像から遠ざかっているか否かの判定を行う（Ｓ２６）。すなわち、ステップＳ２１、ステップＳ２３、ステップＳ２５において、開いた画像・ファイルから遠ざかっているか否かの判定を行う。
【００７４】
ステップＳ２６における判定の結果、アバター５１がファイルやファイル画像から遠ざかっていた場合には、元の状態に戻す（Ｓ２７）。このステップでは、ステップＳ２１で開いたファイル画像、ステップＳ２３において拡大表示したファイル画像、ステップＳ２５において切り替えた画像について、元の状態に戻す。
【００７５】
ステップＳ２７において元に戻すと、またはステップＳ２６における判定の結果、遠ざかっていなかった場合には、終了か否かの判定を行う（Ｓ２８）。すなわち、ステップＳ１１で開始した再生を終了するか否かについて、カメラ１０の操作部材の操作状態を判定する。判定の結果、終了でなかった場合には、ステップＳ１７に戻り、前述のステップを実行し、判定の結果、終了であった場合には、リターンし、ステップＳ１から再び実行する。
【００７６】
次に、カメラ１０の再生開始によって表示される仮想空間での配置について、図８ないし図１０を用いて説明する。本実施形態において、カメラ１０のユーザーが撮影画像を展示する仮想空間は、図８のような配置となっている。図８（ａ）は訪問者が撮影画像の展示スペースの入り口５４（図９参照）に最初に立った際に目にする情景であり、図８（ｂ）は、入り口５４から展示スペースの中に入って見たときの情景である。ユーザーの展示スペースには、図８に示すように、額４１、写真立て４２、ファイル４３が配架された書架４４、テーブル４５等が配置されている。アバター５１が矢印５３に沿って移動することにより、額縁４１や写真立て４２の写真を鑑賞することができる。
【００７７】
最初に、入り口５４から仮想空間に入ったアバター５１は、図９に示す視野５２の範囲を眺めることができるだけであり、このとき額縁４１の写真は良く見える。この写真自体、大きいので、アバター５１が額縁４１に近づかなくても、これだけで写真鑑賞は可能である。これに近づいてみようとすると、アバター５１の動きに合わせて仮想空間内の風景が順次切り替えて表示される。そして、額縁４１に近づくと、図１０（ｂ）に示すように、拡大表示される。撮影者以外の多くの鑑賞者には、額縁４１の写真をみて満足してもらう。
【００７８】
写真立て４２の家族写真を、近づいて見ようとすると、図１０（ａ）に示すように、アバター５１の陰に隠れてしまい、見えにくくなる。このため、家族写真は一定の大きさ以上には表示されず、鑑賞者は雰囲気しか見ることができない。ユーザー自身は、家族の顔は見慣れているし、心の中にある思い出が想起されれば良いことから、それほど大きく表示する必要もない。この空間に家族写真があれば、雰囲気を癒され、飾っているだけで大写しすることは重要ではない。
【００７９】
また、どうしても家族写真を大きく表示したい場合には、ステップＳ３１において手動分類を選択し、画像分類操作において大きく表示することを許可するようにしても良い。
この場合には、アバター５１が近づいて鑑賞することもできるし、また、距離に応じて大きく表示される。また、ユーザーだけで知っている操作を行うことにより、拡大表示するようにしても良い。
【００８０】
次に、外部から携帯電話やパーソナルコンピュータによって仮想空間にアクセスし、この展示室に入室する場合における、サーバー２１によって行われる画像の表示制御について、図１１に示すフローチャートを用いて説明する。
【００８１】
前述した図６のステップＳ１２仮想空間の展示室の背景の画像は、図９に示すようなレイアウトとなっており、アバター５１の動きに合わせて、この展示室に入った様子は、図１０に示すように、３Ｄ表示される。展示室においては、アバター５１の大きさと、額縁４１や写真立て４２の大きさの大小関係は考慮した仮想空間の画像となるように配慮されている。図１１に示すサーバー仮想空間表示のフローでは、このような表示を行う。
【００８２】
このフローに入ると、ユーザーがマウスや十字キーを操作して部屋（展示室）に入る操作を行っているか否かの判定を行う（Ｓ１０１）。この判定の結果、部屋に入る操作を行っていなかった場合には、ステップＳ１０９にジャンプする。一方、この判定の結果、部屋に入る操作を行っていた場合には、前方に額縁４１を表示し、手前にアバター５１を表示する（Ｓ１０２）。この表示によって、部屋の中に入ったような感じを醸し出すことができる。
【００８３】
続いて、アバター５１の向きを変える操作を行ったか否かの判定を行う（Ｓ１０３）。
この判定の結果、向きを変える操作を行っていた場合には、向いた方向の部屋の画像を表示する（Ｓ１０４）。すなわち、前方に見える室内の画像に表示を切り替える。この表示の切り替えを行うと、または、ステップＳ１０３において向きを変える操作を行っていなかった場合には、アバター５１が額縁４１、写真立て４２、およびファイル４３等のアイテムに近づいているか否かの判定を行う（Ｓ１０５）。
【００８４】
ステップＳ１０５における判定の結果、アイテムに近づいていた場合には、次に、そのアイテムが写真立て４２であるか否かの判定を行う（Ｓ１１０）。この判定の結果、写真立て４２であった場合には、アバター５１を写真立て４２に重ねて表示する（Ｓ１１１）。すなわち、図１０（ａ）に示すように、アバター５１によって写真立て４２に表示されている家族写真等の画像を殆ど見えないように隠す。
【００８５】
ステップＳ１１０における判定の結果、アイテムが写真立て４２でなかった場合には、次に、アイテムがアルバム（ファイル４３）であるか否かの判定を行う（Ｓ１１２）。この判定の結果、アイテムがアルバムであった場合には、そのアルバムを開いて表示する（Ｓ１１３）。このアルバムを開くことにより、ファイル内の画像が表示される。
【００８６】
ステップＳ１１２における判定の結果、アイテムがアルバムでなかった場合には、次に、アイテムが額縁４１であるか否かの判定を行う（Ｓ１１４）。この判定の結果、アイテムが額縁４１であった場合には、額縁４１をアバター５１で隠さないように、拡大表示する（Ｓ１１５）。すなわち、図１０（ｂ）に示すように、風景写真等の画像を大きく表示し、鑑賞し易くする。
【００８７】
ステップＳ１１１、Ｓ１１３、Ｓ１１５における各処理を行うと、またはステップＳ１１４における判定の結果、アイテムが額縁４１でなかった場合、またはステップＳ１０５において、アバター５１がアイテムに近づいていなかった場合には、アバター５１が前進しているか否かの判定を行う（Ｓ１０６）。
【００８８】
ステップＳ１０６における判定の結果、アバター５１が前進していた場合には、前進が可能であるか否かの判定を行う（Ｓ１０７）。このステップでは、アバター５１が前進した場合に、部屋の中の壁等にぶつかったりせず、前進が可能であるか否かを判定する。この判定の結果、前進が可能である場合には、前方画面を拡大表示する（Ｓ１０８）。これによって、アバター５１が前進している様子を醸し出す。
【００８９】
ステップＳ１０８において前方画面を拡大し、またはステップＳ１０７における判定の結果、前進できないと判定され、またはステップＳ１０１における判定の結果、部屋に入る操作を行っていなかった場合には、終了か否かの判定を行う（Ｓ１０９）。すなわち、仮想空間にアクセスしてきたユーザーが終了操作を行ったか否かの判定を行う。この判定の結果、終了でなかった場合には、ステップＳ１０１に戻る。一方、判定の結果、終了であった場合には、このサーバー仮想空間表示のフローを終了する。
【００９０】
図１１に示したサーバー仮想空間表示のフローにおいては、家族写真のようなプライベートな画像は表示されるがよくは見えないように自然かつセキュリティの高い表示を行っている。また、風景写真のように、ノン・プライベートな画像は表示され、かつ近づいていくと更に拡大表示され、鑑賞し易い表示を行っている。
【００９１】
このように、本実施形態においては、画像の内容に従って（例えば、プライベート画像か、ノン・プライベートか、風景写真か、家族写真か）、展示場所を変えているので、訪問者は、画像を探しやすく、しかも撮影した画像を有効に配置し、鑑賞画面の豊かさを増しつつ、またプライバシーや機密を考慮して、カメラ内、またはサーバー内に画像を記録させることができる。
【００９２】
また、本実施形態においては、画像の内容にしたがって、展示のサイズを変えているので、訪問者は画像を探しやすく、また展示者のプライバシーに配慮した展示とすることができる。さらに、本実施形態においては、画像の内容によって、その画像に近づいた際に拡大表示するようにしているので、画像を間近で見るように鑑賞することができる。
【００９３】
さらに、本実施形態においては、撮影画像をプライベート画像とノン・プライベート画像に分類し、これを画像に関連付けて記録している。このため、仮想空間等に展示する際に、この分類に応じた展示が可能となる。従来の仮想空間における撮影画像の展示にあたっては、このような配慮に欠けており、展示者のプライバシーが充分保護されていなかったが、本実施形態においては、この問題も解消することができる。
【００９４】
さらに、本実施形態においては、仮想空間中において、アバター５１と撮影画像の相対的距離に応じて表示態様を変えている。すなわち、写真立て４２に嵌め込まれた家族写真のような鑑賞画像の場合には、アバターが近づいても、サイズは小さいままでアバター５１の影に隠れる第１表示モードと、額縁４１に嵌め込まれた風景写真のような鑑賞画像の場合には、アバター５１が近づくと、アバター５１よりも大きく表示される第２表示モードのいずれかで表示される。このように、家族写真のような鑑賞画像と、風景写真のような鑑賞画像とで、それぞれ表示形態を変えることにより、訪問者に不自然さを感じさせることなく、プライバシーを保護することができる。
【００９５】
さらに、本実施形態においては、仮想空間中において、アバター５１と鑑賞画像との相対的距離が近くなると、前記鑑賞画像が画像再生される第１の表示モードと、アバター５１との相対距離がさらに近づくと、家族写真のような鑑賞画像が小さいままでアバター５１に隠れる第２の表示モードと、風景写真のような鑑賞画像が拡大され、アバター５１よりも大きく表示される第３の表示モードのうちの少なくとも２つの表示モードが切り替えられる。ここで、第２または第３の表示モードに切り替えられるか否かは、鑑賞画像が仮想空間の室内の位置に応じて、例えば、額縁４１のように直ぐに見える位置にあるか、写真立て４２のように直ぐ見えない位置にあるかに応じて、切り替えられる。このような構成のため、訪問者に不自然さを感じさせることなく、プライバシーを保護することができる。
【００９６】
なお、本実施形態においては、カメラ１０で仮想空間コミュニティサーバー２１にアクセスし、仮想空間を散策し、図８に示すような展示空間を楽しむ例を示したが、仮想空間へのアクセスは、カメラ１０に限らず、パーソナルコンピュータや携帯電話等から行っても良く、その場合にも同様に仮想空間を楽しむことができる。この場合には、ステップＳ１１以下を実行するプログラムを格納すれば良い。
【００９７】
また、本実施形態においては、カメラ１０の再生表示としては、ステップＳ１１以下で、仮想空間にアクセスした状態での表示のみであったが、これに限らず、通常の１コマ再生表示や、スライドショー形式の再生表示も行えるようにしても良い。また、再生表示として、仮想空間コミュニティサーバー２１にアクセスし、仮想空間における展示を表示していたが、仮想空間コミュニティサーバー２１内におけるカメラ１０のユーザーの展示空間に関するデータを仮想空間データ部９に記憶し、このデータを用いて仮想空間の展示と同様の再生表示を行うようにしても良い。
【００９８】
さらに、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００９９】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明の第１実施形態に係わるカメラとサーバーからなるシステムの構成を示すブロック図である。
【図２】本発明の一実施形態において、ユーザーの自宅と職場との位置関係を示す図である。
【図３】本発明の一実施形態において、ユーザーの生活リズムとして、時刻と自宅２５からの移動距離の関係を示すグラフである。
【図４】本発明の第１実施形態において、撮影画像の日時と画像数から画像を分類することを説明する図である。
【図５】本発明の一実施形態に係わる分類制御の動作を示すフローチャートである。
【図６】本発明の一実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図８】本発明の一実施形態において、ユーザーが撮影画像を展示する仮想空間の配置を示す図であり、（ａ）は、訪問者が展示スペースの入り口に最初に立った際に目にする情景であり、（ｂ）は、展示スペースの中に入ったときの情景である。
【図９】本発明の一実施形態において、仮想空間内の展示スペースの平面図である。
【図１０】本発明の一実施形態において、訪問者が展示されている画像を鑑賞している様子を示している図であり、（ａ）は家族写真を見ている様子、（ｂ）は風景写真を見ている様子を示す。
【図１１】本発明の一実施形態に係わるサーバー仮想空間表示の動作を示すフローチャートである。
【符号の説明】
【０１０１】
１・・・制御部、１ａ・・・行動記録部、２・・・撮影部、３・・・画像記録部、４・・・顔検出部、４ａ・・・年齢推定部、５・・・表示部、６・・・位置判定部、７・・・時計部、８・・・画像分類部、９・・・仮想空間データ部、９ａ・・・通信部、１０・・・カメラ、２０・・・インターネット、２１・・・仮想空間コミュニティサーバー、２５・・・自宅、２６・・・職場、３１・・・実線、３１ａ・・・実線部、３１ｂ・・・実線部、３２・・・破線、３３・・・破線、４１・・・額縁、４２・・・写真立て、４３・・・ファイル、４４・・・書架、５１・・・アバター、５２・・・視野、５３・・・矢印、５４・・・入り口
【図１】
0005555299.tif 000002
【図２】
0005555299.tif 000003
【図３】
0005555299.tif 000004
【図４】
0005555299.tif 000005
【図５】
0005555299.tif 000006
【図６】
0005555299.tif 000007
【図７】
0005555299.tif 000008
【図８】
0005555299.tif 000009
【図９】
0005555299.tif 000010
【図１０】
0005555299.tif 000011
【図１１】
0005555299.tif 000012