(57)【要約】【課題】時間関係や位置関係を把握していなくても目的の静止画に辿り着き易くする手段を提供する。【解決手段】記録媒体から読み出された静止画データに対して被写体距離情報を取得し、当該被写体距離情報を三次元仮想空間内の奥行き面に対応付けるように静止画が配置されて生成されたインデックス画像を表示する。【選択図】図４
2016021675.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体から少なくとも一枚の静止画データを読み出す静止画読み出し手段と、
前記静止画読み出し手段により読み出された静止画データの付帯情報を解析する静止画解析手段と、
前記静止画解析手段から得られる付帯情報の内、被写体距離に関する情報を抽出する被写体距離情報取得手段と、
三次元仮想空間を生成する手段と、
前記三次元仮想空間の任意の奥行き面に静止画データを配置する静止画配置手段と、
表示手段とを有し、
前記表示手段は、前記三次元仮想空間の一点を視点とした場合に見える領域を表示画面として表示するものであって、
前記静止画読み出し手段により記録媒体から読み出された静止画データに対して、前記静止画解析手段を用いて付帯情報を解析後、前記被写体距離情報取得手段から被写体距離情報を取得した場合に、
前記被写体距離情報を前記三次元仮想空間内の奥行き面に対応付けるように静止画配置手段を制御して、静止画データを三次元仮想空間に配置することを特徴とする表示装置。
【請求項２】
前記静止画読み出し手段に、所定の読み出し条件を設定可能であって、前記静止画読み出し手段が、所定の条件に従って読み出した静止画データのみを、前記三次元仮想空間への配置対象とすることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記静止画読み出し手段に設定可能な所定の読み出し条件とは、静止画が撮影された時間範囲、または静止画が撮影された位置情報の範囲として設定される条件であること特徴とする請求項２に記載の表示装置。
【請求項４】
前記三次元仮想空間において、特定の範囲の奥行き面に配置されている静止画のみを表示対象とすることを特徴とする請求項１乃至請求項３の何れか一項に記載の表示装置。
【請求項５】
前記静止画読み出し手段により読み出された静止画データを任意に拡大縮小する静止画拡大縮小手段を有する場合に、前記被写体距離情報取得手段により得られる被写体距離の値が小さい静止画は相対的に大きなサイズで、また被写体距離の値が大きい静止画は相対的に小さなサイズになるよう前記静止画拡大縮小手段を用いて拡大縮小処理を行い、前記三次元仮想空間への配置を行うことを特徴とする請求項１乃至請求項４の何れか一項に記載の表示装置。
【請求項６】
前記静止画解析手段から得られる情報の内、撮影方位に関する情報を抽出する方位情報取得手段を有し、前記静止画読み出し手段で使用する所定の読み出し条件として、静止画が撮影された位置情報の範囲を使用して読み出された静止画を三次元仮想空間上に静止画を配置する際に、前記読み出し手段で読み出した静止画に対して、前記方位情報取得手段を用いて抽出される方位情報の平均を基準方位として設定し、静止画を三次元仮想空間に配置する際は、被写体距離情報から配置対象となる奥行き面を選定した後、前記方位情報取得手段から得られる静止画の方位情報と、前記基準方位との差に従って前記奥行き面中での位置を決定することを特徴とする請求項１乃至請求項５の何れか一項に記載の表示装置。
【請求項７】
記録媒体より動画データを読み出す動画読み出し手段と、前記動画読み出し手段により読み出された動画データの付帯情報を解析する静止画解析手段と、前記動画解析手段から得られる情報の内、動画中での被写体距離情報の遷移に関する情報を抽出する被写体距離遷移情報取得手段とを有する場合に、前記被写体距離遷移情報取得手段を用いて動画データ中での被写体距離の遷移範囲を算出後、前記遷移範囲を特定の間隔で分割し、前記分割幅に応じて動画データをカット分割した上で、前記各カットを三次元仮想空間へ配置することを特徴とする請求項１乃至請求項６の何れか一項に記載の表示装置。
【請求項８】
前記三次元仮想空間に設定する視点を変更する視点変更手段を有する場合に、前記視点変更手段を操作することにより、表示画面において最前面となる奥行き面を変更することを特徴とする請求項１乃至請求項７の何れか一項に記載の表示装置。
【請求項９】
静止画データをスライドショー再生する場合には、三次元仮想空間における特定の奥行き面に配置されている静止画をスライドショー対象の静止画として取り扱うことを特徴とする請求項１乃至請求項８の何れか一項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に関し、特に被写体距離情報を利用した三次元インデックス表示の技術に関する。
【背景技術】
【０００２】
近年デジタルスチルカメラなどで利用されるメモリーカードの大容量化が進んでいる。単体のデジタルスチルカメラで、静止画／動画撮影だけでは使い切れないくらいの容量にまでその大容量化は進んできている。その結果として、利用者はデジタルスチルカメラ内に大量の静止画・動画データを記録し続ける環境が整ってきている。
【０００３】
大量の静止画を保有する利用者に対して、効率的な管理方法の提供は必須となってきている。大量の静止画データを管理する上で、各静止画にメタデータを付与しておくことが基本となる。静止画データにおけるメタデータとして、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）が広く知られている。Ｅｘｉｆは静止画ファイルのヘッダー情報として各種情報を埋め込んでおく規格である。埋め込まれる情報としては、撮影時のカメラパラメータに関する情報（露出、シャッター速度、絞り、ＩＳＯ感度など）や静止画に関する情報（静止画解像度、圧縮方式、撮影日時、撮影者など）といった各種情報を埋め込むことが可能である。
【０００４】
そして、この静止画ファイルのメタデータであるＥｘｉｆ情報を静止画ファイルの再生に利用することは一般的な方法である（特許文献１参照）。静止画に関連付けられている付加情報用いて、液晶画面に表示する静止画の取捨選別を行うことが開示されている。
【０００５】
またＥｘｉｆを使用しない方法として、縮小した静止画を表示画面一杯に一覧表示するインデックス表示も一般的である。一言でインデックス表示といっても種類がある。単純に記録媒体にある静止画を一覧表示するだけでなく、撮影時間や撮影位置の情報で取捨選別された静止画を一覧表示することも実現されている。撮影時間や位置情報といった情報を鍵として使用することで静止画データの絞込み、利用者が期待する静止画に辿り着きやすくする効果がある。
【０００６】
静止画のメタデータと同様に、動画にもメタデータは存在している。代表的な例としてはＭＰＥＧ−２フォーマットが挙げられる。ＭＰＥＧ−２フォーマットを利用したビデオカメラなどでは、撮影時のカメラパラメータの情報をメタデータとして映像のフレーム毎に一緒に記録しておくことが行われている。これにより再生機器での画質調整などでの補助情報として利用することができる。
【０００７】
利用者が静止画を撮影した際に、撮影された静止画における被写体までの距離情報を算出する技術が存在する（特許文献２参照）。この技術を使う事により、被写体までの距離情報を、静止画におけるＥｘｉｆ情報や、動画データのメタデータとして記録しておくことが可能である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−２４５２５５号公報
【特許文献２】特開２００９−１３９４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
背景技術より提供される静止画のインデックス表示としては、撮影された静止画や動画の時間関係や位置関係を基準にしたものになる。つまり利用者は大量に記録されている各静止画の時間関係や位置関係を覚えておくことが必須であり、覚えていない場合には目的の静止画を見つけ出すことが非常に困難になるという問題がある。
【００１０】
本発明は、かかる問題への解決策として、時間関係や位置関係を把握していなくても目的の静止画に辿り着き易くする手段を提供することを課題としている。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の表示装置は、記録媒体から少なくとも一枚の静止画データを読み出す静止画読み出し手段と、前記静止画読み出し手段により読み出された静止画データの付帯情報を解析する静止画解析手段と、前記静止画解析手段から得られる付帯情報の内、被写体距離に関する情報を抽出する被写体距離情報取得手段と、三次元仮想空間を生成する手段と、前記三次元仮想空間の任意の奥行き面に静止画データを配置する静止画配置手段と、表示手段とを有し、前記表示手段は、前記三次元仮想空間の一点を視点とした場合に見える領域を表示画面として表示するものであって、前記静止画読み出し手段により記録媒体から読み出された静止画データに対して、前記静止画解析手段を用いて付帯情報を解析後、前記被写体距離情報取得手段から被写体距離情報を取得した場合に、前記被写体距離情報を前記三次元仮想空間内の奥行き面に対応付けるように静止画配置手段を制御して、静止画データを三次元仮想空間に配置することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、静止画データに付与されている被写体距離の情報をもとに三次元インデックス表示を行うことで、利用者にとって目的の静止画を直感的に見つけ易くなる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第一の実施例から第四の実施例における表示装置の外観図である。
【図２】本発明の第一の実施例から第四の実施例における表示装置の機能ブロック図である。
【図３】本発明の第一の実施例から第三の実施例における表示装置が従うシーケンス図である。
【図４】本発明の第一の実施例から第三の実施例における表示装置が三次元仮想空間に静止画を配置した状態を可視化した図と、液晶画面に表示するためのレンダリング結果を兼ねた図である。
【図５】本発明の第一の実施例から第四の実施例における表示装置が利用する三次元仮想空間を示した図である。
【図６】本発明の第一の実施例から第三の実施例における表示装置が扱うＳＤカード内に記録されている静止画データのフォルダ構成を示した図である。
【図７】本発明の第一の実施例から第三の実施例における表示装置が処理する静止画データに記録されているＥｘｉｆ情報を示した図である。
【図８】本発明の第四の実施例における表示装置が従うシーケンス図である。
【図９】本発明の第四の実施例における表示装置が三次元仮想空間に動画データを配置した状態を可視化した図と、液晶画面に表示するためのレンダリング結果を兼ねた図である。
【図１０】本発明の第四の実施例における表示装置が扱うＳＤカード内に記録されている動画データのフォルダ構成と、動画データのデータ形式、そしてメタデータにおける被写体距離情報を解析した結果を示した図である。
【図１１】本発明の第四の実施例における表示装置が、動画データをカット分割する例を示した図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施例を詳細に説明する。
【実施例１】
【００１５】
図１は本実施形態に係る表示装置１００の外観図である。１０１は液晶モニタである。ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）の表示や、静止画を再生表示することが可能である。また表示装置１００の液晶モニタはタッチパネルになっている。利用者は液晶モニタに表示されているＧＵＩに触れることで、表示装置の各種設定や、再生を希望する静止画を選択したりすることが可能である。
【００１６】
１０２はＳＤカードスロットである。デジタルスチルカメラや携帯電話などで撮影した静止画が記録されているＳＤカード１０３を挿入することが可能である。利用者はタッチパネル形式の液晶モニタを操作することで、ＳＤカード１０３内にある所望の静止画を再生することが可能である。
【００１７】
図２は本実施形態に係る表示装置を、機能ブロック単位で表現したブロック図である。２０１はＣＰＵ（中央演算処理装置）である。各モジュールへの制御命令や、各モジュールから得られる情報を使用して演算処理をおこなうことが可能である。また、ＣＰＵ２０１は本実施例において図３、図９のシーケンス図に従う処理を管理するプログラムを実行することが可能である。
【００１８】
２０２は表示パネルである。ＧＵＩを表示し、利用者に情報を提供したり、利用者の操作に伴い表示画面を変更したりする。また表示パネル２０２はタッチセンサ２０３を有している。タッチセンサ２０３があることにより、利用者は画面上のＧＵＩに触れるだけで表示装置１００を操作することが可能である。図１の液晶モニタ１０１とはこの表示パネル１０１とタッチセンサ２０３を組み合わせたものに相当している。２０４はタッチセンサ制御部である。タッチセンサ２０３が取得した、表示パネル上での操作内容を取得し、その情報を表示装置１００内部に取り込む役割をになう。２０５は表示パネル制御部である。ＣＰＵ２０１からの要求に従い、送られてくる表示用データを、表示パネル２０２に送信する処理を管理する役割を担う。
【００１９】
２０６は記録媒体制御部である。ＣＰＵ２０１からの命令に従って、静止画／動画データなど着脱式記録媒体２０７中の特定の領域に記録されているデジタルデータに対する読み出し処理を制御することが可能である。また逆に、着脱式記録媒体２０７中の特定の領域に対する書き込み処理を制御することも可能である。２０７は着脱式記録媒体である。記録媒体制御部２０６からの要求に従い記録しているデータの送出や、逆に送られてくるデータを記録することが可能である。本実施例において、着脱式記録媒体２０７としては、ＳＤカード１０３に代表されるフラッシュメモリーカードを想定している。
【００２０】
２０８は揮発性メモリー制御部である。ＣＰＵ２０１からの命令に従い、メモリーへのデータの一時記録や、記録されているデータの読み出しを制御することが可能である。２０９は揮発性メモリーである。ＣＰＵ２０１が処理するプログラムや、記録媒体から読み出された処理対象の静止画データを一時的に保存しておくことが可能である。
【００２１】
２１０は、不揮発性メモリ制御部である。ＣＰＵ２０１からの命令に従って、不揮発性メモリ２１１に記録されている表示装置１００を制御するプログラムや、ＧＵＩデータの読み出しを制御することが可能である。また必要に応じて、不揮発性メモリにデータを書き込むことも可能である。２１１は不揮発性メモリである。表示装置１００を制御するプログラムやＧＵＩデータなど表示装置を駆動するために必要なデータを保持しておくことが可能である。
【００２２】
図３−Ａは、本発明を適用した表示装置が表示パネル２０２に三次元インデックス表示処理を実行する上で従うシーケンス図である。Ｓ３００で三次元インデックス表示処理が開始される。処理の開始タイミングとしては、図１の表示装置の液晶画面に表示されているような「三次元インデックス表示」アイコンに利用者が触れるタイミングを想定している。次にＳ３０１で三次元仮想空間の生成が行われる。
【００２３】
ここで、三次元仮想空間としては図５に示すような空間を想定している。５０１は奥行き線である。奥行きに従い目盛りが打たれており、奥行きを管理している。本実施例ではメートルスケールでの奥行き管理を想定している。５０２は奥行き面である。奥行き面は、特定の奥行き位置に設定された平面である。表示装置１００は三次元インデックス表示を実行する場合に、静止画の被写体距離に対応させる形で、所定の奥行き面上に静止画を配置することになる。また一番奥にある奥行き面は無限遠を表しており、被写体距離が無限遠として設定されている静止画が配置される面となる。表示装置１００は図５に示すような三次元仮想空間を作成し、三次元インデックス表示を行うための準備を整える。
【００２４】
Ｓ３０２より静止画データの読出し処理を開始する。静止画データの読み出しは、本実施例において、着脱式記録媒体２０７として想定しているＳＤカード１０３から読み出すことを想定している。Ｓ３０３において、実際に静止画データの読み出しが行われる。静止画データはＳＤカード１０３において、図６に示すようなＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｌｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  ｓｙｓｔｅｍ）規格に従ったファイル構造で記録されていることを想定している。表示装置１００は、ＤＣＦ規格で既定されている静止画データの記録ルールに従うことで、静止画データ６０１〜６０６までを順次読み出すことができるのである。
【００２５】
Ｓ３０４では、全ての静止画データに対する読み出しが完了したか否かの判定が行われる。読み出しが完了していないと判定された場合はＳ３０５に移行し、読み出しが完了したと判定された場合にはＳ３０９に移行することになる。
【００２６】
Ｓ３０５ではＥｘｉｆ情報の解析処理が行われる。Ｅｘｉｆ情報とは静止画データに埋め込まれているメタデータであり、撮影時のカメラ情報などが記録されている。Ｅｘｉｆ情報の一例を図７に示す。露出時間／ホワイトバランス／シャッター速度／絞り値／ＩＳＯ感度／測光方式／フラッシュ／レンズ焦点距離／被写体距離／位置情報／方位情報といった撮影時のカメラパラメータに関する情報が記録されている。また撮影したカメラのモデル名／撮影者／撮影日時／幅解像度／高さ解像度の情報など静止画データとしての情報も記録されている。Ｓ３０５でのＥｘｉｆ情報の解析結果として、図７にしめすようなデータが取得できることを想定する。
【００２７】
Ｓ３０６では、Ｓ３０５の解析結果として得られたＥｘｉｆ情報の中から被写体距離に関する情報を抽出する処理が行われる。図７を例に見ると、子供を撮影した静止画において、被写体となる子供までの距離情報として、被写体距離情報が「１ｍ」と言う結果を取得することができるのである。次にＳ３０７において、静止画データのリサイズ処理を行う。近年の静止画データは画素数の増大に伴いデータサイズも増大している。液晶画面への三次元インデックス表示用途であれば縮小した画像で十分であるため、このＳ３０７において画面サイズに必要十分な大きさにリサイズ処理が行われる。本実施例においては静止画データをリサイズする例を述べたが、静止画データに含まれているサムネイル画像を抽出し、三次元インデックス表示用として使用することも可能である。
【００２８】
ここまでの処理を経ることにより、三次元インデックス表示の対象となる静止画データの被写体距離情報の取得と、静止画サイズの最適化が行われたことになる。そして最後にＳ３０８において、対象となる静止画をＳ３０１で生成した三次元仮想空間の被写体距離情報が対応している奥行き面に配置する。この結果を図４−Ａに示す。「１ｍ」に相当する奥行き面上に、図７で示した静止画が配置されている様子が見て取れる。このＳ３０３からＳ３０８までの処理をＳ３０４での静止画読み出し完了の判定が行われるまで繰り返すことで、最終的には図４−Ｂに示すように三次元仮想空間上に静止画データを配置することができるのである。
【００２９】
ここで、三次元仮想空間に静止画データを配置する際に、検討すべき項目があることを述べておく。まずは、被写体距離に関する情報の取扱である。本実施例においては、説明を簡潔にするために被写体距離が「１ｍ」という三次元仮想空間における奥行き面の区切りと一致の取れている例で説明した。しかし実際には必ずしもこの条件を満たすわけではない。例えば被写体距離情報として「４ｍ」といった情報を得ることも有り得る。このときは、近い奥行き面に配置する方法が考えられる。つまり被写体距離情報として「４ｍ」であっても、配置する奥行き面は５ｍの奥行き面に配置するのである。もちろん「４ｍ」に相当する奥行き面を設定しその奥行き面上に表示する方法であっても構わない。
【００３０】
また同一の奥行き面上に複数の静止画を配置する必要性がある。このときは、お互いに重なり合わないように配置する必要がある。本実施例においては、後から読み出された静止画を奥行き面の空いている領域に順次配置してゆく方法を想定する。
【００３１】
次にＳ３０４で全ての静止画データの読み出しが完了したと判断され、Ｓ３０９に移行した処理を示す。ここからは、実際に液晶モニタ１０１に表示するための処理となる。Ｓ３０９では三次元仮想空間に対する視点を設定する処理が行われる。これにより、三次元仮想空間を何処から見るかが決まる。Ｓ３１０では、Ｓ３０９で決めた視点から見える三次元仮想空間を二次元表示データにレンダリング処理が行われる。最終的にＳ３１１において、レンダリングされた表示データを表示パネル制御部２０５に送ることで実際に液晶モニタ１０１上に図４−Ｂに示すような三次元インデックス表示を行うことができるのである。
【００３２】
本実施例においては、視点を固定してＳ３１０のレンダリングを行う場合を説明してきた。しかしながら、視点を移動させる場合も十分実現可能である。利用者がメニュー操作などを通じて三次元仮想空間中に設定する視点の位置を変更する。そしてその度に表示装置１００が、Ｓ３０９からＳ３１１までの処理を繰り返すことで、動的に三次元仮想空間を眺める位置を変更しながら三次元インデックス表示を観覧することが可能である。
【００３３】
本実施例においては、Ｓ３０７でのリサイズ処理としては、全ての静止画を同じサイズにリサイズすることを想定して説明した。しかしながら、当然全ての静止画を同じ大きさにリサイズする必要はない。本発明においては被写体距離の情報に注目している。このことから、静止画データから抽出される被写体距離の値が大きい値の静止画は、被写体距離の値が小さい値の静止画よりも小さくリサイズことが考えられる。その結果として得られる画面は、図４−Ｄに示すような画面となる。被写体距離の値が小さい静止画は相対的に大きなサイズで、逆に被写体距離の値が大きい静止画は相対的に小さなサイズで三次元仮想空間に配置される様子が見て取れるこれにより、直感的に被写体距離を意識した静止画の観覧が可能になるのである。
【００３４】
本実施例において、複数の静止画を同一の奥行き面に配置する場合、静止画が重なり合わないように後から読み出した静止画は奥行き面内の空いている領域に配置する方法を述べた。しかし、静止画の配置方法はこれ以外にも考えられる。例えば図７のＥｘｉｆ情報に記載されているような、静止画に記録されている方位情報を利用して配置を決定する手法が考えられる。本実施例において方位情報としては、北を「０°」，東を「９０°」，南を「１８０°」，西を「２７０°」とした情報を想定する。表示対象となる静止画に記録されている方位情報の平均値を算出し、基準方位として設定する。そしてこの基準方位を、各奥行き面の中心を基準方位として設定するのである。その上で、各奥行き面に静止画を配置する際は、基準方位からのズレ量に従って奥行き面の中心から離れた場所に配置するのである。このように静止画の方位方向を活用しながら奥行き面に配置することが可能である。
【００３５】
本実施例においては、三次元仮想空間に配置された静止画を三次元インデックス表示という形で利用する場合を示した。しかし表示への利用としては三次元インデックスのみに依存するものではない、例えばスライドショー再生への利用が考えられる。静止画のスライドショーを行う際に、手前の奥行き面に配置されている静止画から順々にスライドショー再生対象とする静止画を選択する方法ことも可能である。逆に奥の無限遠を表す奥行き面に配置されている静止画から選択することも可能である。このようにスライドショーの再生順番の決定に利用する事ができる。
【実施例２】
【００３６】
実施例１においては、ＳＤカード１０３内の全ての静止画データを表示対象として処理する方法を述べた。しかしもちろん表示対象とする静止画を絞った形で三次元インデックス処理を実現することも可能である。本実施例においては、撮影日時の情報を使って表示対象とする静止画を絞り込む例を説明する。このとき基本的な処理の流れは図３−Ａのシーケンス図と、図３−Ｂと図３−Ｃのシーケンス図の組合せとなる。図３−Ａの処理は実施例１と同じであるのでここでは割愛する。
【００３７】
Ｓ３００で三次元インデックス表示処理が開始後、直ぐにＳ３１２の処理に移行する。Ｓ３１２では表示対象とする静止画を絞り込むための条件として撮影日時の範囲を指定処理が行われる。利用者に対象とする撮影日時の情報を入力してもらう。入力が完了した時点で元のシーケンスに戻りＳ３０１の処理に引き継がれる。
【００３８】
その後Ｓ３０５でＥｘｉｆ情報解析が行われた後にＳ３１３移行する。Ｓ３１３では、解析されたＥｘｉｆ情報の中から撮影日時に関する情報が抽出され、Ｓ３１４に移行する。Ｓ３１４ではＳ３１３で抽出された撮影日時の情報がＳ３１２で設定した処理対象となる撮影日時の範囲に入っているか否かの判定処理が行われる。処理対象となる撮影日時の範囲に入っている場合には、Ｓ３１５に移行しＳ３０６の処理に引き継がれる。逆に処理対象となる撮影日時の範囲に入っていない場合にはＳ３１６に移行し、Ｓ３０６以降の処理を飛ばす形でＳ３０３に戻り、次の静止画データの読み出し処理に移る。これにより、対象外の静止画を省くことが可能になる。
【００３９】
以上の図３−Ａ、図３−Ｂ、図３−Ｃのシーケンスを経ることにより、利用者が指定した撮影日時の範囲にある静止画データによる三次元インデックス表示が行えるのである。
【００４０】
本実施例においては、処理対象とする静止画の選択条件として、撮影日時の情報を利用した。しかし、撮影日時以外の情報を利用することも可能である。例えば静止画が撮影された位置情報を利用することが考えられる。利用者は処理対象とする位置情報の範囲を入力することにより、位置情報から絞り込んだ静止画を用いての三次元インデックス表示を行うことが可能である。
【実施例３】
【００４１】
先の実施例１または実施例２では、三次元仮想空間全体を表示する例を述べた。しかしもちろん三次元仮想空間の一部を表示することも可能である。このときは、Ｓ３１０でのレンダリング処理において、レンダリング対象とする奥行き面に制約を設けることを意味している。例えば、利用者により「１ｍ〜５ｍ」までの奥行き面の表示が指定されていたとするならば、１ｍ以下の奥行き面と、５ｍ以上の奥行き面をレンダリング対象から外すことにより、例えば図４−Ｃに示すような三次元インデックス表示を実現することが可能となる。これにより、必要以外の奥行き面をマスクすることが可能になる。大量の静止画データが配置されることにより見辛い画面になってしまうことを回避することができる。
【実施例４】
【００４２】
実施例１から実施例３までは静止画データを用いての三次元インデックス表示であった。しかしながら同様の表示を動画データに対して適用することも可能である。本実施例においては、動画データへの適用方法の例を示す。
【００４３】
デバイスとしての表示装置は図１、図２の表示装置１００で実現可能である。動画データへの適用方法を図８のシーケンス図を用いて説明する。
【００４４】
Ｓ８００で動画三次元インデックス表示処理が開始される。Ｓ８０１において、三次元仮想空間の生成が行われるこの処理はＳ３０１と同じである。Ｓ８０２では動画データの読み出しが行われる。本実施例においては、動画データもＳＤカード１０３に記録されていることを想定しており、フォルダ構成としては図１０−Ａに示すようなフォルダ構成で記録されていると想定する。動画データは付加情報としてメタデータを埋め込むことのできる形式のものを想定する。本実施例においては、図１０−Ｂに示すようなデータ形式を想定する。フレーム画像のデータと、フレーム画像に対応するメタデータがセットになった構造をしている。このメタデータ部分に被写体距離情報が埋め込まれていること想定している。本実施例においては、先の図７で示したＥｘｉｆ情報と同じ情報が入っていることを想定している。つまり、動画データ中の全てのメタデータを解析することにより、図１０−Ｃのような被写体距離情報時間推移の情報を取得することが可能である。
【００４５】
Ｓ８０３ではＳ８０２で読み出し対象となっている動画に対する処理を、最終フレームまで実施したか否かの確認処理が行われる。最終フレームまで至っていない場合はＳ８０４に移行し、逆に最終フレームまで至った場合にはＳ８０７に移行する。
【００４６】
Ｓ８０４では、決められたフレーム画像の読み出しが行われる。図１０−Ｂに示す形式の動画データから対象となるフレーム画像を抽出する。
【００４７】
次にＳ８０５では、Ｓ８０４で抽出したフレーム画像に対応するメタデータの解析処理を行い、メタデータに記録されている被写体距離情報の抽出を行う。
【００４８】
Ｓ８０６では、次に読み出し対象となるフレーム番号を指定する処理が行われる。本実施例においては、すべてのフレームを処理することを想定している。このため次のフレーム番号を指定した後、Ｓ８０２の処理に戻る。
【００４９】
次に、Ｓ８０３で最終フレームまで至ったと判断され、Ｓ８０７に移行した場合の処理を示す。ここからは、実際に液晶モニタ１０１に表示するための処理となる。Ｓ８０７の時点で、表示装置１００は図１０−Ｃに示すような被写体距離情報の時間推移に関する情報を得ている。
【００５０】
Ｓ８０７では、この情報を元に動画データのカット分割を行う。カット分割の例を図１１に示す。被写体距離情報が変化している箇所で動画データのカット割を行いその結果として４つのカット動画が生成されている。
【００５１】
Ｓ８０８ではＳ８０７でカット割された各カットを三次元仮想空間に配置する処理が行われる。動画の場合は三次元仮想空間の左から右に向かって時間軸を取ることを想定している。各カット動画は対応する奥行き面の単位で分割されている。このため各カット動画を対応する奥行き面に配置する。実際の配置では、カット動画から特定のサンプリング間隔でフレーム画像を抽出して画像レベルで奥行き面に配置する方法を想定する。各カット動画に対して処理を行うことにより、図９に示すような配置を実現することができる。被写体距離の時間推移で分割されたカット動画が三次元仮想空間に配置されている様子が確認できる。
【００５２】
Ｓ８０９では三次元仮想空間に対する視点を設定する処理が行われる。これにより、三次元仮想空間を何処から見るかが決まる。Ｓ８１０では、Ｓ８０９で決めた視点から見える三次元仮想空間を二次元表示データにレンダリング処理が行われる。最終的にＳ８１１において、レンダリングされた表示データを表示パネル制御部２０５に送ることで実際に液晶モニタ１０１上に図９に示すような動画三次元インデックス表示を行うことができるのである。
【００５３】
本実施例では、動画三次元インデックス表示を表示パネル全体に表示する例を示したが、それ以外での利用も可能である。例えば図９の結果を動画データのサムネイル表示に活用することが考えられる。
【符号の説明】
【００５４】
１００  表示装置、１０１  液晶モニタ、１０２  ＳＤカードスロット、
１０３  ＳＤカード
【図１】
2016021675.tif 000003
【図２】
2016021675.tif 000004
【図３】
2016021675.tif 000005
【図４】
2016021675.tif 000006
【図５】
2016021675.tif 000007
【図６】
2016021675.tif 000008
【図７】
2016021675.tif 000009
【図８】
2016021675.tif 000010
【図９】
2016021675.tif 000011
【図１０】
2016021675.tif 000012
【図１１】
2016021675.tif 000013