(57)【要約】【課題】質感表示を行う際に、大きな演算処理を必要としない質感表示装置を得る。【解決手段】所定の時系列順に並べられた複数の視点位置と、複数の視点位置からの時系列画像に対応した対象物の一連の動画像圧縮データと、アクセスポイントとを関連づけて記憶する記憶部１０と、視点位置を特定する視点位置検出部２０と、位置情報に対応する時刻を視点位置からの時系列画像に基づいて決定する座標・時刻変換部３０と、対応する時刻から直前のアクセスポイントの時刻までの時刻情報を生成する時刻情報生成部４０と、時刻情報に対応する動画像圧縮データを記憶部１０から取り出して対応する時刻における画像を復号する画像復号部５０と、時刻に応じて復号された画像を表示させる表示処理部７０とを備える。【選択図】図１
2006317672.tif 000002
【特許請求の範囲】
【請求項１】
対象物を異なる視点位置から見たときの画像を、前記視点位置から実物を見たときと同様の質感で表示する質感表示装置であって、
所定の時系列順に並べられた複数の視点位置と、前記複数の視点位置からの時系列画像に対応してフレーム間予測に基づいてあらかじめ符号化処理された前記対象物の一連の動画像圧縮データと、前記複数の視点位置に対応する時系列画像圧縮データの中でフレーム間予測なしに画像を復元可能な視点位置を示すアクセスポイントとを関連づけて記憶する記憶部と、
前記対象物を鑑賞する視点位置を位置情報として特定する視点位置検出部と、
特定された前記位置情報に対応する時刻を、前記記憶部に記憶された前記複数の視点位置からの時系列画像に基づいて決定する座標・時刻変換部と、
前記記憶部に記憶された前記複数の視点位置と前記アクセスポイントとの対応関係に基づいて、決定された前記対応する時刻から直前のアクセスポイントの時刻までの時刻情報をシーン時刻情報として生成する時刻情報生成部と、
生成された前記シーン時刻情報に対応する動画像圧縮データを前記記憶部に記憶された前記一連の動画像圧縮データの中から取り出して前記対応する時刻における画像を復号する画像復号部と、
前記座標・時刻変換部で決定された時刻に対応して前記画像復号部で復号された画像を表示させる表示処理部と
を備えたことを特徴とする質感表示装置。
【請求項２】
請求項１に記載の質感表示装置において、
時刻に応じて復号された画像を蓄積するフレームバッファをさらに備え、
前記画像復号部は、復号した画像を前記フレームバッファに記憶させ、
前記表示処理部は、前記座標・時刻変換部で決定された時刻に対応する画像を前記フレームバッファから取り出して表示させる
ことを特徴とする質感表示装置。
【請求項３】
請求項１または２に記載の質感表示装置において、
前記視点位置検出部は、所定距離離れた２台のカメラからの映像に基づく三角測量によって前記位置情報を特定することを特徴とする質感表示装置。
【請求項４】
請求項１または２に記載の質感表示装置において、
前記視点位置検出部は、ポインティングデバイスによる指定に基づいて前記位置情報を特定することを特徴とする質感表示装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の質感表示装置において、
前記記憶部に記憶されている前記所定の時系列順は、ヒルベルト曲線による走査に基づいて、２次元の平面の離散的な視点位置情報を１次元の時間軸情報に対応付けることにより定められていることを特徴とする質感表示装置。
【請求項６】
請求項１ないし４のいずれか１項に記載の質感表示装置において、
前記記憶部に記憶されている前記所定の時系列順は、ジグザグスキャンによる走査に基づいて、２次元の平面の離散的な視点位置情報を１次元の時間軸情報に対応付けることにより定められていることを特徴とする質感表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物を異なる視点から見たときの画像を、実物をその視点から見たときと同様の質感で表示する質感表示装置に関する。対象物としては、例えば、絵画などが挙げられる。
【背景技術】
【０００２】
従来の質感表示装置は、立体構造物とそれに描かれた図柄の色を、実物の物とほぼ同様の質感で表示させるために、立体構造物への照射角度と観測角度の選択と、立体構造物の材質の選択とを受け付ける。そして、従来の質感表示装置は、その受け付けた情報に基づいて、合成情報で表す立体構造体と図柄の各部分の分光反射率を、色見本データベースで記憶する色見本情報から特定する。
【０００３】
さらに、従来の質感表示装置は、特定したその色見本情報と合成情報とを含む質感表現情報を作成する。そして、従来の質感表示装置は、質感表現情報を元に、端末の表示部に表示できる色の特性に合わせた表示情報を作成し、表示情報を端末の表示部に表示する（例えば、特許文献１参照）。また、上記と同様の考えに基づく実験結果も示されている（例えば、非特許文献１参照）。
【０００４】
【特許文献１】特開２００４−１５０１９号公報（第４頁、図１）
【非特許文献１】木村他、”自由視点鑑賞可能な油絵３次元鑑賞システム”、ＩＭＰＳ２００４、Ｉ−４０、‘０４／１１／１１
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術には次のような課題がある。従来の質感表示装置では、立体構造物への照射角度、観測角度、材質の選択をその都度実施し、それに応じた質感表現情報を合成するため、視点を移動する度に膨大な演算を行う必要があった。また、視点の移動は、リアルタイムで行われるが、上記の膨大な演算をリアルタイムで実施するためには大規模な演算処理ユニットを必要としている。
【０００６】
処理量が膨大であることは、上述の特許文献１において、４５４画素×３８０ラインの画像を一枚処理するために１５〜５０ｍｓ必要であることから、実用上で鑑賞に耐えうる解像度、例えば２０００画素×２０００ライン程度の画像を処理する場合、リアルタイム処理が困難であることは、容易に想像がつく。
【０００７】
本発明は上述のような課題を解決するためになされたもので、質感表示を行う際に、大きな演算処理を必要としない質感表示装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る質感表示装置は、対象物を異なる視点位置から見たときの画像を、視点位置から実物を見たときと同様の質感で表示する質感表示装置であって、所定の時系列順に並べられた複数の視点位置と、複数の視点位置からの時系列画像に対応してフレーム間予測に基づいてあらかじめ符号化処理された対象物の一連の動画像圧縮データと、複数の視点位置に対応する時系列画像圧縮データの中でフレーム間予測なしに画像を復元可能な視点位置を示すアクセスポイントとを関連づけて記憶する記憶部と、対象物を鑑賞する視点位置を位置情報として特定する視点位置検出部と、特定された位置情報に対応する時刻を、記憶部に記憶された複数の視点位置からの時系列画像に基づいて決定する座標・時刻変換部と、記憶部に記憶された複数の視点位置とアクセスポイントとの対応関係に基づいて、決定された対応する時刻から直前のアクセスポイントの時刻までの時刻情報をシーン時刻情報として生成する時刻情報生成部と、生成されたシーン時刻情報に対応する動画像圧縮データを記憶部に記憶された一連の動画像圧縮データの中から取り出して対応する時刻における画像を復号する画像復号部と、座標・時刻変換部で決定された時刻に対応して画像復号部で復号された画像を表示させる表示処理部とを備えるものである。
【発明の効果】
【０００９】
本発明によれば、所定の時系列順に並べられた複数の視点位置に対応する動画像圧縮データに基づいて、所望の視点位置からの画像を復号することにより、質感表示を行う際に、大きな演算処理を必要としない質感表示装置を得ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の質感表示装置の好適な実施の形態につき図面を用いて説明する。
本発明の質感表示装置は、複数の視点位置を所定の時系列順に並べ、対象物の動画像圧縮データをあらかじめ記憶しておき、記憶された動画像圧縮データに基づいて所望の視点位置からの画像を復元して表示させることを特徴とする。
【００１１】
実施の形態１．
図１は、本発明の実施の形態１における質感表示装置の構成図である。図１における質感表示装置は、符号化データ記憶部１０、視点位置検出部２０、座標・時刻変換部３０、時刻情報生成部４０、画像復号部５０、フレームバッファ６０、および表示処理部７０で構成される。
【００１２】
符号化データ記憶部１０は、所定の時系列順に並べられた複数の視点位置と、複数の視点位置の時系列順に従ってあらかじめ取り込まれた対象物の一連の動画像圧縮データと、アクセスポイントとを関連づけて、符号化データとして記憶する記憶部である。
【００１３】
本発明は、複数の視点位置からの個々の画像を記憶しておくのではなく、所定の時系列順に並べられた複数の視点位置に対する一連の動画像圧縮データを記憶しておくことを特徴としている。さらに、この一連の動画像圧縮データは、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）に代表されるような、フレーム間予測による圧縮に基づくものである。
【００１４】
そして、複数の視点位置は、他の視点位置とは独立に符号化された画像データを有する視点位置と、時系列として１つ手前の視点位置との差分を符号化した画像データを有する視点位置とに分けることができ、前者の視点位置のことを以下の説明ではアクセスポイントと称する。すなわち、このアクセスポイントは、複数の視点位置に対応する時系列画像圧縮データの中でフレーム間予測なしに画像を復元可能な視点位置を示す。
【００１５】
次に、視点位置検出部２０は、対象物を鑑賞する視点位置を位置情報として特定し、特定した位置情報をＸＹＺ座標信号として出力する。これに対して、座標・時刻変換部３０は、符号化データ記憶部１０に記憶された符号化データに基づいて、視点位置検出部２０で特定された位置情報を時刻情報に変換する。
【００１６】
具体的には、座標・時刻変換部３０は、符号化データとして記憶され、所定の時系列順に並べられて時間と関連づけられている複数の視点位置の中から、特定された位置情報に対応する視点位置を抽出することにより、位置情報を１次元情報である時刻情報に変換する。
【００１７】
次に、時刻情報生成部４０は、符号化データ記憶部１０に記憶された符号化データと座標・時刻変換部３０で変換された時刻情報とに基づいて、対象物を鑑賞する視点位置からの画像を復号するために必要なシーン時刻情報を生成する。
【００１８】
具体的には、時刻情報生成部４０は、まず始めに、符号化データとして記憶されている時系列順に並べられた複数の視点位置とアクセスポイントとの対応関係に基づいて、座標・時刻変換部３０により変換された時刻情報に対応する視点位置を特定する。次に、特定した視点位置の直前のアクセスポイントとなる視点位置に対応する時刻をさらに特定する。
【００１９】
そして、時刻情報生成部４０は、アクセスポイントとなる視点位置に対応する時刻から座標・時刻変換部３０により変換された時刻情報までの時系列の時刻データからなるシーン時刻情報を生成する。
【００２０】
次に、画像復号部５０は、時刻情報生成部４０で生成されたシーン時刻情報と、符号化データ記憶部１０に記憶された符号化データとに基づいて、対象物を鑑賞する視点位置からの画像を復号する。
【００２１】
具体的には、画像復号部５０は、シーン時刻情報に含まれている時系列の時刻データに対応した一連の圧縮画像である符号化ストリームを、符号化データの一連の動画像圧縮データの中から取り出し、符号化ストリームを復号した画像を生成する。
【００２２】
すなわち、画像復号部５０は、アクセスポイントに対応する時刻における独立に符号化された画像データと、その後の一連の時刻における差分を符号化した一連の画像データを符号化ストリームとして取り出し、その符号化ストリームを復号することにより、対象物を鑑賞する視点位置からの画像を生成する。
【００２３】
フレームバッファ６０は、復号画像を蓄積する記憶部であり、画像復号部５０は、復号により生成した画像をフレームバッファ６０に記憶させる。さらに、表示処理部７０は、座標・時刻変換部３０で決定された時刻に対応する画像をフレームバッファ６０から取り出して表示させる。
【００２４】
上述のように、本発明の質感表示装置は、視点位置を検出し、視点位置に対応した時刻情報を算出し、算出された時刻情報の直前のアクセスポイントから該時刻情報までのシーン時刻情報を求め、シーン時刻情報に対応する符号化ストリームを復号し、復号された画像中から、視点位置に対応する時刻情報に相当する画像を表示させることができる。
【００２５】
実施の形態１によれば、所定の時系列順に並べられた複数の視点位置に対応する動画像圧縮データに基づいて、所望の視点位置に応じた画像を表示させることができる。したがって、記憶するデータ量を抑えるとともに、所望の視点位置に対応する画像を高速で表示させることができ、大きな演算処理を必要とせずにリアルタイム性を確保した質感表示装置を実現できる。
【００２６】
実施の形態２．
実施の形態２では、視点位置検出部２０による視点位置の検出方法について具体的に説明する。図２は、本発明の実施の形態２における視点位置検出部２０の一構成例を示す図である。図２における視点位置検出部２０は、第１のカメラ２１、第２のカメラ２２、および第１のカメラ２１と第２のカメラ２２の映像を入力して三角測量による３次元位置算出を行う３次元位置算出部２３を備えている。
【００２７】
第１のカメラ２１と第２のカメラ２２は、何れも視点２４を撮影して、その映像が、三角測量を行う３次元位置算出部２３に入力される。ここで、視点２４−第１のカメラ２１−第２のカメラ２２の３点により定まる角度を第１の角度とし、視点２４−第２のカメラ２２−第１のカメラ２１の３点により定まる角度を第２の角度とする。
【００２８】
３次元位置算出部２３は、あらかじめ定まっている第１のカメラ２１と第２のカメラ２２との間の距離と、第１の角度と、第２の角度の３つの情報に基づいて、視点２４の空間位置を算出する。さらに、３次元位置算出部２３は、算出した空間位置をＸＹＺ座標に変換し、視点位置の位置情報を出力する。
【００２９】
実施の形態２によれば、視点位置を三角測量により求めることにより、その視点位置に応じた映像を表示させることができ、リアルな画像の鑑賞を可能とする質感表示装置を得ることができる。
【００３０】
なお、上述の実施の形態２においては、カメラを２台だけ用いたが、より多くのカメラを用いることにより、視点位置の検出精度を向上させることも可能である。
【００３１】
実施の形態３．
実施の形態３では、視点位置検出部２０による視点位置の別の検出方法について具体的に説明する。図３は、本発明の実施の形態３における視点位置検出部２０の一構成例を示す図である。図３における視点位置検出部２０は、ポインティングデバイス２５と位置情報変換部２６とを備えている。
【００３２】
ポインティングデバイス２５は、ユーザ制御が可能な位置特定機能を有し、例えば、マウス、トラックボール、スティックポインタ、タッチスクリーン等に相当する。そして、位置情報変換部２６は、ポインティングデバイス２５の出力を空間位置に対応させ、視点位置の位置情報を出力する。
【００３３】
実施の形態３によれば、制御可能なポインティングデバイスを用いて視点位置を求めることにより、実際に視点を移動させることなく仮想の視点位置を指定でき、様々な方向から見た映像を容易に鑑賞することができる質感表示装置を得ることができる。
【００３４】
実施の形態４．
次に、実施の形態４では、複数の視点位置を所定の時系列順として規定するための具体例を説明する。所定の時系列順として規定された複数の視点位置に応じて、一連の動画像圧縮データがあらかじめ生成されることとなる。
【００３５】
図４は、本発明の実施の形態４における所定の時系列順の一構成例の説明図である。ここでは、説明を容易とするために、２次元空間で規定された複数の視点位置を時系列化することにより、１次元の時間軸へ変換する場合を説明する。この図４は、ヒルベルト曲線による、２次元空間の１次元化を示している。
【００３６】
ヒルベルト曲線は、以下のような手段で領域の局所化を行うことが容易に可能である。図４における複数の視点位置は、横方向に８画素×縦方向に８ラインの画像領域として示されているが、これを４×４の４つの領域に分割し得る。すなわち、左上の領域は、（１、１）が始点、左下の領域は（１、５）が始点、右上の領域は（８、４）が始点、右下の領域は（５、５）が始点となる４つの領域に分割し得る。
【００３７】
さらに、これら４つの領域の各始点をアクセスポイントとして、８×８の視点位置の順序を図４で示すヒルベルト曲線で規定することにより、所定の時系列順が定められている。そして、この時系列順およびアクセスポイントに従った一連の動画像圧縮データが、符号化データ記憶部１０にあらかじめ記憶されていることとなる。
【００３８】
本発明では、シーン時刻情報を生成することにより、任意の視点の映像を高速に表示可能なように構成している。一例として、左下の４×４の領域において、視点位置の座標が（１、６）の位置の画像を復号したい場合について説明する。この座標（１、６）は、アクセスポイントである（１、５）を始点とし、（１、５）→（２、５）→（２、６）→（１、６）の順序で時系列化されている。
【００３９】
従って、時刻情報生成部４０は、符号化データ記憶部１０に記憶された符号化データに基づいて、この４つの座標からなる時刻の時系列情報をシーン時刻情報として生成する。さらに、画像復号部５０は、アクセスポイントに対応する座標（１、５）における独立に符号化された画像データと、その後の３つの座標（２、５）、（２、６）、（１、６）における時系列として１つ手前の視点位置との差分を符号化した画像データとによる符号化ストリームに基づいて、座標（１、６）における画像を復号する。
【００４０】
ここで、ヒルベルト曲線による走査は、次の２つのメリットがある。まず第１のメリットとして、時刻情報に対応付けられる空間座標から得られる視点位置の連続映像の符号化を効率化できる点が挙げられる。すなわち、ヒルベルト曲線で規定された時系列として前後に並んでいる２つの視点位置は、空間座標として上下、あるいは左右に並んでいる関係にあり、両視点位置の空間距離が一定であるため、画像間の相関が大きく変わらないため、符号化効率がよく、一連の動画像圧縮データのデータ量を減らすことが可能となる。
【００４１】
さらに、第２のメリットとして、どの場所でも高速に再生可能というアクセス性のよい点が挙げられる。図４に例示したように、８×８からなる複数の視点位置は、空間的に均等となる４つの４×４の領域に分割できる。さらに、各領域に対して、例えば、その始点をアクセスポイントとして規定できる。
【００４２】
このようにして、全領域を空間的に均等に分割してアクセスポイントを割り付けることにより、いずれの視点位置に対しても、シーン画像情報に含まれる座標の数が極端に多くなることを防止でき、全領域において一様のアクセス性を持たせることができ、アクセス性の向上を図ることができる。
【００４３】
実施の形態４によれば、ヒルベルト曲線を用いて複数の視点位置に対応する所定の時系列順を規定することにより、符号化効率の向上に伴う圧縮動画像データの容量の低減と、所望の視点位置における復号画像の高速生成を実現した質感表示装置を得ることができる。
【００４４】
なお、上述の説明においては、２次元の視点位置に対する形態を示したが、３次元への拡張も同様の方法で可能である。
【００４５】
実施の形態５．
次に、実施の形態５では、複数の視点位置を所定の時系列順として規定するための別の具体例を説明する。所定の時系列順として規定された複数の視点位置に応じて、一連の動画像圧縮データがあらかじめ生成されることとなる。
【００４６】
図５は、本発明の実施の形態５における所定の時系列順の一構成例の説明図である。ここでは、説明を容易とするために、左記の実施の形態４と同様に、２次元空間で規定された複数の視点位置を時系列化することにより、１次元の時間軸へ変換する場合を説明する。この図５は、ジグザグスキャンによる、２次元空間の１次元化を示している。
【００４７】
図５に示すように、このジグザグスキャンにおいては、８×８の領域を（１、１）を始点、（８、８）を終点として、ななめに往復しながら全視点位置をスキャンする。このジグザグスキャンは、先のヒルベルト曲線によるスキャンと比較すると、符号化効率およびアクセス性では劣るものの、複数の視点位置の時系列化を容易に実現できるメリットがある。
【００４８】
実施の形態５によれば、ジグザグスキャンを用いて複数の視点位置に対応する所定の時系列順を規定することにより、ヒルベルト曲線を用いる場合に比べて、スキャンの順序が単純化でき、複数の視点位置の時系列順を容易に規定できる。従って、複数の視点位置が３次元である場合にも、容易に拡張でき、３次元からなる複数の視点位置の時系列化を容易に実現できる。
【００４９】
なお、本説明では、算出されたシーン時刻情報に対応する一連の復号画像を一旦フレームバッファ６０に蓄積しているが、フレームバッファ６０を用いずに、一連の復号画像の時刻情報と、表示すべき時刻情報との比較により、必要な画像データだけを表示処理部７０に伝送してもよい。この構成は、フレームバッファ６０が不要になり、さらに簡易な装置構成を取ることができる。
【００５０】
また、本発明では、フレームバッファ６０を用いる場合において、蓄積された複数の復号画像を用いて、時間情報に対応付けた空間位置だけでなく、それ以外の位置を補間して表示することも可能である。一般的には、複数の画像の加算平均を取ることで補間画像を求めることが可能であるが、動き補償などの技術を併用し、より精細度の高い画像を補間することもできる。
【００５１】
また、本発明では、空間位置情報を時間軸情報に対応させることで、現在、市場に大量に存在するＭＰＥＧを始めとする動画符号化技術を応用することを可能とし、既開発技術を最大限に利用することで、製造コストを大幅に低下させることが可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態１における質感表示装置の構成図である。
【図２】本発明の実施の形態２における視点位置検出部の一構成例を示す図である。
【図３】本発明の実施の形態３における視点位置検出部の一構成例を示す図である。
【図４】本発明の実施の形態４における所定の時系列順の一構成例の説明図である。
【図５】本発明の実施の形態５における所定の時系列順の一構成例の説明図である。
【符号の説明】
【００５３】
１０  符号化データ記憶部（記憶部）、２０  視点位置検出部、２１  第１のカメラ、２２  第２のカメラ、２３  ３次元位置算出部、２５  ポインティングデバイス、２６  位置情報変換部、３０  座標・時刻変換部、４０  時刻情報生成部、５０  画像復号部、６０  フレームバッファ、７０  表示処理部。
【図１】
2006317672.tif 000003
【図２】
2006317672.tif 000004
【図３】
2006317672.tif 000005
【図４】
2006317672.tif 000006
【図５】
2006317672.tif 000007