(57)【要約】【課題】３次元画像の鑑賞時に鑑賞者が感じる不快感を軽減し得る３次元画像表示を、データ作成を複雑化することなく可能にし、かつ、不快感を低減させながら、データ作成側が見せたい情報（物体）に鑑賞者に効果的に見せることができる３次元画像表示を実現する。【解決手段】対象物抽出部４が３次元データの付帯情報に基づいて３次元データより予め指定された対象物を抽出し、マーカー生成部５がこの抽出した該対象物に鑑賞者の視点を誘導させるためのマーカーを生成し、画像生成部６が生成されたマーカーを３次元画像に合成して、表示部７がマーカーを合成した３次元画像を表示する。【選択図】  図１
2004248107.tif 000002
【特許請求の範囲】
【請求項１】
３次元データを用いて３次元画像を表示する３次元画像表示装置において、
３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出手段と、
該対象物抽出手段にて抽出された対象物に鑑賞者の視点を誘導させるためのマーカーを生成するマーカー生成手段と、
該マーカー生成手段により生成されたマーカーを３次元画像に合成する合成手段とを備えたことを特徴とする３次元画像表示装置。
【請求項２】
上記マーカー生成手段は、抽出された対象物の形状に応じた形状を有するマーカーを生成することを特徴とする請求項１に記載の３次元画像表示装置。
【請求項３】
上記３次元データが３次元形状を表す形状データの集合体からなり、上記付帯情報に上記対象物となる形状データを特定するための情報が含まれており、
上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記情報を用いて抽出すべき対象物を特定することを特徴とする請求項１又は２に記載の３次元画像表示装置。
【請求項４】
上記３次元データが、視差をもつ左眼用及び右眼用の各２次元画像からなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、
上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とする請求項１又は２に記載の３次元画像表示装置。
【請求項５】
上記３次元データが、片眼用の２次元画像と該２次元画像の各座標における距離情報とからなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、
上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とする請求項１又は２に記載の３次元画像表示装置。
【請求項６】
上記３次元データが、時間情報を含み時系列に沿って変化する動画データであり、上記対象物を特定するための情報は特定時刻の３次元データにおける付帯情報にのみ含まれており、
上記対象物抽出手段は、特定時刻と特定時刻との間は、前の特定時刻において抽出した対象物の追跡を行うことで上記対象物を抽出することを特徴とする請求項１又は２に記載の３次元画像表示装置。
【請求項７】
３次元データを用いて３次元画像を表示する３次元画像表示方法において、
３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出ステップと、
該対象物抽出ステップにて抽出された対象物に鑑賞者の視点を誘導させるマーカーを生成するマーカー生成ステップと、
該マーカー生成ステップにより生成されたマーカーを３次元画像に合成する合成ステップとを有することを特徴とする３次元画像表示方法。
【請求項８】
請求項１〜６の何れかに記載の３次元画像表示装置を動作させる３次元画像表示プログラムであって、コンピュータを上記対象物抽出手段、上記マーカー生成手段、上記合成手段として機能させるための３次元画像表示プログラム。
【請求項９】
請求項８に記載の３次元画像表示プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元データを表示し鑑賞するための３次元画像表示装置に係り、特に３次元画像鑑賞時に、様々な視差を持つ対象物に視点が移動することに起因する酔い等の不快感を低減する機能を有する３次元画像表示装置、３次元画像表示方法、３次元画像表示プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
近年、奥行きのある３次元画像を表現可能な３次元画像表示装置が種々開発されている。このような３次元画像表示装置に関する先行技術として、特許文献１には、画像の急激な変化等に伴い画像全体がぼやけたり、ぶれたりすると判っているフレームを予め検出しておき、該フレームには、鑑賞者の視点を誘導するための特定の表示キャラクタ（以下、アイコン）を表示させるようにしておく技術が記載されている。
【０００３】
これは、動画像表示時、画像の急激な変化等に伴い画像全体がぼやけたり、ぶれたりすると、鑑賞者は、はっきりと視点を合わせる場所がみつからなくなり、酔い等の不快感を感じてしまうといった不具合の解決を図るものである。鑑賞者は、このアイコンに視点を合わせさせることで、上記した目眩や酔い等の不快な症状の発生を軽減させることができる。
【０００４】
また、特許文献１には、このようなアイコンの表示を、鑑賞者自身或いは第３者の指示にて行わせたり、３次元画像表示装置自身で画像のぶれを検出することにより実施したりすることも記載されている。
【０００５】
【特許文献１】
特開平７−２２６９５９（平成７年８月２２日公開）
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特許文献１は、３次元画像の動画を対象としており、ぶれがない動画像や、静止画にも、鑑賞者の視点を誘導するアイコンを表示しようという技術的思想を持つものではない。したがって、３次元画像に弱い鑑賞者の不快感を低減できるものではない。
【０００７】
上記特許文献１では、着目していないが、３次元画像は視差をもつ様々な対象物からなる画像であるので、たとえ動画像のぶれがなくとも、鑑賞者は視点を各対象物に移動させることで、小さな酔いを感じるものである。酔いの感じ方には個人差はあるが、感じ方の激しい３次元画像に弱い鑑賞者は、たとえ動画でなく静止画像であっても、長時間鑑賞した場合など小さな酔いが累積してしまい、不快感を感じてしまう。上記特許文献１は、動画像を対象とし、それにおける画像のぶれが生じるフレームにのみアイコンを表示する技術であるので、このような静止画でも起こりえる不快な症状を軽減することはできない。
【０００８】
また、上記特許文献１では、アイコンを表示させるフレームを、３次元画像を提供するデータ作成側で予め検出しておく必要があり、かつ、３次元画像のデータ以外に、アイコンを表示するための、アイコン自体の画像データ、アイコンの座標値、アイコンの時間軸上の位置などが必要となる。そのため、データ作成に手間がかかるといった問題もある。
【０００９】
さらに、上記特許文献１では、鑑賞者の視点を、本来の３次元画像ではなく、これに別途加えられたアイコンに合わせさせるようになっている。したがって、アイコンを見せることで鑑賞者の不快な症状を軽減させることはできても、鑑賞者の視点がアイコンに集中するため、本来見せたかった３次元画像を構成する要素である対象物そのものに注目させることができないといった問題もある。
【００１０】
【課題を解決するための手段】
本発明の３次元画像表示装置は、上記課題を解決するために、３次元データを用いて３次元画像を表示する３次元画像表示装置において、３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出手段と、該対象物抽出手段にて抽出された対象物に鑑賞者の視点を誘導させるためのマーカーを生成するマーカー生成手段と、該マーカー生成手段により生成されたマーカーを３次元画像に合成する合成手段とを備えたことを特徴としている。
【００１１】
なお、ここで、３次元データとは、３次元画像表示装置において３次元（立体）表示可能なデータの総称であり、また、３次元データに付帯する付帯情報とは、３次元データを表示する際に直接使用されない情報のことである。付帯情報は、３次元データとともに１つのファイルを構成してもよいし、それぞれ別のファイルを構成してもよい。
【００１２】
上記構成によれば、対象物抽出手段が３次元データもしくはその付帯情報により予め指定された対象物を３次元データから抽出し、マーカー生成手段がこの抽出した該対象物に鑑賞者の視点を誘導させるためのマーカーを生成し、合成手段が生成されたマーカーを３次元画像に合成する。
【００１３】
これにより、表示される３次元画像には、所定の対象物にマーカーが付された状態で表示されるので、鑑賞者の視点は、このマーカーの付された対象物に誘導されることとなり、鑑賞者が視点を各対象物に移動させるようなことが抑制され、鑑賞者が３次元画像を鑑賞した際に感じる酔い等の不快な症状を軽減することができる。
【００１４】
また、３次元データの作成側では、ぶれが発生するフレームを予め検出しておくことも、また、アイコン自体の画像データや時間軸上の位置等をデータに含めておく必要もなく、３次元画像内で鑑賞者の視点を誘導したい対象物を何らかの方法で指定しておくだけですむので、データ作成が容易である。
【００１５】
しかも、鑑賞者の視点を、３次元画像を構成する対象物そのものに誘導できるので、３次元画像とは別に付加されたアイコンに誘導させるよりも効果的に、３次元画像で本来注目させたかった情報を鑑賞者に認識させることが可能となり、データ作成側としては、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができるので、非常に有効な３次元画像の表示が可能となる。
【００１６】
さらに、上記した本発明の３次元画像表示装置においては、上記マーカー生成手段が、抽出された対象物の形状に応じた形状を有するマーカーを生成することを特徴とすることもできる。
【００１７】
これによれば、マーカーの形状が対象物の形状に合ったものとなるので、マーカー自体が対象物よりも目立って鑑賞者の視点がマーカーを見てしまうことを効果的に回避して、より有効に鑑賞者に対象物を見せることができる。
【００１８】
また、本発明の３次元画像表示装置においては、３次元データが３次元形状を表す形状データの集合体からなり、上記付帯情報に上記対象物となる形状データを特定するための情報が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記情報を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【００１９】
３次元データがＣＡＤデータのように、３次元形状を表す形状データの集合体からなる場合は、その付帯情報に対象物を特定するための情報を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができる。
【００２０】
また、本発明の３次元画像表示装置においては、３次元データが、視差をもつ左眼用及び右眼用の各２次元画像からなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【００２１】
３次元データが視差をもつ左眼用及び右眼用の各２次元画像からなる場合は、その付帯情報に対象物を特定するための座標値を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができる。
【００２２】
また、本発明の３次元画像表示装置においては、３次元データが、片眼用の２次元画像と該２次元画像の各座標における距離情報とからなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【００２３】
３次元データが片眼用の２次元画像と該２次元画像の各座標における距離情報とからなる場合は、その付帯情報に対象物を特定するための座標値を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができる。
【００２４】
また、本発明の３次元画像表示装置においては、３次元データが、時間情報を含み時系列に沿って変化する動画データであり、上記対象物を特定するための情報は特定時刻の３次元データにおける付帯情報にのみ含まれており、上記対象物抽出手段は、特定時刻と特定時刻との間は、前の特定時刻において抽出した対象物の追跡を行うことで上記対象物を抽出することを特徴とすることもできる。
【００２５】
上記構成では、３次元データが動画データであっても、動画データを構成する各フレームの静止画データ全てに対象物を指定する必要がなくなるので、データ作成が容易になる。
【００２６】
また、本発明の３次元画像表示方法は、上記課題を解決するために、３次元データを用いて３次元画像を表示する３次元画像表示方法において、３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出ステップと、該対象物抽出ステップにて抽出された対象物に鑑賞者の視点を誘導させるマーカーを生成するマーカー生成ステップと、該マーカー生成ステップにより生成されたマーカーを３次元画像に合成する合成ステップとを有することを特徴としている。
【００２７】
３次元画像表示装置として既に説明したように、これにより、３次元画像内の所定の対象物に鑑賞者の視点を誘導することができるので、鑑賞者に生じる酔い等の不快な症状を低減することができる。しかも、予め対象物を指定しておくだけなので、データ作成は容易であり、かつ、３次元画像を構成する物体そのものに視点を誘導するので、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができる。
【００２８】
本発明の３次元画像表示プログラムは、上記した本発明の３次元画像表示装置を動作させる３次元画像表示プログラムであって、コンピュータを上記対象物抽出手段、上記マーカー生成手段、上記合成手段として機能させるものである。
【００２９】
また、本発明のコンピュータ読み取り可能な記録媒体は、上記した本発明の３次元画像表示プログラムを記録したものである。
【００３０】
これにより、上記３次元画像表示プログラムをコンピュータによって実行させれば、特定の３次元画像表示装置ではなく、不特定の３次元画像表示装置に対しても本発明の３次元画像表示を実現させることが可能となる。
【００３１】
【発明の実施の形態】
〔実施の形態１〕
本発明の実施の一形態について図１ないし図８に基づいて説明すれば、以下の通りである。
【００３２】
本実施の形態に係る３次元画像表示装置は、図１に示すように、データ取得部１、メモリ２、データ解析部３、対象物抽出部（対象物抽出手段）４、マーカー生成部（マーカー生成手段）５、画像生成部（合成手段）６、データ取得判定部８、及び表示部７を有している。
【００３３】
データ取得部１は、３次元データと該３次元データに付帯される付帯情報を取得するものである。３次元データとは、３次元画像を表示可能な表示に直接使用されるデータそのものであり、その種類等については後述する。また、付帯情報とは、３次元画像の表示には直接寄与しない情報であり、例えば、キーワード、タイトル、作成者情報、著作権情報等がある。そして、詳細については後述するが、本実施の形態の３次元画像表示装置では、この付帯情報の一部として、鑑賞者の視点を誘導するためのマーカーを付すべき対象物を特定するための対象物特定情報が含まれている。３次元データとその付帯情報とは、単一のファイルに格納されていても、各々別のファイルに格納されていてもよい。
【００３４】
メモリ２は、データ取得部１で取得された３次元データとその付帯情報を格納するものである。データ解析部３は、メモリ２に格納されている３次元データと付帯情報とを解析して、本装置で扱うことのできる状態に変換し、再度メモリ２に格納するものである。データ解析部３は、３次元データの形式によって、付帯情報のみを解析する場合もある。
【００３５】
対象物抽出部４は、メモリ２に格納されているデータ解析部３による解析結果を基に、マーカーを表示すべき対象物を検出するものである。マーカー生成部５は、対象物抽出部４にて抽出された対象物を基にして、表示すべきマーカーを生成するものである。画像生成部６は、マーカー生成部５にて形成されたマーカーを３次元データに合成して合成画像を生成するもので、表示部７は、その合成画像を表示するものである。
【００３６】
ここで、データ取得部１は、例えば通信手段もしくは各種記録媒体からデータを読み出す手段等からなり、メモリ２はＲＡＭからなる。また、データ解析部３、対象物抽出部４、マーカー生成部５、画像生成部６、及びデータ取得判定部８は、制御部にて構成される。この制御部は、プログラムの命令を実行するＣＰＵ、プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムを格納するメモリを備えている。
表示部７は、視差を持つ左右画像を表示することが可能なディスプレイからなり、例えば、パララックスバリア方式を用いたディスプレイ、レンティキュラレンズを用いたディスプレイ等である。左右画像を表示可能であれば他の表示装置を用いてもよい。
【００３７】
ここで、本実施の形態の３次元画像表示装置において扱うことのできる３次元データについて説明する。本実施の形態の３次元画像表示装置は、以下の▲１▼〜▲３▼の何れかを扱うことができる。もちろん、▲１▼〜▲３▼のうちの複数を組み合わせて扱い得る構成であってもよい。
【００３８】
▲１▼ＣＡＤデータのような物体の３次元形状を表す３次元形状データの集合体。
【００３９】
▲２▼視差を有する左眼用２次元画像と右眼用２次元画像。
【００４０】
▲３▼片眼用の２次元画像と該２次元画像における各画素の距離情報との対。
【００４１】
ここで、まず、図２のフローチャートを用いて、本実施の形態の３次元画像表示装置が、▲１▼の３次元データを扱うものであって、その場合に、３次元画像を表示するまでの手順を説明する。
【００４２】
まず、データ取得部１が３次元データおよびその付帯情報を取得し、メモリ２に記憶させる（Ｓ１）。次に、Ｓ１におけるデータ取得の成否をデータ取得判定部８が判定し、データの終了判定を行う（Ｓ２）。ここで、データ取得が成功している場合にはＳ３に進む。一方、データ取得が否、つまり、３次元データとその付帯情報とを取得できていない場合は、終了と判断する。
【００４３】
Ｓ３では、データ解析部３がデータ取得部１により取得された３次元データと付帯情報とを解析し、以下の処理で使用可能な形態に変換し、再度メモリ２に記憶する。
【００４４】
例えば、図３に、３次元データとその付帯情報とが、単一のＸＭＬファイルにより構成されている場合を示す。図３の例では、表示すべき物体である３次元形状データが４つ存在している。この３次元形状データをデータ解析部３が解析し、例えば図４に示すようなテーブルの形に変換し、メモリ２に格納する。なお、図４では、３次元形状データが各物体の３次元データであり、「ＩＤ」および「Ｆｏｃｕｓ」が３次元データの付帯情報である。そして、「Ｆｏｃｕｓ」が対象物特定情報である。
【００４５】
取得した３次元データとその付帯情報の解析が終了すると、対象物抽出部４がメモリ２に記憶されているデータ解析部３による解析結果を参照して、マーカーを表示すべき対象物を検出する（Ｓ４）。
【００４６】
例えば、図３、図４の例では、ＩＤ＝ｃａｒ１だけがＦｏｃｕｓ＝ｙｅｓとなっており、対象物抽出部４は、ｃａｒ１がマーカーを表示すべき対象物であると検出する。
【００４７】
マーカーを表示すべき対象物が検出されると、マーカー生成部５が表示すべきマーカーの形状を決定し、マーカー画像を生成する（Ｓ５）。この際、マーカー生成部５は、マーカーを表示する対象物の形状を基にマーカーの形状を決定し、例えば、対象物を内部に含む最小面積の楕円或いは、対象物の輪郭線などのマーカーを作成する。マーカーの色は、付帯情報として色の情報を別途もたせてもよいし、対象物の色を解析した結果から決定してもよい。そして、ここでは、マーカー生成部５は、マーカーの形状を決定するにあたり、表示するために２次元平面上に投影された形状を基にしている。マーカーを生成するにあたり、対象物の３次元空間中の形状を基にすると、３次元のマーカーを生成し、２次元平面上に投影することとなり処理が煩雑になるが、このように、対象物を２次元平面上に投影した後にマーカーを生成すれば、より簡単な処理によりマーカーを生成することができる。
【００４８】
マーカーが生成されると、画像生成部６が、全ての対象物、図３の例では４つの対象物から表示するための左右画像を生成し、これにマーカー生成部５により生成されたマーカーを合成する（Ｓ６）。そして、表示部７が、生成された画像を表示する（Ｓ７）。
【００４９】
図５に、表示部７に表示された３次元画像の表示例を示す。この図５では、図４でＩＤ＝ｂｕｉｌｄｉｎｇ１〜３で特定される３つのビルと、ＩＤ＝ｃａｒ１で特定される１台の自動車とが表示されている。そして、マーカーを付すべき対象物である自動車を内部に含む最小面積の楕円からなるマーカーＭが表示されている。
【００５０】
Ｓ７にて、画像表示を行った後、Ｓ１に戻る。ここで、表示する画像が静止画像であれば、Ｓ１でのデータ取得が行われないので、Ｓ２にてデータ終了と判断して、処理を終了する。一方、表示する画像が動画像であれば、Ｓ１において次のフレームの３次元データと付帯情報とが取得されるので、Ｓ２を経てＳ３に進み、Ｓ４〜Ｓ７を実施して、次のフレームの３次元画像を表示することとなる。
【００５１】
次に、図６のフローチャートを用いて、本実施の形態の３次元画像表示装置が、▲２▼或いは▲３▼の３次元データを扱うものであって、その場合に、３次元画像を表示するまでの手順を説明する。
【００５２】
まず、データ取得部１が３次元データおよびその付帯情報を取得し、メモリ２に記憶させる（Ｓ１１）。上記▲２▼の場合、３次元データは、左眼用２次元画像の画像データ及び右眼用２次元画像の画像データであり、また、▲３▼の場合は、左眼或いは右目用の何れかの２次元画像データと、各画素（各座標）における距離情報との対からなる。上記▲２▼▲３▼の場合は、付帯情報は、図７に示すように、画像データとは別のＸＭＬファイルに記述されているものとする。
【００５３】
Ｓ１２では、Ｓ１１におけるデータ取得の成否をデータ取得判定部８が判定し、データの終了判定を行う。ここで、データ取得が成功している場合にはＳ１３に進む。一方、データ取得が否、つまり、３次元データとその付帯情報とを取得できていない場合は、終了と判断する。
【００５４】
Ｓ１３では、データ解析部３が、データ取得部１により取得された付帯情報を解析する。ここで付帯情報は、例えば図７に示すように、ＸＭＬにより記述されているため、このＸＭＬファイルをパージング（構文解析）し、以下の処理で使用可能な形態に変換して再度メモリ２に記憶する。
【００５５】
付帯情報の解析が終了すると、対象物抽出部４がメモリ２に記憶されている付帯情報から、マーカーを表示すべき対象物を特定する対象物特定情報を抽出する（Ｓ１４）。例えば、図７の例では、対象物特定情報は、付帯情報に２次元画像の座標値（１２８，２５６）として与えられている。なお、この例では、２次元画像の１点を指定しているが、点列により閉曲線を指定してもよいし、矩形のパラメータや楕円のパラメータ、或いはマスク画像等の他の情報を与えてもよい。
【００５６】
マーカーを表示すべき対象物を特定する対象物特定情報を取得すると、対象物抽出部４が、マーカーを表示する対象物の領域を決定する（Ｓ１５）。ここでは、Ｓ１４において抽出された情報が、図７の例のように、１座標値の点（以下重心点）であるため、この情報を用いて対象物の領域を後述のように決定する。もしも、Ｓ１４にて抽出された対象物特定情報が閉曲線等の領域を表す情報であれば、その閉曲線を対象物領域として用いればよい。
【００５７】
対象物領域が決定すると、マーカー生成部５が表示すべきマーカーの形状を決定し、マーカー画像を生成する（Ｓ１６）。マーカーの形状は、マーカーを表示する対象物の形状により決定し、例えば、対象物領域を内部に含む最小面積の楕円或いは、対象物領域の輪郭線などである。
【００５８】
このようにして、マーカーが生成されると、画像生成部６が、表示用の左右画像にマーカー生成部５により生成されたマーカーを合成し（Ｓ１７）、表示部７が、生成された画像を表示する（Ｓ１８）。
【００５９】
なお、ここでも、Ｓ１８にて画像表示を行った後、Ｓ１１に戻り、表示する画像が静止画像であれば、Ｓ１１でのデータ取得が行われないので、Ｓ１２にてデータ終了と判断して、処理を終了する。一方、表示する画像が動画像であれば、Ｓ１１において次のフレームの３次元データと付帯情報とが取得されるので、Ｓ１２を経てＳ１３に進み、Ｓ１４〜Ｓ１８を実施して、次のフレームの３次元画像を表示することとなる。
【００６０】
ここで、図８のフローチャートを用いて、上記した図６のフローチャートにおけるＳ１５の、１座標値より対象物抽出部４における対象物領域を計算する処理を説明する。
【００６１】
まずは、対象物領域Ｒの初期値として、Ｓ１４で抽出した重心点ｇを設定する。また、初期視差として重心点ｇにおける視差Ｄ（ｇ）を設定する（Ｓ２１）。ここでＤ（ｐ）は、座標ｐにおける視差の値を与える関数とする。
【００６２】
次に、対象物領域Ｒに隣接する点の集合Ｐ＝［ｐ（ｉ）｜ｉ＝１．．ｎ］を求め、ｉ＝１、ａｐｐｅｎｄ＝ｆａｌｓｅで初期化を行う（Ｓ２２）。そして、点ｐ（ｉ）における視差と初期視差ｐａｒａｌｌａｘの差の絶対値と所定の閾値ＴＨを比較する。ここで、差の絶対値が所定の閾値以下であればＳ２４に進み、ｐ（ｉ）をＲに追加して、ａｐｐｅｎｄ＝ｔｒｕｅとする。
【００６３】
一方、Ｓ２３において偽であるか、Ｓ２４を終了後、Ｓ２５においてｉがインクリメントされ、Ｓ２６においてｉと集合Ｐの要素数ｎと比較され、ｉがｎ以下であればＳ２３に戻り、さもなければＳ２７に進む。
【００６４】
Ｓ２７では、このループにより対象物領域Ｒが更新されたか否かがａｐｐｅｎｄの値により検証され、Ｒが更新された場合には、Ｓ２２に戻り、更新されなかった場合には処理を終了し、Ｒを対象物領域とする。
【００６５】
なお、ここでは、対象物抽出の目安として視差を用いたが、距離を用いても構わないし、色の情報等の他の情報を用いることもできる。また、初期視差ｐａｒａｌｌａｘは重心点における視差をそのまま用いたが、領域Ｒが更新されるたびに平均を計算して用いることもできる。
【００６６】
以上のように、本実施の形態の３次元画像表示装置では、対象物抽出部４が、３次元データの付帯情報を基に、予め指定されている対象物を３次元データより抽出し、マーカー生成部５が抽出した対象物に鑑賞者の視点を誘導させるためのマーカーＭを生成し、画像生成部６が、生成されたマーカーＭを３次元画像に合成するようになっている。
【００６７】
したがって、表示部７に表示される３次元画像には、所定の対象物にマーカーＭが付された状態で表示されるので、鑑賞者の視点は、このマーカーＭの付された対象物に誘導されることとなり、鑑賞者が視点を各対象物に移動させるようなことが抑制され、３次元画像を鑑賞した際に鑑賞者が感じる酔い等の不快な症状を軽減することができる。
【００６８】
また、３次元データの作成側では、ぶれが発生するフレームを予め検出しておくことも、また、アイコン自体の画像データや時間軸上の位置等をデータに含めておく必要もなく、３次元画像内で鑑賞者の視点を誘導したい対象物を何らかの方法で指定しておくだけですむので、データ作成が容易である。
【００６９】
しかも、鑑賞者の視点を、３次元画像を構成する対象物そのものに誘導できるので、３次元画像とは別に付加されたアイコンに誘導させるよりも効果的に、３次元画像で本来注目させたかった情報を鑑賞者に認識させることが可能となり、データ作成側としては、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができるので、非常に有効な３次元画像の表示が可能となる。
【００７０】
そして特に、マーカー生成部５は、抽出された対象物の形状に応じた形状を有するマーカーＭを生成するので、対象物の形状に合ったマーカーＭとなるので、対象物よりもマーカーＭが目立ってしまって鑑賞者の視点がマーカーＭに注目することを効果的に回避して、より有効に鑑賞者に対象物を見せることができる。
【００７１】
〔実施の形態２〕
本発明の実施のその他の形態について図９ないし図１１に基づいて説明すれば、以下の通りである。なお、説明の便宜上、実施の形態１で用いたものと同じ機能を有する部材には同じ符号を付して説明を省略する。
【００７２】
本実施の形態に係る３次元画像表示装置は、実施の形態１の３次元画像表示装置と異なる点は、その処理手順にある。つまり、実施の形態１の３次元画像表示装置では、図２のフローチャートに示すように、Ｓ３のデータ解析部３によるデータ解析後、次のＳ４で、対象物抽出部４がマーカーを表示する対象物を抽出する処理を行っていた。
【００７３】
これに対し、本実施の形態の３次元画像表示装置では、図９のフローチャートに示すように、Ｓ３１のデータ解析部３によるデータ解析後すぐに対象物抽出部４がマーカーを表示する対象物を抽出するのではなく、Ｓ３３としてマーカー表示の対象物を追跡する処理を設けており、この追跡が成功しなかった場合のみ、Ｓ３５にて対象物抽出部４がマーカーを表示する対象物を抽出する処理を行うようになっている。
【００７４】
このように、マーカー表示対象物を追跡する処理を設けておくことで、３次元データが動画データであっても、動画データを構成する各フレームの静止画データ全てに対象物を指定しておく必要がなくなるので、データ作成が容易になる。
【００７５】
以下、図９のフローチャートを中心に、本実施の形態の３次元画像表示装置が、３次元データの動画データを扱う場合の３次元動画像を表示する手順を説明する。なお、動画データを構成する３次元データとしては、実施の形態１で説明した▲１▼〜▲３▼のうちのいずれでもよいが、ここでは、▲１▼、つまり、３次元データがＣＡＤデータのような３次元空間における形状データの集合であるものを例示して説明する。
【００７６】
まず、データ取得部１が、時刻ｔの３次元データおよび付帯情報を取得し、メモリ２に記憶し、データ解析部３が、付帯情報を解析し、以降の処理で使用可能な形式に変換し、メモリ２に記憶する（Ｓ３１）。
【００７７】
実施の形態１では詳しく説明していなかったが、３次元データが動画データである場合、３次元データには時間情報が含まれており、時間経過に伴い表示すべき内容が変化する。３次元データおよび付帯情報は、一括してメモリ２に読み込み、メモリ２上で管理してもよいし、時刻ごとに逐次読み込み、処理を行っても構わないが、ここでは、逐次読み込みながら処理を行うものを例示する。
【００７８】
図１０に、３次元データとその付帯情報とが、単一のＸＭＬファイルにより構成されている場合を示す。図１０の例でも、図３の場合と同様に、表示すべき物体である３次元形状データが４つ存在している。そして、＜ｔｉｍｅ＞タグが時間情報を表している。この３次元形状データをデータ解析部３が解析し、例えば図１１に示すようなテーブルの形に変換し、メモリ２に格納する。なお、図１１でも、図４と同様に、３次元形状データが各物体の３次元データであり、「ＩＤ」および「Ｆｏｃｕｓ」が３次元データの付帯情報である。そして、「Ｆｏｃｕｓ」が対象物特定情報である。
【００７９】
次に、データ取得判定部８にて、データ取得部１によるデータ取得の成否が判定され（Ｓ３２）、成功すればＳ３３に進み、対象物抽出部４が、時刻ｔ−１におけるマーカー表示対象物の情報を用いて、現時刻ｔにおけるマーカー表示対象物を追跡する。
【００８０】
ここでは、各対象物はＩＤを付与されているため、ＩＤにより追跡を行う。例えば、図１０の３次元データを考えると、時刻ｔ＝０でＩＤ＝ｃａｒ１がマーカー表示対象物であるため、対象物抽出部４は、時刻ｔ＝１においては、先の時刻でのマーカー表示対象物であるＩＤ＝ｃａｒ１を、時刻ｔ＝１においての対象物とする。なお、３次元データが▲２▼▲３▼の二次元データ（画像データ）の場合には、ブロックマッチング等の技術を用いてマーカー表示対象物の追跡を行う。
【００８１】
Ｓ３４では、Ｓ３３におけるマーカー表示対象物の追跡の成否が判定される。例えば、図１０の例では、時刻ｔ＝０でＩＤ＝ｃａｒ１がマーカー表示対象物として指定され、時刻ｔ＝ｎ−１まではＩＤ＝ｃａｒ１が存在しているため追跡は成功する。しかしながら、時刻ｔ＝ｎでは、ＩＤ＝ｃａｒ１が存在しないためＳ３４にける追跡は失敗となる。
【００８２】
追跡が失敗したと判定されると、メモリ２に記憶されている付帯情報から、対象物抽出部４がマーカー表示対象物を取得する（Ｓ３５）。図１０の例では、時刻ｔ＝ｎのマーカー表示対象物はＩＤ＝ｃａｒ２となる。
【００８３】
マーカーを表示すべき対象物が検出されると、マーカー生成部５が表示すべきマーカーの形状を決定し、マーカー画像を生成する（Ｓ３６）。マーカーの形状はマーカーを表示する対象物の形状により決定し、例えば、対象物を内部に含む最小面積の楕円或いは、対象物の輪郭線などである。ただし、マーカー生成部５は、マーカーの形状を決定するにあたり、表示するために２次元平面上に投影された形状を基にする。マーカーが生成されると、画像生成部６が、全ての対象物、図１０の例では４つの対象物から表示するための左右画像を生成し、これにマーカー生成部５により生成されたマーカーを合成する（Ｓ３７）。そして、表示部７が、生成された画像を表示する（Ｓ３８）。
【００８４】
Ｓ３８にて、画像表示を行った後、Ｓ３１に戻る。ここで、動画像の終端にきた場合のみ、Ｓ３１でのデータ取得が行われないので、Ｓ３２にてデータ終了と判断して、処理を終了する。一方、次のフレームがある場合は、Ｓ３１において次のフレームの３次元データと付帯情報とが取得されるので、Ｓ３２を経てＳ３３に進み、Ｓ３４〜Ｓ３８を実施して、次のフレームの３次元画像を表示することとなる。
【００８５】
このように、先の時刻に特定されたマーカー表示対象物が出現しなくなる時刻まで、当該マーカー表示対象物を追跡し、これをマーカーを表示すべき対象物として抽出することで、たとえ３次元データが動画データであっても、動画データを構成する各フレームの静止画データ、つまり各時刻の３次元データに対象物を指定しておく必要がなくなるので、データ作成が容易になる。
【００８６】
また、上記した実施の形態１，２では、マーカーを表示すべき対象物を、３次元データの付帯情報より特定する構成としていたが、３次元データから直接特定する構成でもよい。つまり、３次元データにおける最も手前に位置する物体に、常にマーカーを表示するように予め設定しておくことで、対象物抽出部は、３次元データから直接マーカーを表示すべき対象物を抽出することができる。
【００８７】
また、上記実施の形態１，２では、特に説明しなかったが、３次元画像鑑賞時の酔い方には個人差があるため、３次元画像表示装置に酔いの程度を表す個人情報を入力するなどしておき、酔い難い３次元画像に強い鑑賞者には、表示されるマーカーを薄くし、反対に酔い易い３次元画像に弱い鑑賞者には、マーカーを明確に示すといった手法をとってもよい。
【００８８】
また、上記した実施の形態１，２で説明した３次元画像の表示処理は、コンピュータ読み取り可能な記録媒体にプログラムとして記録することも可能である。例えば、コンピュータを、３次元データもしくはこれに付帯する付帯情報より予め指定された対象物を抽出する対象物抽出部（対象物抽出手段）４、該対象物抽出部４にて抽出された対象物に鑑賞者の視点を誘導させるためのマーカーを生成するマーカー生成部（マーカー生成手段）５と、該マーカー生成部５により生成されたマーカーを３次元画像に合成する画像生成部（合成手段）６として機能させる各プログラムが記録された記録媒体が考えられる。
【００８９】
本発明の目的は、このような手段をコンピュータに実現させるソフトウエアである３次元画像表示プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を、コンピュータが読み取り得るように記録媒体に記録させ、該記録媒体を、３次元画像表示装置に供給し、そのコンピュータが記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。この場合、記録媒体から読み出されたプログラムコード自体が上述した手順を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９０】
ここで、上記プログラムメディアとしての記録媒体は、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００９１】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的手段に含まれる。
【００９２】
【発明の効果】
本発明の３次元画像表示装置は、以上のように、３次元データを用いて３次元画像を表示する３次元画像表示装置において、３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出手段と、該対象物抽出手段にて抽出された対象物に鑑賞者の視点を誘導させるためのマーカーを生成するマーカー生成手段と、該マーカー生成手段により生成されたマーカーを３次元画像に合成する合成手段とを備えたことを特徴としている。
【００９３】
これにより、表示される３次元画像には、所定の対象物にマーカーが付された状態で表示されるので、鑑賞者の視点は、このマーカーの付された対象物に誘導されることとなり、鑑賞者が視点を各対象物に移動させるようなことが抑制され、鑑賞者が３次元画像を鑑賞した際に感じる酔い等の不快な症状を軽減することができる。
【００９４】
また、３次元データの作成側では、ぶれが発生するフレームを予め検出しておくことも、また、アイコン自体の画像データや時間軸上の位置等をデータに含めておく必要もなく、３次元画像内で鑑賞者の視点を誘導したい対象物を何らかの方法で指定しておくだけですむので、データ作成が容易である。
【００９５】
しかも、鑑賞者の視点を、３次元画像を構成する対象物そのものに誘導できるので、３次元画像とは別に付加されたアイコンに誘導させるよりも効果的に、３次元画像で本来注目させたかった情報を鑑賞者に認識させることが可能となり、データ作成側としては、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができるので、非常に有効な３次元画像の表示が可能となる等の効果を奏する。
【００９６】
さらに、上記した本発明の３次元画像表示装置においては、上記マーカー生成手段が、抽出された対象物の形状に応じた形状を有するマーカーを生成することを特徴とすることもできる。
【００９７】
これによれば、マーカーの形状が対象物の形状に合ったものとなるので、マーカー自体が対象物よりも目立って鑑賞者の視点がマーカーを見てしまうことを効果的に回避して、より有効に鑑賞者に対象物を見せることができるという効果を併せて奏する。
【００９８】
また、本発明の３次元画像表示装置においては、３次元データが３次元形状を表す形状データの集合体からなり、上記付帯情報に上記対象物となる形状データを特定するための情報が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記情報を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【００９９】
３次元データがＣＡＤデータのように、３次元形状を表す形状データの集合体からなる場合は、その付帯情報に対象物を特定するための情報を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができるという効果を併せて奏する。
【０１００】
また、本発明の３次元画像表示装置においては、３次元データが、視差をもつ左眼用及び右眼用の各２次元画像からなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【０１０１】
３次元データが視差をもつ左眼用及び右眼用の各２次元画像からなる場合は、その付帯情報に対象物を特定するための座標値を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができるという効果を併せて奏する。
【０１０２】
また、本発明の３次元画像表示装置においては、３次元データが、片眼用の２次元画像と該２次元画像の各座標における距離情報とからなり、上記付帯情報に上記対象物を特定するための座標値が含まれており、上記対象物抽出手段は、上記付帯情報に含まれる、対象物を特定するための上記座標値を用いて抽出すべき対象物を特定することを特徴とすることもできる。
【０１０３】
３次元データが片眼用の２次元画像と該２次元画像の各座標における距離情報とからなる場合は、その付帯情報に対象物を特定するための座標値を含めておくことで、容易に対象物を指定することができ、また、容易に対象物を抽出することができるという効果を併せて奏する。
【０１０４】
また、本発明の３次元画像表示装置においては、３次元データが、時間情報を含み時系列に沿って変化する動画データであり、上記対象物を特定するための情報は特定時刻の３次元データにおける付帯情報にのみ含まれており、上記対象物抽出手段は、特定時刻と特定時刻との間は、前の特定時刻において抽出した対象物の追跡を行うことで上記対象物を抽出することを特徴とすることもできる。
【０１０５】
上記構成では、３次元データが動画データであっても、動画データを構成する各フレームの静止画データ全てに対象物を指定する必要がなくなるので、データ作成が容易になるという効果を併せて奏する。
【０１０６】
また、本発明の３次元画像表示方法は、上記課題を解決するために、３次元データを用いて３次元画像を表示する３次元画像表示方法において、３次元データもしくはこれに付帯する付帯情報により予め指定された対象物を３次元データから抽出する対象物抽出ステップと、該対象物抽出手段にて抽出された対象物に鑑賞者の視点を誘導させるマーカーを生成するマーカー生成ステップと、該マーカー生成手段により生成されたマーカーを３次元画像に合成する合成ステップとを有することを特徴としている。
【０１０７】
３次元画像表示装置として既に説明したように、これにより、３次元画像内の所定の対象物に鑑賞者の視点を誘導することができるので、鑑賞者に生じる酔い等の不快な症状を低減することができる。しかも、予め対象物を指定しておくだけなので、データ作成は容易であり、かつ、３次元画像を構成する物体そのものに視点を誘導するので、不快な症状の軽減を図りながら、かつ、本来見せたかった情報（対象物）を効果的に見せることができるという効果を奏する。
【０１０８】
本発明の３次元画像表示プログラムは、上記した本発明の３次元画像表示装置を動作させる３次元画像表示プログラムであって、コンピュータを上記対象物抽出手段、上記マーカー生成手段、上記合成手段として機能させるものである。
【０１０９】
また、本発明のコンピュータ読み取り可能な記録媒体は、上記した本発明の３次元画像表示プログラムを記録したものである。
【０１１０】
これにより、上記３次元画像表示プログラムをコンピュータによって実行させれば、特定の３次元画像表示装置ではなく、不特定の３次元画像表示装置に対しても本発明の３次元画像表示を実現させることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の一形態を示すもので、３次元画像表示装置の機能ブロック図である。
【図２】上記３次元画像表示装置における３次元画像を表示する際の手順を示すフローチャートであり、３次元データが３次元形状データの集合からなる場合の手順を示している。
【図３】図５の表示例を表す、３次元形状データの集合からなる３次元データとその付帯情報の例を示す説明図である。
【図４】図３の３次元形状データの集合からなる３次元データとその付帯情報との解析結果を示す説明図である。
【図５】上記図３の３次元画像表示装置におけるマーカーが表示された表示例を示す説明図である。
【図６】上記３次元画像表示装置における３次元画像を表示する際の手順を示すフローチャートであり、３次元データが、視差を有する左眼用２次元画像と右眼用２次元画像、或いは片眼用の２次元画像と該２次元画像における各画素の距離情報との対からなる場合の手順を示している。
【図７】３次元データが、視差を有する左眼用２次元画像と右眼用２次元画像、或いは片眼用の２次元画像と該２次元画像における各画素の距離情報との対からなる場合の、付帯情報の例を示す説明図である。
【図８】３次元データが、視差を有する左眼用２次元画像と右眼用２次元画像、或いは片眼用の２次元画像と該２次元画像における各画素の距離情報との対からなる場合の、対象物を抽出する手順を示すフローチャートである。
【図９】本発明の実施の他の形態を示すもので、３次元画像を表示する際の手順を示すフローチャートである。
【図１０】３次元形状データの集合からなる３次元データの動画データとその付帯情報の例を示す説明図である。
【図１１】図１０の３次元形状データの集合からなる３次元データの動画データとその付帯情報との解析結果を示す説明図である。
【符号の説明】
１    データ取得部
２    メモリ
３    データ解析部
４    対象物抽出部（対象物抽出手段）
５    マーカー生成部（マーカー生成手段）
６    画像生成部（合成手段）
７    表示部
８    データ取得判定部
【図１】
2004248107.tif 000003
【図２】
2004248107.tif 000004
【図３】
2004248107.tif 000005
【図４】
2004248107.tif 000006
【図５】
2004248107.tif 000007
【図６】
2004248107.tif 000008
【図７】
2004248107.tif 000009
【図８】
2004248107.tif 000010
【図９】
2004248107.tif 000011
【図１０】
2004248107.tif 000012
【図１１】
2004248107.tif 000013