(57)【要約】【課題】３次元画像と、マーカーとの重なりを検出する手段を要さずに所望の３次元画像の手前にマーカーを表示する。【解決手段】３次元画像情報を取得する取得手段と、前記取得手段により取得された３次元画像情報に基づいて３次元画像を表示する表示手段と、操作部を介して受け付けたユーザーの指示に基づいて、前記表示手段により表示された前記３次元画像の一部を指し示すマーカー位置を指定する指定手段と、前記指定手段により指定された前記マーカー位置に対する予め定められた範囲に、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画手段と、を有することによって課題を解決する。【選択図】図５
2014128022.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像情報を取得する取得手段と、
前記取得手段により取得された３次元画像情報に基づいて３次元画像を表示する表示手段と、
操作部を介して受け付けたユーザーの指示に基づいて、前記表示手段により表示された前記３次元画像の一部を指し示すマーカー位置を指定する指定手段と、
前記指定手段により指定された前記マーカー位置に対する予め定められた範囲に、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画手段と、
を有する画像処理装置。
【請求項２】
前記指定手段は、前記ユーザーの指示に基づいて指定された視点の３次元画像において前記マーカー位置を指定する請求項１に記載の画像処理装置。
【請求項３】
ユーザーの位置を示すユーザー位置情報を取得する位置情報取得手段を更に有し、
前記指定手段は、前記位置情報取得手段により取得された前記ユーザー位置情報と、３次元表示器の表示器位置情報とに基づいて指定した視点の３次元画像の一部を指し示すマーカー位置を指定する請求項１に記載の画像処理装置
【請求項４】
前記位置情報取得手段は、撮像装置により撮像されたユーザーの画像情報に基づいて前記ユーザー位置情報を取得する請求項３に記載の画像処理装置。
【請求項５】
前記位置情報取得手段は、赤外線送受信装置によりユーザーの方向に放射された赤外線の反射の強度に基づいて前記ユーザー位置情報を取得する請求項３に記載の画像処理装置。
【請求項６】
前記位置情報取得手段は、ＧＰＳ装置が受信したユーザーのＧＰＳ情報に基づいて前記ユーザー位置情報を取得する請求項３に記載の画像処理装置。
【請求項７】
前記指定手段は、予め定められた視点の３次元画像における予め定められた位置をマーカーの初期位置に指定し、操作部を介して受け付けたユーザーの操作による前記初期位置からの移動指示に基づいて前記マーカー位置を指定する請求項１に記載の画像処理装置。
【請求項８】
前記描画手段は、前記マーカーが前記指定手段により指定された指し示すべき画像以外の画像で隠れる場合、前記マーカーの隠れる部分を識別可能に描画する請求項１乃至７何れか１項に記載の画像処理装置。
【請求項９】
前記表示手段は、パララックスバリア方式、又は、レンチキュラーレンズ方式により前記３次元画像を表示する請求項１乃至８何れか１項に記載の画像処理装置。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
３次元画像情報を取得する取得ステップと、
前記取得ステップにより取得された３次元画像情報に基づいて３次元画像を表示する表示ステップと、
操作部を介して受け付けたユーザーの指示に基づいて、前記表示ステップにより表示された前記３次元画像の一部を指し示すマーカー位置を指定する指定ステップと、
前記指定ステップにより指定された前記マーカー位置に対する予め定められた範囲に、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画ステップと、
を含む画像処理方法。
【請求項１１】
コンピュータに、
３次元画像情報を取得する取得ステップと、
前記取得ステップにより取得された３次元画像情報に基づいて３次元画像を表示する表示ステップと、
操作部を介して受け付けたユーザーの指示に基づいて、前記表示ステップにより表示された前記３次元画像の一部を指し示すマーカー位置を指定する指定ステップと、
前記指定ステップにより指定された前記マーカー位置に対する予め定められた範囲に、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
３次元画像を表示可能な３次元表示器で、３次元画像と、カーソル等のマーカーとを重ねて表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３５４５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されている技術は、３次元画像と、カーソルとの互いの奥方向の位置関係を考慮しないで表示している。そのため、特許文献１に開示されている技術は、両者の重なりを検出する検出手段によって重なりを検出した場合、３次元画像と、カーソルとの相対位置関係に応じて、何れか一方を他方より手前に表示するように描画を制御する。したがって、特許文献１に開示されている技術は、カーソル等のマーカーを所望の３次元画像の手前に表示するために、マーカーを描画する手段に加え、両者の重なりを検出する手段を必要としていた。
【課題を解決するための手段】
【０００５】
そこで、本発明の画像処理装置は、３次元画像情報を取得する取得手段と、前記取得手段により取得された３次元画像情報に基づいて３次元画像を表示する表示手段と、操作部を介して受け付けたユーザーの指示に基づいて、前記表示手段により表示された前記３次元画像の一部を指し示すマーカー位置を指定する指定手段と、前記指定手段により指定された前記マーカー位置に対する予め定められた範囲に、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、前記両者の重なりを検出する手段を要さずに、所望の３次元画像の手前にマーカーを表示することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置のハードウェア構成の一例を示す図である。
【図２Ａ】レンチキュラー多視点表示器の一例を示す図である。
【図２Ｂ】レンチキュラーレンズと、各表示画素との一例を示す図である。
【図２Ｃ】視点１から３次元表示器を見た場合に見える画素の一例を示す図である。
【図２Ｄ】視点４から３次元表示器を見た場合に見える画素の一例を示す図である。
【図３】視点と、その視点に対応する撮影画像との関係の一例を示す図である。
【図４】画像処理装置の機能構成の一例を示す図である。
【図５】実施形態１における処理の一例を示すフローチャートである。
【図６Ａ】タッチパネルの表示の一例を示す図である。
【図６Ｂ】各視点と、３次元画像表示との関係の一例を示す図である。
【図７Ａ】視点４で３次元画像として表示した左目用の画像の一例を示す図である。
【図７Ｂ】視点４で３次元画像として表示した右目用の画像の一例を示す図である。
【図８Ａ】仮想平面上における視線の交点の位置関係の一例を示す図である。
【図８Ｂ】マーカーが表示される位置の一例を示す図である。
【図９Ａ】各視点の画像中のマーカー位置にマーカーが描画された画像の一例を示す図である。
【図９Ｂ】マーカー描画部で生成された左目に与えられる画像の一例を示す図である。
【図９Ｃ】マーカー描画部で生成された右目に与えられる画像の一例を示す図である。
【図１０Ａ】仮想平面図の表示の一例を示す図である。
【図１０Ｂ】図１０Ａに対応する視点画像の一例を示す図である。
【図１０Ｃ】図１０Ａと異なる視点の仮想平面図の表示の一例を示す図である。
【図１０Ｄ】図１０Ｃに対応する視点画像の一例を示す図である。
【図１１Ａ】仮想平面図の表示の一例を示す図である。
【図１１Ｂ】図１０Ａに対応する視点画像の一例を示す図である。
【図１１Ｃ】図１０Ａと異なる視点の仮想平面図の表示の一例を示す図である。
【図１１Ｄ】図１０Ｄに示されるマーカーの隠れている部分を識別可能に表示した視点画像の一例を示す図である。
【図１２】実施形態３における処理の一例を示すフローチャートである。
【図１３】視点認識の原理の一例を示す図である。
【図１４】視点認識処理の一例を示すフローチャートである。
【図１５】実施形態４における処理の一例を示すフローチャートである。
【図１６】パララックスバリア方式の３次元表示器の表示原理の一例を示す図である。
【図１７】実施形態５におけるパララックスバリア方式を用いた場合の表示の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を説明するに先立って、以降の説明で用いる用語について説明する。
２次元画像とは、表示器で表示される、例えば人や風景等を表す２次元の画像そのものを意味する。
３次元画像とは、３次元表示器で表示される、例えば人や風景等を表す３次元の画像そのものを意味する。即ち、３次元画像は、視差を有する複数の２次元画像で構成され、例えば左目用及び右目用の２つの２次元画像が交互に配置される画像である。
２次元画像情報又は３次元画像情報とは、上記の２次元画像又は３次元画像を表示するための信号源の情報を意味する。特に３次元画像情報は、少なくとも左目用及び右目用の２次元画像情報を有する。
次に、簡単に３次元表示器について説明する。３次元表示器は、３次元画像情報として、その表示器の１つの画面中に複数の２次元画像を表す複数の２次元画像情報を同時に表示する。つまり、３次元表示器に表示される３次元画像は、少なくともユーザーの左目及び右目の各視点から見た２枚以上の複数の２次元画像情報に基づいて表示される画像である。したがって、その３次元表示器の同じ位置近傍に立体表示された３次元画像は、ユーザーの視点によって大きく異なることになる。なお、ここでいう「近傍」とは、前記３次元表示器の同じ位置から予め定められた範囲のことを意味する。以下、説明で用いる「近傍」についても同様の意味であるとする。
【０００９】
以下、本発明の実施形態について図面に基づき説明する。
【００１０】
＜実施形態１＞
図１は、本実施形態の画像処理装置のハードウェア構成の一例を示す図である。
本実施形態の画像処理装置は、一般的なパーソナルコンピュータ１（以後、ＰＣ１という）を有し、ネットワーク制御部９０、ネットワーク回線１１０を介して外部から３次元画像情報等を取得する。なお、画像処理装置は、後述の記憶装置８０等から３次元画像情報を取得するようにしてもよい。また、画像処理装置は、取得した３次元画像情報に基づいた３次元画像を立体表示するための表示器２を有する。
ＰＣ１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０で制御される。なお、ＣＰＵ１０は、ＲＯＭ６０等に格納されているプログラムを実行することにより後述の画像処理装置の機能（ソフトウェア構成）及びフローチャートに係る処理を実現する。また、ＰＣ１は、３次元画像情報や本実施形態に用いられるプログラム等を保持する記憶装置８０を有する。更に、ＰＣ１は、各種設定やプログラムを格納するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６０、一時的な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７０を有する。
【００１１】
表示器２は、３次元画像を表示する３次元表示器３０を有する。また、表示器２は、３次元表示器３０の表示面にタッチパネル４０を有する。ユーザーは、表示面に表示された３次元画像を、タッチパネル４０を介して直接タッチして操作することができる。また、ユーザーは、キーボード５０を介してＰＣ１に対する各種の入力操作をすることができる。更に、表示器２は、撮像装置２０を有する。撮像装置２０は、ユーザーの位置や動作を認識するために３次元表示器３０の近傍に設けられている。
ＣＰＵ１０は、タッチパネル４０、マウスやタッチパッド５５、キーボード５０等を介して受け付けたユーザーの操作に基づいて、表示するマーカーの位置を指定する。なお、タッチパネル４０、マウスやタッチパッド５５、キーボード５０等は、操作部の一例である。また、本実施形態における「マーカー」とは、表示された画像の一部（以後、画像オブジェクトという）を指し示すために表示する矢印、文字、数字等を入力する際に、その入力位置を指し示すために表示するポインターやカーソル等の総称である。
【００１２】
次に、表示器２について、図２Ａから図２Ｄまでを用いて詳細に説明する。
図２Ａは、３次元表示器３０として用いられるレンチキュラー多視点表示器の一例を示す図である。
図２Ａに示す３次元表示器３０は、液晶表示器３００と、液晶表示器３００の前面に備えられたレンチキュラーレンズ３０１とを有する。更に、図２Ａに示す３次元表示器３０は、レンチキュラーレンズ３０１の前面に備えられたタッチパネル４０と、画面中央部に備えられた撮像装置２０とを有する。
【００１３】
図２Ｂは、多視点の画像を表示するための各レンチキュラーレンズ３０１と、相対位置が保証された各表示画素との一例を示す図である。
図２Ｂの３次元表示器３０は、ユーザーが６方向からこの３次元表示器３０を見た場合の多視点３次元画像の表示を可能にするため、各１つのレンチキュラーレンズ内に画素３０２から画素３０３までの一続きの７つの表示画素を有する。なお、多視点３次元画像とは、後述する図３で示すように、例えば同一被写体を複数の視点から撮影して得られた複数の視点の３次元画像やコンピュータグラフィックス等で制作された３次元画像のことである。また、本実施形態の３次元表示器３０は、公知の技術で一般的に実現される表示器であり、カラー表示が可能であるが、説明を簡略化するため、単色表示が可能な表示器であるものとする。また、以後の図において、本実施形態の３次元表示器３０における表示画素の並びを１次元的に表現するものとする。なお、以降の説明で単に「視点」と述べる場合、「視点」は、３次元表示器３０の位置から見たユーザーの両目の位置のことを意味し、１つの「視点」にはユーザーの右目用の画像と、左目用の画像とが届けられる。
【００１４】
次に、ユーザーが異なる視点から３次元表示器３０を見た場合に見える画素について、図２Ｃ、図２Ｄを用いて説明する。
図２Ｃは、ユーザーが視点１から３次元表示器３０を見た場合に見える画素の一例を示す図である。
図２Ｄは、ユーザーが視点４から３次元表示器３０を見た場合に見える画素の一例を示す図である。
レンチキュラーレンズ３０１の光学特性により、視点１のユーザーの右目では画素２のみが、視点１のユーザーの左目では画素１のみが見える。また、視点４のユーザーの右目では画素５のみが、視点４のユーザーの左目では画素４のみが見える。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であるため、詳細な説明を省略する。
【００１５】
図３は、上記の６つの視点と、その視点に対応する画像を表示するために撮影する撮影画像との関係の一例を示す図である。
それぞれの視点では、ユーザーの左右の目それぞれで見た画像に相当する２つの２次元画像が撮影される。３次元表示器３０は、同一被写体を視点１から視点６まで連続的に３次元表示するため、視点Ｎ（Ｎは１から６までの何れかの整数）においてユーザーの左目に届ける画像Ｎと、視点Ｎ−１においてユーザーの右目に届ける画像とが同じとなる。３次元表示器３０は、これらの画像を示す２次元画像情報を分割して先のレンチキュラーレンズ３０１と相対位置を保った液晶表示画素で表示すれば、図３で示す視点から被写体を見た際と同じ立体像をユーザーに見せることができる。即ち、図２Ｃ、図２Ｄで示す画素１は、視点１の左側で撮影した２次元画像（画像１）を示す２次元画像情報の一部であり、画素２は、視点１の右側で撮影した２次元画像（画像２）を示す２次元画像情報の一部である。また、図２Ｃ、図２Ｄで示す画素４は、視点４の左側で撮影した２次元画像（画像４）を示す２次元画像情報の一部であり、画素５は、視点４の右側で撮影した２次元画像（画像５）を示す２次元画像情報の一部である。
【００１６】
図４は、本実施形態の画像処理装置の機能構成の一例を示す図である。
画像処理装置は、多視点３次元画像情報取得部４０１と、３次元画像表示部４０２と、画像指定部４０３と、マーカー描画部４０４とを有する。
多視点３次元画像情報取得部４０１は、ＣＰＵ１０によって制御される。多視点３次元画像情報取得部４０１は、３次元画像情報を記憶装置８０から取得したり、ネットワーク制御部９０及びネットワーク回線１１０を介して外部から取得したりする。なお、多視点３次元画像情報取得部４０１による処理は、取得処理の一例である。
３次元画像表示部４０２は、表示器２の機能に対応し、ＣＰＵ１０によって制御される。３次元画像表示部４０２は、多視点３次元画像情報取得部４０１で取得された３次元画像情報に基づいて、３次元画像を表示する。なお、３次元画像表示部４０２による処理は、表示処理の一例である。
【００１７】
画像指定部４０３は、ＣＰＵ１０によって制御される。画像指定部４０３は、タッチパネル４０、キーボード５０、マウスやタッチパッド５５及び撮像装置２０を介したユーザーの指示に基づいて、表示器２に表示された画像オブジェクトの画像情報を画像指定する。つまり、画像指定部４０３は、ユーザーによる上記の画像指定操作に基づいて、画像オブジェクトの画像情報を画像指定することになる。詳細については、図５等を用いて後述する。なお、画像指定部４０３による処理は、指定処理の一例である。
マーカー描画部４０４は、ＣＰＵ１０によって制御される。マーカー描画部４０４は、画像指定部により画像指定された３次元画像オブジェクトをより明確に表示するために、前記３次元画像オブジェクトの近傍、かつ、その手前の３次元位置にマーカーを描画する。なお、マーカー描画部４０４による処理は、描画処理の一例である。
【００１８】
図５は、３次元画像表示部４０２が多視点３次元画像を表示している状態で、ユーザーが所望する画像オブジェクトを画像指定部４０３が指定し、マーカー描画部４０４が画像オブジェクトを指し示すマーカーを描画する処理の一例を示すフローチャートである。
Ｓ５００で、３次元画像表示部４０２は、例えば撮影した３次元画像を閲覧できるアプリケーションプログラム等の実行に応じて、３次元画像を３次元表示器３０で３次元表示し、処理をＳ５０１に進める。
Ｓ５０１で、ＣＰＵ１０は、指定の視点方向から見た３次元画像を表示する指示を検知したか否かを判定し、検知したと判定した場合、処理をＳ５０２に進める。一方、ＣＰＵ１０は、検知しなかったと判定した場合、処理をＳ５０３に進める。例えば、ＣＰＵ１０は、アプリケーションプログラム中の視点指定ボタン等でユーザーが所望する視点Ｎを指定した場合、指定された視点Ｎから見た３次元画像を正面に表示する視点指定の要求があると判定して処理をＳ５０２に進める。
【００１９】
本実施形態では、画像オブジェクトをユーザーが指し示す前に、複数の視点の画像のうちでどの視点から見た画像に対してユーザーが画像オブジェクトを指し示すべきか、その視点Ｎを指定する処理が行われる。即ち、ユーザーは、多視点３次元画像のうち、指し示すべき画像オブジェクトを指し示しやすい視点Ｎの３次元画像上で指し示す。なお、画像指定部４０３は、複数の視点の画像のうち、ユーザーにより指定された視点の３次元画像を指定する。
Ｓ５０２で、画像指定部４０３は、３次元画像表示部４０２により表示された多視点３次元画像から、ユーザーにより指定された視点の３次元画像を指定して表示し、処理をＳ５０３に進める。Ｓ５０２の処理について、図６Ａ、図６Ｂを用いてより具体的に説明する。
【００２０】
図６Ａは、タッチパネル４０の表示の一例を示す図である。
図６Ｂは、各視点と、３次元画像表示との関係の一例を示す図である。
３次元画像表示部４０２は、タッチパネル４０に表示される視点選択ボタン６０１のスクロールによる視点の選択に応じて、前述の６視点から成る多視点３次元画像の各視点から見た３次元画像を順次、３次元表示器３０の正面に表示させる。なお、３次元表示するための３次元画像情報は、既定の規格に合致しているものとする。３次元画像表示部４０２は、多視点３次元画像情報取得部４０１で取得され、記憶装置８０やＲＡＭ７０に格納された３次元画像情報の中から、必要に応じて３次元表示器３０が有する表示用記憶素子に各視点の３次元画像情報を選択的に供給して表示を行う。
そして、画像指定部４０３は、３次元画像表示部４０２により表示された多視点３次元画像から、ユーザーにより指定された視点の３次元画像を指定する。
【００２１】
以下、ユーザーが多視点３次元画像から所望する視点を選択する手順について説明する。
３次元表示器３０のタッチパネル４０の中央部の表示領域６００に表示される情報は、ユーザーの操作により、図２で説明した多視点３次元画像を表示するための３次元画像情報から指定の視点の３次元画像のみを表示する３次元画像情報に切り替えられる。即ち、３次元画像表示部４０２は、３次元表示器３０を正面から見た場合のみユーザーが任意の視点の３次元画像を見ることができるように、各視点から見た３次元画像を表示領域６００に順次、表示するように表示制御する。より具体的には、ユーザーは、画面下部に表示された視点選択ボタン６０１をタッチパネル４０の操作によりスクロールすることで表示領域６００に表示される表示画像を切り替えることができる。例えばユーザーは、視点選択ボタン６０１をタッチパネル４０の操作で矢印方向にスクロールすれば、視点選択ボタン６０１の位置に応じて表示画像を視点６、視点５、視点４、視点３、視点２、視点１の順に各視点から見た３次元画像に切り替えることができる。
なお、ユーザーが視点選択ボタン６０１を操作しなければ、Ｓ５０１で視点指定が無いと判定され、３次元画像表示部４０２は、表示領域６００に多視点３次元画像を表示したまま、処理をＳ５０３に進める。
【００２２】
多視点３次元画像は、１つのレンチキュラーレンズ内にある各視点から見た３次元画像である。３次元画像表示部４０２は、多視点３次元画像を表示するために、多視点３次元画像を構成する全ての２次元画像情報を含む３次元画像情報６０３を表示する。しかし、３次元画像表示部４０２は、処理がＳ５０２に移行すると、視点選択ボタン６０１の位置に応じて、例えば視点４用の３次元画像情報６０４が示す３次元画像を表示領域６００に表示する。ここで、視点４用の３次元画像情報６０４は、ユーザーが３次元表示器３０の正面から見た場合に視点４の３次元画像が表示されるための情報に変更されている。即ち、３次元画像表示部４０２は、レンチキュラーレンズの中央部の画素位置に視点４の左目用２次元画像情報４及び右目用２次元画像情報５を表示し、他の画素位置を黒データに固定する。これにより、ユーザーは、３次元表示器３０を正面から見れば視点４の３次元画像が見え、それ以外の角度からは何も見えなくなる。つまり、Ｓ５０２で、画像指定部４０３は、多視点３次元画像を示す３次元画像情報の一部を書き換えて、指定の視点の３次元画像のみを示す３次元画像情報に変更（又は生成）する処理を行っている。
【００２３】
図５のフローチャートは一般化されているため、本実施形態では視点を４に指定した場合について説明する。つまり、図中のＮを４と読み替えて以降の説明をする。
画像指定部４０３は、視点選択ボタン６０１をユーザーが矢印方向に移動させた場合、その位置に応じて、表示する３次元画像情報を、視点４の３次元画像を表示する３次元画像情報６０４から他の視点における３次元画像情報に変更する。これにより、３次元画像表示部４０２は、視点選択ボタン６０１で指示された視点から見た３次元画像を順次表示することができる。また、指定された視点の３次元画像以外の３次元画像については表示されない処理（無効化処理）が施されているので、ユーザーが３次元表示器３０を異なる角度で見ることによって所望する画像と異なる画像が選択されることを防止することができる。ユーザーは、この視点選択ボタン６０１をスクロールして、所望の視点からの３次元画像が表示された状態にした上で、表示された３次元画像の中で、更に画像指定するべき画像オブジェクトをタッチパネル４０で指し示す。即ち、ユーザーは、タッチパネル４０を介して画像オブジェクトを指定するための入力操作（以後、画像指定入力という）を行う。
【００２４】
Ｓ５０３で、画像指定部４０３は、ユーザーによる画像指定入力を検知した場合、処理をＳ５０４に進める。一方、画像指定部４０３は、ユーザーによる画像指定入力を検知しなかった場合、処理をＳ５００に戻す。
Ｓ５０４、Ｓ５０５の処理は、ユーザーによって指示された画像オブジェクトを画像指定部４０３が認識する処理である。
視点４で表示される３次元画像中でユーザーが指し示した画像オブジェクトを画像指定部４０３が認識する処理を、図７Ａ、図７Ｂを用いて説明する。
図７Ａは、視点４で３次元画像として表示した左目用の画像４の一例を示す図である。
図７Ｂは、視点４で３次元画像として表示した右目用の画像５の一例を示す図である。
なお、両画像中には視差に応じて異なる矩形の被写体が表示されている。
図７Ａの左目用画像４中の矩形の被写体の中央部Ｑ４の位置（Ｘ４、Ｙ４）は、Ｓ５０３でユーザーがタッチパネル４０で指定した画像オブジェクトを指し示した位置である。
本実施形態では、ユーザーが指し示した位置はどの視点においても、その左目用の２次元画像上で確定させる。例えば視点Ｎであれば画像Ｎ上の位置である。
【００２５】
図３で説明したように、各画像１から７までは、画像４を正面にし、それぞれ被写体に既定の角度を有して撮影されている。したがって、仮想平面図７００中の被写体の座標位置は、図７Ａの左目画像４における被写体の点Ｐ１、Ｐ２、Ｐ３を、左目の視線Ｌ４１、Ｌ４２、Ｌ４３の方向に沿って仮想平面図７００に射影すれば得ることができる。この被写体の点Ｐ１からＰ３までをオブジェクトの変化点と呼ぶ。同様に、図７Ｂの右目用画像５における被写体の点Ｐ１、Ｐ２、Ｐ３を、既定の角度を有した右目の視線Ｌ５１、Ｌ５２、Ｌ５３の方向に沿って仮想平面図７００に射影する。そして、これら点Ｐ１からＰ３までを通る視線Ｌ４１からＬ４３までのそれぞれがＬ５１からＬ５３までと仮想平面図７００上で交差する位置が、仮想平面図７００中の被写体の点Ｐ１からＰ３までの奥行きに対応する座標位置である。
なお、画像指定部４０３が仮想平面図７００における被写体の点Ｐ１、Ｐ２、Ｐ３の奥行きに対応する座標位置を求める処理が画像オブジェクトを認識する処理であり、図５に示すＳ５０４の処理である。
【００２６】
Ｓ５０４で、画像指定部４０３は、画像４からの視線Ｌ４１と、画像５からの視線Ｌ５１との交点Ｐ１と、画像４からの視線Ｌ４２と、画像５からの視線Ｌ５２との交点Ｐ２と、画像４からの視線Ｌ４３と、画像５からの視線Ｌ５３との交点Ｐ３とを求めた。この交点Ｐ１からＰ３までの位置関係を図８Ａ、図８Ｂの仮想平面図７００に示す。
図８Ａは、各画像からの視線の交点の仮想平面上における位置関係の一例を示す図である。
この各交点Ｐ１、Ｐ２、Ｐ３を仮想平面図７００上で結べば、ユーザーが指し示した画像オブジェクト全体の奥行きに対応する座標位置を含む３次元の座標位置（３次元位置）を得ることができる。この様子を図８Ｂに示す。
図８Ｂは、マーカーが表示される位置の一例を示す図である。
画像指定部４０３が、このオブジェクト全体の奥行きに対応する座標位置を含む３次元位置を求める処理が、図５におけるＳ５０５の処理である。
なお、本実施形態では、両画像中の被写体の形状の変化点Ｐ１からＰ３までから得られる視線の交点から画像オブジェクトの３次元位置を求めたが、これに限る必要はない。例えば変化点は３次元的なものでなく、両画像中の被写体で対として認識できる画像の濃淡の変化等の模様であってもよい。
【００２７】
ここで、図８Ｂにおいて、ユーザーが指し示した箇所は、画像４の指定ポイントＱ４からの視線Ｌ４０が仮想平面上のＰ１と、Ｐ２とを結ぶ被写体の面と交わる位置Ｑである。この位置Ｑを画像オブジェクトの奥行きを考慮して３次元的に指し示すマーカーを、本実施形態では画像４上で上向きに正立する、矢印形状のマーカー８００とする。
マーカー描画部４０４は、仮想平面図７００上でマーカー８００を指定された画像オブジェクト中の指し示した箇所である位置Ｑから奥行き方向で所定の距離内の位置（近傍位置Ｍ）にマーカーを表示できるように設定する。マーカー描画部４０４が、このマーカー８００の表示位置を近傍位置Ｍに設定する処理が、図５に示すＳ５０６の処理である。
次に、Ｓ５０７で、マーカー描画部４０４は、マーカー８００を３次元表示するために画像５中に描画する位置を決定する。マーカー描画部４０４は、指定された視点が視点Ｎである場合、画像Ｎ＋１上のマーカーの描画位置を決定する。Ｓ５０７の処理について、図８Ｂを用いて説明する。
マーカー描画部４０４は、Ｓ５０６で設定した仮想平面図７００のマーカー８００の表示位置となる位置Ｍから、画像５に向けた視線Ｌ５０と、画像５中の直線Ｙ＝Ｙ４との交点（Ｘ５、Ｙ４）に、画像５上のマーカー８００の描画位置Ｑ５を決定する。なお、画像５に向けた視線Ｌ５０が他のオブジェクトで遮られた場合、視線Ｌ５０と、直線Ｙ＝Ｙ４との交点は無いため、描画位置Ｑ５は存在しないことになる。
【００２８】
次に、マーカーの描画処理、即ち、Ｓ５０８の処理について、図９Ａ、図９Ｂ、図９Ｃを用いて説明する。
図９Ａは、各視点の画像中のマーカー位置にマーカーが描画された一例を示す図である。
図９Ｂは、マーカー描画部４０４により生成された左目に与えられる画像の一例を示す図である。
図９Ｃは、マーカー描画部４０４により生成された右目に与えられる画像の一例を示す図である。
マーカー描画部４０４は、図９Ａに示すように、先に説明した視点４の左目用２次元画像中のマーカー位置Ｑ４（Ｘ４、Ｙ４）及び視点４の右目用２次元画像中のマーカー位置Ｑ５（Ｘ５、Ｙ４）に、矢印形状のマーカーを被写体に重ねて描画する。つまり、マーカー描画部４０４は、左目に与えられる画像４及び右目に与えられる画像５を、図９Ｂ、図９Ｃのように生成する。なお、マーカー描画部４０４は、ＲＯＭ６０等に予め格納されている矢印形状のマーカー８００を含むマーカー描画パーツから任意のパーツを選択してマーカーの描画をすることができる。
【００２９】
画像４中に描画したマーカー９０１と、画像５中に描画したマーカー９０２とは、被写体に対する視点の角度の違いからその幅が異なるが、これらの違いは各視点に応じて予めマーカー描画データとしてＲＯＭ６０に記憶保持されている。したがって、マーカー描画部４０４は、各視点画像用のマーカー描画データをＲＯＭ６０等から読み出して描画すれば、高速に描画することができる。
ユーザーは、画像４及び画像５の被写体に重ねて描画したマーカー９０１及び９０２を、それぞれ左右の目で見れば、仮想平面図７００に示すように、３次元表示における奥行き方向で、被写体の手前の近傍位置にマーカー８００が立体的に見える。
【００３０】
以上、Ｓ５０８では視点４の３次元画像中の画像指定された画像オブジェクトを指し示すマーカー８００を３次元描画して３次元表示したが、先に説明したように、画像５は視点５の左目用２次元画像である。したがって、図７Ａ、図７Ｂを用いて説明した一連の処理と同様に、画像指定部４０３は、画像５の２次元画像と、画像６の２次元画像とを用いて仮想平面図７００上に被写体及びマーカー８００を認識すれば、画像６上にマーカー位置Ｑ６を得ることができる。即ち、図５におけるＳ５０５からＳ５０８までの処理を全ての視点に対して順次繰り返せば、マーカー描画部４０４は、多視点３次元画像として画像オブジェクトを指し示すマーカー８００を描画することができる。
処理をＳ５０８からＳ５００に戻せば、今描画したマーカー８００は、視点Ｎから３次元画像として見ることができる。なお、この状態でユーザーが更に画像指定位置を移動させれば、その移動に応じて先の処理が繰り返し実行される。そのため、マーカー８００は、ユーザーが指し示す画像オブジェクトの３次元位置に応じてその近傍を３次元的に変えながら移動して表示されることになる。
【００３１】
図１０Ａは、仮想平面図の表示の一例を示す図である。
図１０Ｂは、図１０Ａに対応する視点画像の一例を示す図である。なお、図１０Ｂの１００１は、３個の被写体それぞれを正面から見て指し示した例で、それぞれマーカーは１００６、１００７、１００８として３次元表示されている。
図１０Ｃは、図１０Ａと異なる視点の仮想平面図の表示の一例を示す図である。
図１０Ｄは、図１０Ｃに対応する視点画像の一例を示す図である。
図１０Ａの１００２の視点からはマーカー１００６として指し示した画像オブジェクトは、被写体１００５の影に隠れてほとんど見ることができない。したがって、その近傍に表示されたマーカー１００６は、この視点からは図示するように、ほとんど見ることができない。これは本実施形態によるマーカーの描画が指し示された画像オブジェクトをより正確に指し示していることを意味する。
【００３２】
なお、本実施形態は、画像指定された画像オブジェクトを指し示すマーカーの描画方法を特徴とする。そのため、本実施形態は、指し示した画像オブジェクトをその後、特定の目的のために確定させる操作、指し示した機能表示タブを有効にする操作、その操作に従う後続の処理等に関して、公知の技術の適用を妨げるものではない。つまり、２次元表示器を用いた従来のコンピュータシステムでプレゼンテーションのために広く使われている図面を作成するためのアプリケーションソフト等と同様の操作をすることができる。例えば、３次元表示された特定の画像オブジェクトのみを削除したり、より手前に配置したり、拡大処理したり、新たな既定形状の画像オブジェクトを所望する位置に挿入したりする操作等があげられる。
【００３３】
以上、本実施形態によれば、３次元画像表示部４０２は、多視点３次元画像情報取得部４０１が取得した多視点３次元画像情報に基づいて多視点３次元画像を表示する。そして、画像指定部４０３は、３次元画像表示部４０２により表示された多視点３次元画像から、ユーザーの指示に基づいて画像オブジェクトを指定する。更に、マーカー描画部４０４は、画像指定部４０３により指定された画像オブジェクトの近傍に、常に前記画像オブジェクトの手前に表示されるようにマーカーを描画する。これにより、本実施形態の画像処理装置は、前記画像オブジェクトと、マーカーとの重なりを検出する手段を要さずに、所望の３次元画像の手前にマーカーを表示することができる。
【００３４】
＜実施形態２＞
次に、マーカーが他の被写体で隠れている場合において、マーカーを別形態で描画する場合の実施形態について説明する。
図１１Ａから図１１Ｄまでは、図１０Ａから図１０Ｄまでで説明したように、ユーザーが指し示した視点と異なる視点で画像オブジェクト及びマーカーを見た際に、マーカーが他の被写体の後ろに隠れる場合におけるマーカーの別描画形態の一例を示す図である。
図１１Ａは、図１０Ａと同図である。
図１１Ｂは、図１０Ｂと同図である。
図１１Ｃは、図１０Ｃと同図である。
図１１Ｄは、図１０Ｄに示されるマーカー１００６の隠れている部分を識別可能に表示した視点画像の一例を示す図である。より具体的には、ほとんど被写体１００５に隠れているマーカー１１０１において、隠れた部分のみが色を変えて描画されている。
【００３５】
本来、図１１Ｃの仮想平面図１００４のマーカー１００６から図１１Ｄの視点画像１００３への視線Ｌ１１０は、オブジェクト１００５で遮られるため、視点画像１００３上までは届かない。そのため、マーカー描画部４０４は、マーカー１１０１を視点画像１００３上に描くことはできないが、本実施形態ではマーカーから各視点画像上への視線が他のオブジェクトで遮られていても、遮られる部分を識別可能なマーカー１１０１として描画する。即ち、マーカー描画部４０４は、視線Ｌ１１０及び視線Ｌ１１１を用いて、その一部が他のオブジェクトで遮られる部分を識別できるように、マーカー１１０１を描画する。なお、マーカー描画部４０４によるマーカー描画方法は、マーカー１１０１のように隠れた部分の色を変更して描画する方法に限る必要はない。例えば、マーカー描画部４０４は、隠れたマーカー部分の輪郭のみを実線表示し、その中は被写体１００５を透過して表示するようにしてもよい。
実施形態１では、マーカーが他の被写体に全て隠れた場合、ユーザーは、その視点から画像指定した画像オブジェクトを判別することができない。しかし、本実施形態によれば、マーカー描画部４０４が隠れた部分のマーカーを識別可能に描画することで、ユーザーは、隠れた画像オブジェクトの位置を推定することができるようになる。
【００３６】
＜実施形態３＞
実施形態１では、画像指定部４０３の実施形態として、ユーザーがタッチパネル４０で画像オブジェクトをタッチして画像指定する前に、画像指定しやすい視点の３次元画像を選択させる実施形態について説明した。本実施形態では、画像指定部４０３が上記のような操作によらずユーザーの所望する画像オブジェクトを直接指し示せる実施形態について説明する。
本実施形態では、画像指定部４０３は、表示器３０を操作観測しているユーザーを、撮像装置２０を制御して撮影する。その後、画像指定部４０３は、撮影した画像からユーザーの表示器３０に対する位置を認識して、ユーザーの表示器３０に対する視点を認識する。そして、画像指定部４０３は、この認識したユーザーの視点と、タッチパネル４０のタッチ位置とによって画像指定された画像オブジェクトを確定する。なお、ユーザーの表示器３０に対する位置情報は、ユーザー位置情報の一例である。また、表示器３０の位置情報は、表示器位置情報の一例である。
【００３７】
図１２は、本実施形態における処理の一例を示すフローチャートである。
なお、図５で前述した処理と同じ処理については、同じ番号で記述している。また、図５で前述した処理と同じ処理については、説明を省略する。
Ｓ５１０で、画像指定部４０３は、ユーザーの視点を認識する。Ｓ５１０の処理の詳細について、図１３、図１４を用いて詳述する。
図１３は、視点認識の原理の一例を示す図である。
図１４は、Ｓ５１０の視点認識処理の一例を示すフローチャートである。
Ｓ１３１１で、画像指定部４０３は、撮像装置２０を制御して表示器３０の中央に設置された撮像装置２０で正面を撮影し、図１３の撮影画像１２００に示す画像データを得る。そして、画像指定部４０３は、この撮影画像１２００を示す画像データをＲＡＭ７０に一時記憶させ、処理をＳ１３１２に進める。
Ｓ１３１２で、画像指定部４０３は、公知のパターンマッチング顔認識技術でユーザーの顔の位置を指定する。画像指定部４０３は、公知のパターンマッチング顔認識技術でユーザーの顔の位置を指定する。画像指定部４０３は、一般的に、人の顔認識は横に並ぶ１対の目の存在に着目して容易にその重心位置を認識することができる。
【００３８】
認識したユーザーの顔の位置からユーザーの視点を指定する原理について、図１３を用いて説明する。
一般的に、両目の視差を利用した３次元表示器では、観察者が表示器から所定の距離Ｌｍ離れた位置で最も立体画像を良好に見ることができる。即ち、撮影されたユーザーは、表示器３０から、距離Ｌｍ離れた位置で撮影されたと推定することができる。したがって、画像指定部４０３は、得られた撮影画像のユーザーの両目の間隔Ｌｉが標準的に８ｃｍだと想定して、ユーザーの位置の表示器中央からのズレＬｏを求めることができる。また、図１３において、表示器３０の前Ｌｍの位置に示す仮想のライン１２０１上のユーザーの位置、即ち点Ｐから表示器３０の中央を目指す方向がユーザーの視点といえる。
画像指定部４０３は、ユーザーが多視点３次元表示器３０を点Ｐの位置から見た場合、予め撮影され、表示されたどの視点の３次元画像が最も良好に見えるかを判定することでユーザーが見ている視点の画像を特定することができる。即ち、表示器中央からのズレＬｏが正の値なら、視点１か、視点２か、視点３の何れかであり、表示器中央からのズレＬｏが負の値なら、視点６か、視点５か、視点４の何れかかである。
【００３９】
画像指定部４０３は、図１３に示されるような推定されたユーザーの位置Ｐと、それぞれ表示されている３次元画像の視線が仮想のライン１２０１と交わる位置とを比較して、ユーザーの位置Ｐに近い視線を求める。これにより、画像指定部４０３は、その視点に対応する画像がユーザーの所望する３次元画像であると判定することができる。なお、距離Ｌ１は、視点３と、視点２とを識別する閾値であり、Ｌ２は、視点２と、視点１とを識別する閾値である。また、距離−Ｌ１は、視点４と、視点５とを識別する閾値であり、−Ｌ２は、視点５と、視点６とを識別する閾値である。これらは、それぞれ仮想のライン１２０１と、両視線とが交わる中間点の表示器３０の中央からの距離とすることができる。
【００４０】
図１４に戻って説明を続ける。
Ｓ１３１３で、画像指定部４０３は、上述した通りにユーザーの位置の表示器中央からのズレＬｏを求めて、処理をＳ１３１４に進める。
Ｓ１３１４で、画像指定部４０３は、Ｌｏの符号を判定する。画像指定部４０３は、符号が正であると判定した場合、処理をＳ１３１５に進め、符号が負であると判定した場合、処理をＳ１３２０に進める。
Ｓ１３１５で、画像指定部４０３は、Ｌｏ＞Ｌ２であると判定した場合、処理をＳ１３１９に進め、ユーザーの視点を視点１に指定する。一方、Ｓ１３１５で、画像指定部４０３は、Ｌｏ＞Ｌ２でなないと判定した場合、処理をＳ１３１６に進める。
Ｓ１３１６で、画像指定部４０３は、Ｌｏ＞Ｌ１であると判定した場合、処理をＳ１３１８に進め、ユーザーの視点を視点２に指定する。一方、Ｓ１３１６で、画像指定部４０３は、Ｌｏ＞Ｌ１でないと判定した場合、処理をＳ１３１７に進め、ユーザーの視点を３に指定する。
【００４１】
Ｓ１３２０で、画像指定部４０３は、Ｌｏ＜−Ｌ２であると判定した場合、処理をＳ１３２４に進め、ユーザーの視点を視点６に指定する。一方、Ｓ１３２０で、画像指定部４０３は、Ｌｏ＜−Ｌ２でないと判定した場合、処理をＳ１３２１に進める。
Ｓ１３２１で、画像指定部４０３は、Ｌｏ＜−Ｌ１であると判定した場合、処理をＳ１３２３に進め、ユーザーの視点を視点４に指定する。一方、Ｓ１３２１で、画像指定部４０３は、Ｌｏ＜−Ｌ１でないと判定した場合、処理をＳ１３２２に進め、ユーザーの視点を視点５に指定する。なお、図１３で示す撮影画像１２００の例では、画像指定部４０３は、ユーザーの視点を視点２として指定する。
以上の処理により、図１２のＳ５１０の視点認識処理で、画像指定部４０３は、ユーザーが見ている３次元画像を視点２の３次元画像であると認識する。その後、画像指定部４０３は、Ｓ５０５で設定が左目用の２次元画像であれば、視点２の左目用画像を使って実施形態１で説明した場合と同様に、Ｎを２として以降の処理を行う。
【００４２】
以上、本実施形態によれば、実施形態１で説明した多視点３次元画像から視点を指定するためのユーザーの操作が不要となるため、操作性及び制御性においてより有利となる。
なお、図１２のＳ５００からＳ５０８までの一連の処理が多視点３次元画像に対しても繰り返し実行されれば、ユーザーは、より的確に画像オブジェクトを指し示すことができる。より具体的には、ユーザーは、表示される３次元画像をどの視点からでも３次元表示されるマーカーを見ながらタッチパネル４０等を操作してより的確に画像オブジェクトを指し示すことができる。
なお、本実施形態では、ユーザーの視点を識別するために、表示器２が有する撮像装置２０を用いたが、例えば表示器２が２組の撮像装置２０を有する場合、画像指定部４０３は、ユーザーまでの距離をより正確に識別することができる。そのため、画像指定部４０３は、より精度良くユーザーの視点を指定することができるようになる。また、ユーザーの視点を認識するための方法は、撮像装置を用いた上述の方法に限る必要はない。例えば、表示器２が２組の赤外線送受信装置を有し、表示器２からそれぞれユーザー方向に無指向性で赤外線を放射し、その反射光の強度からユーザーの位置を検出して視点を認識する方法を用いてもよい。また、ユーザーの視点を直接認識する方法や、表示器の位置と、ユーザーが発信するＧＰＳ等の位置情報（ＧＰＳ情報）との関係からユーザーの位置を検出して、視点を認識する方法等を用いるようにしてもよい。なお、上記の方法等により、ユーザーの位置情報を取得する処理は、位置情報取得処理の一例である。
【００４３】
＜実施形態４＞
実施形態１では、画像指定部４０３の実施形態として、多視点３次元画像の中から画像オブジェクトを画像指定しやすい視点を図６Ａの視点選択ボタン６０１で指定する実施形態について説明した。本実施形態では、画像オブジェクトの３次元位置近傍にマーカーを表示して指し示すため、初期的に適当な既定の画像オブジェクトを差し示せば、以降はそのマーカーを移動させればユーザーが望む画像オブジェクトを指し示すことができる。これにより、実施形態１で説明したユーザーの視点選択操作が不要になる。以下、本実施形態について詳述する。
【００４４】
図１５は、本実施形態における３次元画像上の指定オブジェクト近傍に３次元マーカーを描画する処理の一例を示すフローチャートである。
なお、図５で前述した処理と同じ処理については、同じ番号で記述している。また、図５で前述した処理と同じ処理については、説明を省略する。
Ｓ５１１で、画像指定部４０３は、画像オブジェクトを指定するための視点を予め決められた視点に初期設定する。ここでは、画像指定部４０３は、視点を、ユーザーの正面からの視点４に初期設定するものとする。更に、画像指定部４０３は、マーカーの位置を予め決められた位置（初期位置）に初期設定する。ここでは、画像指定部４０３は、マーカーの位置を画像４の画面の中央の位置に初期設定するものとする。なお、ユーザーは、既定の視点及びマーカー位置を予めＲＯＭ６０等に登録しておくことができる。
【００４５】
Ｓ５１２で、画像指定部４０３は、Ｓ５００で多視点３次元表示した画像に対して、マウスやキーボード等の矢印キー或いはマウスパッド等の操作で、Ｓ５１１で初期設定したマーカー位置からの移動を含めてマーカー位置を検知する。なお、マウス等の操作部を介して受け付けたユーザーによる初期設定したマーカー位置からの移動操作は、ユーザーによる移動指示の一例である。
ここで、ユーザーの操作がなければ、視点４の画像４の中央の画像オブジェクトが、ユーザーが画像指定する画像オブジェクトになる。なお、前述したＳ５０４からＳ５０８までの一連のマーカー描画部４０４の処理により、再びＳ５００で３次元表示される画像中のマーカーは、視点４の中央部に見える画像オブジェクトを指し示している。したがって、もしこのマーカーが指し示す画像オブジェクトが所望するオブジェクトでなければ、ユーザーは、マウス等の操作でマーカーを移動させれば、画像指定部４０３がその移動を検知して、所望する画像オブジェクトを画像指定することができる。
【００４６】
以上、本実施形態によれば、ユーザーが視点を指定する操作や視点を認識する手段を用いることなく、所望する画像オブジェクトをマーカーで指し示すことが可能となるため、操作性及び制御性においてより有利となる。
【００４７】
＜実施形態５＞
実施形態１から実施形態４までは、視差分割方式としてレンチキュラーレンズ方式を用いた多視点３次元表示器を用いた場合の実施形態について説明した。しかしながら、３次元表示器３０は、レンチキュラーレンズを用いるものに限定されることなく他の３次元表示器を用いることも可能である。本実施形態では、パララックスバリア方式の３次元表示器を用いた場合の実施形態について説明する。
図１６は、本実施形態で用いるパララックスバリア方式の３次元表示器の表示原理の一例を示す図である。
例えば図１６に示すパララックスバリア方式の表示器３０は、表示画面の手前に左右の目から見た視線上に互いに他方の目用の表示画素からの光を遮るための光学的なバリア１６０を有する。これにより、図１６に示すように、右目に対しては左目用画素がパララックスバリア１６０で光路遮光され、逆に左目に対しては右目用画素がパララックスバリア１６０で光路遮光される。その結果、右目と、左目とには、両目の視点で撮影された異なる視点の画像が見えるため、立体表示がなされる。
【００４８】
図１７を用いて、パララックスバリア方式の３次元表示器を使った実施形態について詳述する。
図１７は、パララックスバリア方式を用いた場合の表示の一例を示す図である。
図１７の液晶表示器３００は、それぞれ右目用表示画素１７０と、左目用表示画素１７１とを隣接対として有している。３次元表示器３０は、視点１から見た３次元画像を表示する場合、３次元画像情報１７２として、右目用画素位置に図３に示す画像２の２次元画像情報を、左目用画素位置に画像１の２次元画像情報を、それぞれ短冊状に分解して表示する。
ここで、多視点画像として図１７に示すように各視点の３次元画像情報を有する場合、画像指定部４０３は、先のレンチキュラーレンズ方式の場合と同様に、順次表示する３次元画像情報を切り替えて表示する。これにより、ユーザーは、所望する視点の画像を指定することができる。また、タッチ画像を指定する際に用いる２次元画像情報も、先の実施形態と同様に予め設定されたどちらかの目用の２次元画像情報を用いればよい。画像指定部４０３は、用いる３次元表示器の原理に応じて表示する２次元画像情報又は３次元画像情報を選択して３次元表示器で表示することができる。即ち、図５、図６Ａ、図６Ｂで説明した、視点を選択する際の各視点の３次元画像情報については、各視点用の３次元画像情報を直接用いればよい。
【００４９】
以上、本実施形態におけるパララックスバリア方式の３次元表示器を用いた３次元表示器を用いれば、レンチキュラーレンズ方式を用いた場合よりも、より画素密度の高い表示が可能となり、より正確に画像を指定することができる。
【００５０】
＜その他の実施形態＞
先の実施形態では、多視点３次元表示している画像オブジェクトに対する画像指定を、タッチパネル４０を用いて指定する場合の実施形態について説明した。だが、タッチパネル４０を用いて指定する形態に限る必要はなく、ユーザーは、マウスやタッチパッド５５或いはキーボード５０の複数のキーを用いても画面に表示した画像オブジェクトを指し示し、マーカー表示するようにしてもよい。なお、その場合、画像指定部４０３は、従来の公知の技術として開示されている通り、表示されているマーカーの位置に対する変化量が入力されたとして、その変化量に応じてマーカー位置を移動させることができる。また、画像指定した画像オブジェクトに対する一般的な制御や指示も同様に可能である。したがって、これらの入力手段を用いても同様に本実施形態の効果を得ることができる。
【００５１】
また、先の実施形態では、画像指定部４０３は、視点４の左右の目用の画像４と、画像５とから仮想平面図を作成した。しかし、画像指定部４０３は、画像が多視点３次元画像の場合、隣り合う２種の画像に限定されず、より離れた角度の他の画像、例えば画像４と、画像７とから仮想平面図を作成してもよい。これにより、画像指定部４０３は、指し示す画像オブジェクトに限らず、周辺の他の画像オブジェクトを含む、より広い範囲の画像に対して仮想平面図を作成することができる。
なお、先の実施形態では、多視点３次元画像として７方向からカメラで撮影した被写体の一部を画像オブジェクトとして説明したが、コンピュータグラフィックス等で作成された多視点３次元画像であっても同様に実施することができる。また、画像オブジェクトが３次元空間に表示された機能タブやアイコンを含むようにしてもよい。
【００５２】
また、本実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５３】
以上、上述した各実施形態によれば、３次元画像と、マーカーとの重なりを検出する手段を要さずに、所望の３次元画像の手前に常にマーカーを表示することができる。
【００５４】
以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図１】
2014128022.tif 000003
【図２Ａ】
2014128022.tif 000004
【図２Ｂ】
2014128022.tif 000005
【図２Ｃ】
2014128022.tif 000006
【図２Ｄ】
2014128022.tif 000007
【図３】
2014128022.tif 000008
【図４】
2014128022.tif 000009
【図５】
2014128022.tif 000010
【図６Ａ】
2014128022.tif 000011
【図６Ｂ】
2014128022.tif 000012
【図７Ａ】
2014128022.tif 000013
【図７Ｂ】
2014128022.tif 000014
【図８Ａ】
2014128022.tif 000015
【図８Ｂ】
2014128022.tif 000016
【図９Ａ】
2014128022.tif 000017
【図９Ｂ】
2014128022.tif 000018
【図９Ｃ】
2014128022.tif 000019
【図１０Ａ】
2014128022.tif 000020
【図１０Ｂ】
2014128022.tif 000021
【図１０Ｃ】
2014128022.tif 000022
【図１０Ｄ】
2014128022.tif 000023
【図１１Ａ】
2014128022.tif 000024
【図１１Ｂ】
2014128022.tif 000025
【図１１Ｃ】
2014128022.tif 000026
【図１１Ｄ】
2014128022.tif 000027
【図１２】
2014128022.tif 000028
【図１３】
2014128022.tif 000029
【図１４】
2014128022.tif 000030
【図１５】
2014128022.tif 000031
【図１６】
2014128022.tif 000032
【図１７】
2014128022.tif 000033