(57)【要約】【課題】ユーザー視点を検出し、該視点で立体視を可能にすべく、多視点３次元表示器３０で多数組の視差画像対を異なる視点方向に投影表示する表示画像を生成する。同じ単視点立体画像を複数のユーザー視点で同時に立体視出来ない。【解決手段】ユーザー視点を検出し、該視点で立体視を可能にすべく、多視点３次元表示器３０で同じ視差画像対を複数組検出した視点方向に投影表示する表示画像を生成する。【選択図】図４
2015046693.tif 000002
【特許請求の範囲】
【請求項１】
視差画像を構成する一対の画像を視点方向に対応する視点画像として重複して表示することが可能な３次元表示手段を有する画像処理装置であって、
前記３次元表示手段を見るユーザーのユーザー視点を検出する検出手段と、
前記検出手段で検出されたユーザー視点に対応する視点画像として前記視差画像を表示させる制御手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、複数のユーザー視点を検出し、
前記制御手段は、検出された複数のユーザー視点にそれぞれ対応する視点画像として前記視差画像を表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、視差画像を視点画像として表示する表示パターンと、前記検出手段で検出されたユーザー視点とに基づいて、前記視差画像を表示させる視点画像を決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記検出手段で検出したユーザー視点を多く含む表示パターンを用いることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記検出手段で検出したユーザー視点が、隣接しない視点の視点画像が投影される視点を含む場合、前記検出手段で検出したユーザー視点を除く立体視可能な視点の数が少ない表示パターンを用いることを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記検出手段で検出したユーザー視点が、隣接しない視点の視点画像が投影される視点を含まない場合、前記検出手段で検出したユーザー視点を除く立体視可能な視点の数が多い表示パターンを用いることを特徴とする請求項３または４に記載の画像処理装置。
【請求項７】
前記制御手段は、表示パターンの候補が複数ある場合、隣接する視点の視点画像が投影される立体視可能な視点を多く含む表示パターンを用いることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記検出手段で検出されたユーザー視点の優先順位に応じて、ユーザー視点に対応する視点画像として表示させる視差画像を決定する決定手段をさらに有し、
前記制御手段は、前記決定手段で決定された視差画像を表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記検出手段は、複数のユーザー視点を検出し、
前記決定手段は、前記検出手段で検出された複数のユーザー視点のうち、優先順位の高いユーザー視点に用いられる視点画像として表示させる視差画像を決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記決定手段は、優先順位の低いユーザー視点に用いられる視点画像が前記優先順位の高いユーザー視点に用いられる視点画像である場合、前記決定された前記優先順位の高いユーザー視点に用いられる視点画像として表示させる視差画像を変更しないことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記制御手段は、前記検出手段で検出されたユーザー視点に用いられない視点画像としてダミーデータを表示させることを特徴とする請求項８から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記制御手段は、前記検出手段で検出されたユーザー視点が、隣接しない視点の視点画像が投影される視点を含む場合、前記検出手段で検出されたユーザー視点に用いられない視点画像としてダミーデータを表示させることを特徴とする請求項８から１０のいずれか一項に記載の画像処理装置。
【請求項１３】
前記制御手段は、前記検出手段で検出されたユーザー視点が、隣接しない視点の視点画像が投影される視点を含まない場合、前記検出手段で検出されたユーザー視点に用いられない視点画像として、前記視差画像を構成する一対の画像のいずれかを表示させることを特徴とする請求項８から１０のいずれか一項に記載の画像処理装置。
【請求項１４】
前記検出手段は、ユーザーを撮影した画像に基づいて前記ユーザー視点を検出することを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記制御手段は、前記検出手段で検出されたユーザー視点の左目に対応する視点画像として左目用画像を表示させ、右目に対応する視点画像として右目用画像を表示させることを特徴とする請求項１から１４のいずれか一項に記載の画像処理装置。
【請求項１６】
視差画像を構成する一対の画像を視点方向に対応する視点画像として重複して表示することが可能な３次元表示手段を有する画像処理装置における制御方法であって、
前記３次元表示手段を見るユーザーのユーザー視点を検出する検出工程と、
前記検出工程で検出されたユーザー視点に対応する視点画像として前記視差画像を表示させる制御工程と
を有することを特徴とする制御方法。
【請求項１７】
コンピュータを、請求項１から１５のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像を表示する為の画像処理装置、制御方法及びプログラムに関する。
【背景技術】
【０００２】
３次元表示器を用いて３次元画像を表示する手法が提案されている。この手法は、３次元表示器を用いて両眼の視差分だけ異なる２次元画像（視差画像）を表示する。この視差画像を３次元表示器から所定の距離だけ離れた視点位置で見る場合にユーザーは視差画像を立体的な３次元画像として知覚することになる。以下では、視差画像を表示することを３次元画像を表示するとも称する。
【０００３】
特許文献１では、多視点３次元表示器に備えられたカメラを用いてユーザーの位置を検出し、ユーザー位置に応じて表示する画像を調整する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許５１５６１１６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術はユーザー位置に応じて多視点表示器で表示する多視点３次元画像全体を調整するので、ユーザーが複数いる場合に複数のユーザーが同じ画像を立体視することができない。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、視差画像を構成する一対の画像を視点方向に対応する視点画像として重複して表示することが可能な３次元表示手段を有する画像処理装置であって、前記３次元表示手段を見るユーザーのユーザー視点を検出する検出手段と、前記検出手段で検出されたユーザー視点に対応する視点画像として前記視差画像を表示させる制御手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、検出した複数のユーザー視点で同じ３次元画像を立体視することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例に係る画像処理装置の一例を示すブロック図である。
【図２】本発明の一実施例に係る多視点３次元表示装置をより詳細に説明する図である。
【図３】本発明の一実施例に係る視点と、多視点画像および単視点画像との関係を示す図である。
【図４】本発明の一実施例に係る画像処理装置の機能ブロックの一例を示す図である。
【図５】多視点表示の例を示す模式図である。
【図６】本発明の一実施例に係る多視点で表示される画像の表示パターン例を示す図である。
【図７】本発明の一実施例に係る表示パターンで得られる視点の位置を示す模式図である。
【図８】本発明の一実施例に係るユーザーを撮影した画像の例と、視点を検出する為の閾値の例とを示す図である。
【図９】本発明の一実施例に係るユーザー視点検出処理の手順を示すフローチャートである。
【図１０】本発明の一実施例に係る表示パターンで得られる視点の例を示す図である。
【図１１】本発明の一実施例に係る表示画像生成処理の手順を示すフローチャートである。
【図１２】本発明の一実施例に係る画像処理装置の機能ブロックの詳細例を示す図である。
【図１３】本発明の一実施例に係る表示画像生成の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
実施例の説明に先立って、本明細書で用いる用語について簡単に説明する。２次元画像とは、表示器で表示したりプリンターで記録したりする、例えば人や図形などを表す１画面の２次元の画像そのものを示している。
【００１０】
３次元画像とは、３次元表示器で立体的に表示される、例えば人や図形など被写体を表す１画面の３次元の画像そのものを示している。例えば、３次元画像は、異なる位置から撮影した複数の２次元画像で構成される。例えば左目用と右目用の１組の２次元画像を既定の表示素子で表示し、その画像をユーザーが其々の目で独立に同時に見る事で３次元画像として知覚される。このように左目用画像及び右目用画像で構成される画像を総称して視差画像と称する。また、左目用画像のことを左目用の視差画像、右目用画像のことを右目用の視差画像とも称する。
【００１１】
ユーザー視点とは３次元表示器や被写体をユーザーが見る際の位置である。３次元表示器に対するユーザー視点は、左目用と右目用の左右一対の２次元画像がユーザーの両目に投影される位置である。左目用と右目用の左右一対の２次元画像がユーザーの両目に丁度投影される位置にユーザーがいる場合、ユーザーは表示されている画像を立体的な３次元画像として知覚することができる。なお、一般的に人の目の間隔は約６５ｍｍの為、３次元表示器から投影される左目用と右目用の左右１組の２次元画像はユーザー視点において互いに約６５ｍｍ離れて集光されている。
【００１２】
２次元画像情報または３次元画像情報は、上記の２次元画像または３次元画像を表示するための輝度信号や濃度信号等の信号源を示している。３次元画像情報は、少なくとも左目用および右目用の一対の２次元画像情報から成る。この一対の２次元画像情報で示される画像を単視点画像も呼ぶ。なお、多視点画像情報は複数の視点におけるこれらの２次元画像情報または３次元画像情報の総称である。多視点画像情報は、カメラで撮影することで得られたり、或いは、コンピュータグラフィックス等で人工的に制作されることで得られる。
【００１３】
次に、多視点３次元画像を表示することが可能な３次元表示器について簡単に説明する。一般に、３次元表示器は、３次元画像情報に基づいて、その表示器の画面中に複数の２次元画像情報を同時に表示する。より具体的には、３次元表示器に表示される複数の２次元画像は、左目用の視差画像および右目用の視差画像の２枚の２次元画像を示す２次元画像情報に基づいている。そして３次元表示器においては、ユーザーの左右のそれぞれの目に独立して画像が投影されるように、対応する表示素子及びその周辺の光学部材に光学的な工夫が施されている。
【００１４】
以下、本発明を実施するための形態について図面を用いて説明する。本実施形態では、表示器の正面を中心に７つの視点から被写体を略連続的にかつ立体的にユーザーが見る事の出来る、８方向に独立に画像を表示可能な７視点３次元表示器を用いる画像処理装置を例に説明するが、これに限定されるものではない。なお、上記８方向に表示する各画像を視点画像と称し、其々の方向に向けて表示する画像として、画像１、画像２、画像３、画像４、画像５、画像６、画像７及び画像８と記述する。また、表示する１画面の画像を同じ視点方向に表示した場合、画像全体は表示器から所定の距離Ｌだけ離れた視点に集光する。
【００１５】
＜実施例１＞
図１は、本実施例に係る画像処理装置の一例を示すブロック図である。画像処理装置は一般的なパーソナルコンピュータ（以後ＰＣと称する）１を有し、ネットワーク回線１１０等から画像情報等をネットワーク制御部９０を介して入力する。また画像処理装置は、少なくとも、３次元画像情報に基づいた３次元画像を立体表示することが可能な多視点３次元表示器３０を有する。
【００１６】
ＰＣ１はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６０と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７０と、記憶部８０と、操作入力部５０とを有する。ＰＣ１は、ＣＰＵ１０で制御される。記憶部８０は、３次元画像情報や本実施例に用いられるプログラム等を保持する。ＲＯＭ６０は、各種設定やプログラムを格納する。ＲＡＭ７０は、一時的な記憶部として機能する。３次元表示装置２は、撮像部２０と多視点３次元表示器３０とタッチパネル４０とを有する。３次元表示装置２は、３次元画像を表示する。タッチパネル４０は、多視点３次元表示器３０の表示面に配置され、表示した３次元画像を直接タッチして画像や表示された入力キーを選択すると共に、キーやマウスで構成する操作入力部５０と同様にユーザーからのＰＣへの各種の入力操作を可能にする。撮像部２０は一般的な表示器に装備された物で、ユーザーの位置やユーザーの動作を認識する為に多視点３次元表示器３０の正面に設けられている。
【００１７】
なお、上記の例では、画像処理装置が３次元表示装置２を含むものであるとして説明をしたが、画像処理装置はＰＣ１にのみ対応するものであってもよい。すなわち、画像処理装置は３次元表示装置２と接続される構成であってもよい。
【００１８】
図２は、図１で示した多視点３次元表示器３０をより詳細に説明する図である。図２（ａ）は、多視点３次元表示器３０の一例を示す図である。図２（ａ）で示す多視点３次元表示器に於いて多視点３次元表示器３０は、液晶表示器２００とその全面にレンチキュラーレンズ２０１とを有する。
【００１９】
図２（ｂ）は、図２（ａ）で示す多視点３次元表示器の一部を拡大した模式図である。図２（ｂ）は、レンチキュラーレンズ２０１と相対位置が保証された液晶表示素子２００とを示す。図２（ｂ）の多視点３次元表示器３０は、ユーザーが７方向からこの多視点３次元表示器３０を見た場合、７視点から見た被写体を立体表示可能にする工夫がなされている。すなわち、液晶表示器２００は、各１つのレンチキュラーレンズ２０１内に素子２０２から素子２０３までの一続きの８つの表示素子を持つ構成とする。レンチキュラーレンズ２０１による光学特性と表示素子の配置によって特定の視点位置から多視点３次元表示器３０を見たユーザーは、特定の表示素子の表示のみが見えることになる。尚、多視点３次元表示器３０は公知の技術で一般に実用化されている物を用いることができる。一般に多視点３次元表示器３０は、カラー表示可能であるが、説明を簡略化する為、本実施例での多視点３次元表示器３０は単色表示可能であるものとする。また、説明を簡便にする趣旨で、以後の図において表示素子や画素の並びを１次元的に表現するものとする。なお、１つの視点から見ているユーザーの目には８つの表示素子が表示する画像の内、其々左目用の画像と右目用の２つの画像が届けられることでユーザーは３次元画像を知覚することになる。
【００２０】
図２（ｃ）と図２（ｄ）は、其々異なる視点である視点１２と視点４５とからユーザーが見た場合に見える表示画素を示す。ここで視点１２とは、片方の目が視点１の位置にあり、他方の目が視点２の位置にある視点位置のことを示す。同様に、視点４５とは、片方の目が視点４の位置にあり、他方の目が視点５の位置にある視点位置のことを示す。本実施例では、図２（ｃ）に示すように、レンチキュラーレンズ２０１の光学特性に依って、視点１２の位置にいるユーザーの右目では画素２のみが、視点１２の位置にいるユーザーの左目では画素１のみが見える。従って、画素２と画素１とで一対の視差画像を表示すれば、視点１２の位置にいるユーザーは、視差画像を３次元画像として知覚することができる。また、図２（ｄ）に示すように視点４５の位置にいるユーザーの右目では画素５のみが、視点４５の位置にいるユーザーの左目では画素４のみが見える。従って、画素４と画素５で１組の視差画像を表示すれば、視点４５の位置にいるユーザーは、視差画像を３次元画像として知覚することができる。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であり、本明細書では更なる説明を省略する。以下、ユーザーの左目が表示素子Ｍで表示する画像を見ることができ、かつ、右目が表示素子Ｎで表示する画像を見ることができる視点位置のこと“視点ＭＮ”と称する。
【００２１】
図３は、各視点と多視点画像または単視点画像との関係を示す図である。図３（ａ）は、視点１２から視点７８までの７つの視点と、その視点に対応する多視点３次元画像として被写体３００を撮影した画像１から画像８の８種類の撮影画像との関係を示す図である。其々の視点ではユーザーの左右のそれぞれの眼で見た画像に相当する２つの２次元画像が撮影される。
【００２２】
なお、同一被写体３００を視点１２から視点７８で連続的に３次元表示する場合には、各視点ＭＮにおいてユーザーの左目に届けられる画像Ｍは、隣接する視点におけるユーザーの右目に届けられる画像と同じである。これらの各２次元画像情報を横方向に分割して先のレンチキュラーレンズ２０１と相対位置を保った液晶表示素子（画素）で表示すれば、図３（ａ）で示す各視点から被写体を見た際と同じ３次元画像を各視点において見る事が出来る。即ち図２（ｃ）及び図２（ｄ）で示す画素１は視点１２の左側で撮影した２次元画像（画像１）の１部を表示し、画素２は視点１２の右側で撮影した２次元画像（画像２）の１部を表示している。また、画素４は視点４５の左側で撮影した２次元画像（画像４）の１部を表示し、画素５は視点４５の右側で撮影した２次元画像（画像５）の１部を表示している。
【００２３】
図３（ｂ）は単視点３次元画像を表示する為の左目用画像と右目用画像と視点との関係を示す。図３（ａ）では７つの視点で見た画像を撮影することで得られる７視点の多視点３次元画像を示す３次元画像情報を生成する場合の例を説明した。図３（ｂ）では、１つの視点で見た画像を撮影することで得られる１視点の単視点３次元画像を示す３次元画像情報を生成する場合の例を示している。本実施例では、図３（ｂ）に示す単視点３次元画像を多視点３次元表示器３０を用いて重複して表示する例を説明する。これにより、多視点３次元表示器３０から角度と距離が異なる複数の視点において複数のユーザーが同じ被写体３００を同じ３次元画像として知覚することができる。
【００２４】
＜画像処理装置の機能ブロック＞
図４は、本実施例の画像処理装置の画像処理機能の一例を示すブロック図である。画像処理装置は、３次元画像情報入力部４００と、ユーザー視点検出部４０１と、表示画像生成部４０２と、３次元画像表示部４０３とを有する。
【００２５】
３次元画像情報入力部４００は、ネットワーク制御部９０等から３次元画像情報を入力する。３次元画像情報は、例えば図３に示すように、複数の撮影装置によって各視点の画像を撮影することによって得られるものである。あるいは、コンピュータによって各視点の画像が生成されることで得られるものであってもよい。３次元画像情報には、１つの視点から見える３次元画像である単視点３次元画像を表示するための視差の異なる左右の目用の視差画像の画像情報が含まれる。また、３次元画像情報には、７つの視点に対応する８種の２次元画像からなる多視点画像情報が含まれる。３次元画像情報入力部で入力された３次元画像情報は、必要に応じて記憶部８０で保持される。
【００２６】
ユーザー視点検出部４０１は、３次元表示装置２を見ているユーザーの視点位置を検出する。例えば、ユーザー視点検出部４０１は、３次元表示装置２に装着した撮像部２０で撮影されたユーザーの顔を図形認識して、表示器に対するユーザーの視点の相対位置を検出する。ユーザーの視点位置は３次元表示装置２からユーザーまでの距離と３次元表示装置２の中央部からの水平方向の角度で示されることができる。
【００２７】
表示画像生成部４０２は、３次元画像情報入力部４００で入力された３次元画像情報から多視点３次元表示器３０の各視点画像として表示するための表示画像を生成する。また、表示画像生成部４０２は、ユーザー視点検出部４０１で検出したユーザー視点で立体視することができるように多視点３次元表示器３０の各視点画像として表示する表示画像を生成する。本実施例においては、各視点画像は単視点画像として予めユーザーが選んだ、右目用と左目用の画像を構成する視差画像に従って生成される。３次元画像表示部４０３は多視点３次元表示器３０を含み、表示画像生成部４０２で生成された各視点画像を表示する。本実施例の多視点３次元表示器３０は図２で説明したように、レンチキュラーレンズに対応して７つの視点の計８種類の画像を表示可能となっている。従って、表示画像生成部４０２は、３次元画像情報から８つの表示画像を生成することが可能である。表示画像は、多視点３次元表示器の各視点方向に対応する方向で表示される。なお、本実施例では、多視点３次元表示器の光学特性に対応して８つの表示画像を生成する例を説明するが、必ずしも８つの全ての視点画像について表示画像が生成されなくてもよい。
【００２８】
本実施例では、単視点３次元画像を示す３次元画像情報が３次元画像情報入力部４００で入力されるものとして説明する。すなわち、本実施例では図３（ｂ）で示す形態で撮影された画像を用いる例を説明する。しかしながら、例えば３次元画像情報入力部４００で多視点３次元画像情報が入力された場合、表示画像生成部４０２は、多視点３次元画像情報のうち、任意の視点の画像対（視差画像）を単視点画像情報として取得してもよい。例えば、予め設定されている視点（例えば中央の視点）を任意の視点の画像対として決定してもよい。そして、取得した単視点画像情報を用いて表示画像を生成してもよい。
【００２９】
図５は単視点画像情報を用いて多視点の３次元画像を表示した表示例を示す図である。図５は多視点表示器３０の中央部に表示している各視点方向の画像と、各視点方向の画像を見ることができるユーザーの視点とを示している。図５の破線は視差画像の内の左目用画像を表示している事を示し、実線は視差画像の内の右目用画像を表示している事を示している。ここで、左目用画像がユーザーの左目に投影され、右目用画像がユーザーの右目に投影される視点のことを正視視点と称する。逆に、左目用画像がユーザーの右目に投影され、右目用画像がユーザーの左目に投影される視点のことを逆視視点と称する。また、各視点における左目を白丸、右目を黒丸で示す。また、正視視点を黒三角、逆視視点を白三角で示す。
【００３０】
正視視点では、上述のとおり左目用画像がユーザーの左目に投影され、右目用画像がユーザーの右目に投影されるので、ユーザーは３次元画像を知覚することができる。一方、逆視点画像では、奥行き方向が逆の不自然な３次元画像をユーザーは知覚することになる。
【００３１】
図５の例では、画像１、画像２、画像５、及び画像６には左目用画像を表示し、画像３、画像４、画像７、及び画像８には右目用画像を表示する例を示している。従って隣り合う画像が左右の目に投影されて安定に立体視出来る正視視点となる視点２３及び視点６７は距離Ｌの位置で得られる。また、投影される他の１つの視点画像を挟んで正視視点が得られる視点１３、視点２４、視点５７及び視点６８は約Ｌ／２の距離を目安に存在する。距離Ｌは３次元表示装置２の３次元画像を見ることができる好適な距離であり、３次元表示装置２のディスプレイサイズや視角などに応じて適宜変更され得るものである。図５の例では、３次元表示装置２から距離Ｌだけ離れた位置にある正視視点のユーザーは３次元画像を知覚できるものであるとする。ここで、距離が約Ｌ／２の位置にいるユーザーの目には、１画像を挟んだ画像が投影される。例えば、視点２４の位置においては、ユーザーの左目に画像２が、右目に画像４が投影される。本実施例では、右目用画像と左目用画像とは重複して各視点画像として表示されるので、画像３と画像４とは同じ右目用画像が表示される。従って、視点２４のように、距離Ｌよりも短い位置においても複数のユーザーが同じ３次元画像を知覚することができる。図５の例のように、隣接する視点画像として左目用画像（または右目用画像）を重複して表示する場合に、距離Ｌ／２の視点が現れるようになる。従って、距離Ｌ／２の視点は、隣接する視点画像として左目用画像（または右目用画像）を重複して表示する場合において、隣接しない視点画像が投影される視点ともいえる。
【００３２】
一方、視点４５、視点３５及び視点４６は逆視視点となる。また、一般に多視点３次元表示器３０は距離Ｌで集光されるように構成されているので、距離Ｌ以下の視点では多視点３次元表示器３０で表示される画像全体を見る事が保証されないことがある。この結果、距離Ｌ以下の視点では、一部で逆目用の視差画像が目に入り、安定な立体視が妨害される事もあり得る。
【００３３】
図６は、図５に示す表示例と、これに類似する他の８種とを含む計９種類の表示パターンの表示例を示す図である。図６においては、各画像１、画像２、画像３、画像４、画像５、画像６、画像７及び画像８として各視点方向に表示する視点画像を、左目用画像の場合は白色の丸印、右目用画像の場合は黒色の丸印で示す。また、距離Ｌで得られる正視視点を実線枠で示し、距離Ｌ／２の位置で得られる正視視点を破線枠で示す。図６に示すように、各視点画像における画像の組み合わせに応じて、距離Ｌの位置および距離Ｌ／２の位置で得られる正視視点の組み合わせが異なる。なお、図５に示す表示例は、パターンＰ４として図６において示されている。
【００３４】
本実施例では、ユーザー視点検出部４０１で得られるユーザーの視点位置に応じて、図６で示すような予め各視点方向に表示する視差画像を組み合わせて得られるパターンの中から１つの表示パターンを決定する。そして、表示画像生成部４０２が、決定した表示パターンに従って各視点位置に対応する視点画像としての表示画像を生成する。図７は、図６で示す各表示パターンＰ１〜Ｐ９の正視視点の位置を示す模式図である。本実施例は、ユーザー視点を検出して、検出したユーザー視点に対応する表示パターンを表示パターンＰ１〜Ｐ９から決定する。
【００３５】
次に、本実施例におけるユーザー視点検出処理を説明する。図８は、本実施例におけるユーザー視点検出の原理を示す図である。図８（ａ）は撮像部２０で３次元表示装置２の正面のユーザーを撮影した画像の一例を示す図である。図８（ａ）に示す画像に顔認識処理を施すと、Ａ及びＢの２人のユーザーを検出することができる。顔認識処理は、例えば顔の中の特徴的な部分（例えば、目や口など）とその相対位置などに応じて顔を特定することができる。顔認識処理については、公知の技術を採用することができ、本実施例の主眼ではないので詳細な説明は省略する。
【００３６】
図８（ａ）において、検出した両ユーザーの目の間隔ＩＡ及びＩＢに相当する表示画素数を閾値と比較して、距離Ｌ付近のユーザーと距離Ｌ／２付近のユーザーを検出する。この閾値は、撮影画像の解像度や３次元表示装置２のディスプレイサイズや各視点方向の視角などに応じて適宜設定することができる。図７（ａ）の例では明らかにユーザーＢの方がユーザーＡよりも３次元表示装置２の近くで視聴していることがわかる。つまり、図８（ａ）の場合には、閾値との比較処理の結果、ユーザーＢが距離Ｌ／２付近の位置におり、ユーザーＡが距離Ｌ付近の位置にいると検出される。
【００３７】
次に、両ユーザーの両目の中央部分と３次元表示装置２の中央部分とからの距離ＤＡ及びＤＢに相当する画素数を閾値と比較して、両ユーザーの視点方向を検出する。この閾値についても、撮影画像の解像度や３次元表示装置２のディスプレイサイズや各視点方向の視角などに応じて適宜設定することができる。
【００３８】
例えば、距離Ｌ付近では、視点１２、視点２３、視点３４、視点４５、視点５６、視点６７及び視点７８にユーザーがいる場合が想定される。そこで、其々のユーザーの両目の中央部分と３次元表示装置２の中央部分とからの距離ＤＸを、図８（ｂ）で示す距離Ｌ用の閾値Ｓ１からＳ７と比較する。この結果、距離Ｌにいるユーザーの水平方向の角度、すなわち、距離Ｌにいるユーザーの視点方向を検出することができ、ユーザー視点を決定することができる。
【００３９】
同様に距離Ｌ／２付近では、視点１３、視点２４、視点３５、視点４６、視点５７及び視点６８にユーザーがいる場合が想定される。そこで、其々のユーザーの両目の中央部分と３次元表示装置２の中央部分とからの距離ＤＸを図８（ｃ）で図示する閾値Ｓ８からＳ１３と比較する。この結果、距離Ｌ／２にいるユーザーの視点方向を検出することができ、ユーザー視点を決定することができる。
【００４０】
なお、図８の例では、ユーザーの目の間隔を用いてユーザーと３次元表示装置２との間の距離を推定する手法を例に挙げて説明しているが、ユーザーと３次元表示装置２との間の距離がわかればよく、図８の例に限られるものではない。例えば、ユーザーの顔の輪郭の大きさや、顔の他の特徴部分（例えば口や鼻）などの大きさを用いてユーザーと３次元表示装置２との間の距離を推定してもよい。また、図８の例では、ユーザーの両目の中央部分と３次元表示装置２の中央部分との距離を用いてユーザーの視点方向を推定する手法を例に挙げて説明しているが、図８の例に限られるものではない。例えばユーザーの片側の目と３次元表示装置２の中央部分との距離を用いてもよいし、ユーザーの口や鼻の中央部分と３次元表示装置２の中央部分との距離を用いてユーザーの視点方向を推定してもよい。
【００４１】
図９は本実施例のユーザー視点検出部における処理手順を説明する為のフローチャートである。図９に示す処理は、例えばＲＯＭ６０に格納されたプログラムをＣＰＵ１０がＲＡＭ７０に一時的に読み出して実行することによって実現される。
【００４２】
ステップＳ９００においてユーザー視点検出部４０１は、撮像部２０で撮影した画像に対して公知の顔認識処理を施してユーザーの存在を検出する。ここでは、処理対象となるユーザーのことをユーザーＸと称する。ステップＳ９００において複数のユーザーが検出された場合には、未処理のユーザーをユーザーＸとして選択する。
【００４３】
次に、ステップＳ９０１においてユーザー視点検出部４０１は、図８を用いて説明したように、ユーザーＸの目の間隔の画素ＩＸを計測する。次に、ステップＳ９０２においてユーザー視点検出部４０１は、図８を用いて説明したように、ユーザーＸの両目の中央部分と３次元表示装置２の中央部分との距離ＤＸに相当する画素数を計測する。
【００４４】
次に、ステップＳ９０３においてユーザー視点検出部４０１は、ユーザーＸの視点が視域外にあると初期設定する。すなわち、ユーザーＸの視点では３次元画像を見ることができないと設定する。
【００４５】
次のステップＳ９０４からＳ９３５の各ステップは、ユーザーＸの視点位置を特定するステップである。このうち、ステップＳ９０４とステップＳ９０５は、ユーザー視点がディスプレイから所定の距離離れた位置であるかを判定する処理である。より具体的には、本実施例では、距離Ｌ離れた位置か、距離Ｌ／２離れた位置であるかを判定する処理である。そして、他のステップは、所定の距離離れているという条件の下でユーザー視点がどの視点方向にあるかを判定するステップである。
【００４６】
ステップＳ９０４においてユーザー視点検出部４０１は、ユーザーＸの目の間隔ＩＸが閾値Ｋ１からＫ２の間にあるかを判定する。この閾値Ｋ１からＫ２はユーザーＸの視点が距離Ｌ／２の位置にあるかを判定するための値である。上述したように、閾値Ｋ１からＫ２は、撮影画像の解像度や３次元表示装置２のディスプレイサイズや各視点方向の視角などに応じて適宜設定することができる。以降、図９で説明する閾値についても同様に、適宜設定することができるものであるものとする。ステップＳ９０４においてユーザーＸの目の間隔ＩＸが閾値Ｋ１からＫ２の間にあると判定した場合、ユーザー視点検出部４０１は、ステップＳ９２３に処理を進める。
【００４７】
ステップＳ９２３以降の処理においては、ユーザーＸは距離Ｌ／２の位置にいるものとして距離Ｌ／２に対応する閾値を用いてユーザーＸの視点方向を決定する処理を行う。ステップＳ９２３以降の閾値は、図８（ｃ）で示したものと同様である。
【００４８】
ステップＳ９２４においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値−Ｓ８から−Ｓ９の間にあると判定した場合、ステップＳ９２５に進みユーザーＸは視点１３にいると判定する。ステップＳ９２６においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値−Ｓ１０から−Ｓ１１の間にあると判定した場合、ステップＳ９２７に進みユーザーＸは視点２４にいると判定する。ステップＳ９２８においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値−Ｓ１２から−Ｓ１３の間にあると判定した場合、ステップＳ９２９に進みユーザーＸは視点３５にいると判定する。ステップＳ９３０においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値Ｓ１３からＳ１２の間にあると判定した場合、ステップＳ９３１に進みユーザーＸは視点４６にいると判定する。ステップＳ９３２においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値Ｓ１１からＳ１０の間にあると判定した場合、ステップＳ９３３に進みユーザーＸは視点５７にいると判定する。ステップＳ９３４においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値Ｓ９からＳ８の間にあると判定した場合、ステップＳ９３５に進みユーザーＸは視点６８にいると判定する。
【００４９】
一方、ステップＳ９０４においてユーザー視点検出部４０１は、ユーザーＸの目の間隔ＩＸが閾値Ｋ１からＫ２の間にないと判定した場合、ステップＳ９０５においてユーザーＸの目の間隔ＩＸが閾値Ｋ３からＫ４の間にあるかを判定する。この閾値Ｋ３からＫ４はユーザーＸの視点が距離Ｌの位置にあるかを判定するための値である。ステップＳ９０５においてユーザーＸの目の間隔ＩＸが閾値Ｋ３からＫ４の間にあると判定した場合、ユーザー視点検出部４０１は、ステップＳ９０６に処理を進める。ステップＳ９０５以降の処理においては、ユーザーＸは距離Ｌの位置にいるものとして距離Ｌに対応する閾値を用いてユーザーＸの視点方向を決定する処理を行う。ステップＳ９０５以降の閾値は、図８（ｂ）で示したものと同様である。
【００５０】
ステップＳ９０７においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値−Ｓ１から−Ｓ２の間にあると判定した場合、ステップＳ９０８に進みユーザーＸは視点１２にいると判定する。ステップＳ９０９においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値−Ｓ３から−Ｓ４の間にあると判定した場合、ステップＳ９１０に進みユーザーＸは視点２３にいると判定する。ステップＳ９１１においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値−Ｓ５から−Ｓ６の間にあると判定した場合、ステップＳ９１２に進みユーザーＸは視点３４にいると判定する。ステップＳ９１３においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値−Ｓ７からＳ７の間にあると判定した場合、ステップＳ９１４に進みユーザーＸは視点４５にいると判定する。
【００５１】
ステップＳ９１５においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値Ｓ２からＳ１の間にあると判定した場合、ステップＳ９１４に進みユーザーＸは視点７８にいると判定する。ステップＳ９１７においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値Ｓ４からＳ３の間にあると判定した場合、ステップＳ９１８に進みユーザーＸは視点６７にいると判定する。ステップＳ９１９においてユーザー視点検出部４０１は、３次元表示装置２の中央からの距離ＤＸが閾値Ｓ６からＳ５の間にあると判定した場合、ステップＳ９２０に進みユーザーＸは視点５６にいると判定する。
【００５２】
ステップＳ９２１においてユーザー視点検出部４０１は、ユーザーＸの視点を決定する。ユーザー視点検出部４０１は、Ｓ９０４からＳ９３５の各ステップのいずれかでユーザーＸの視点が特定された場合には、その視点をユーザーＸの視点として決定する。また、Ｓ９０４からＳ９３５の各ステップでユーザーＸの視点が特定されない場合には、ステップＳ９０３で初期設定したように、ユーザーＸは視域外の視点であると決定する。ステップＳ９２２では全てのユーザーをユーザーＸとして検知して処理を行ったかを判定し、未処理のユーザーがいる場合にはステップＳ９０１に戻り未処理のユーザーをユーザーＸとして再度処理を繰り返す。
【００５３】
表示画像生成部４０２は、図９の処理によりユーザー視点検出部４０１が検出したユーザーの視点の位置において立体視することを可能とするように表示画像を生成する。すなわち、検出したユーザー視点に基づいて、表示画像生成部４０２は各視点方向に表示する左目用画像及び右目用画像を、予め設定した９種の表示パターンの中から選択して表示画像を生成する。図１０は、図６で示す表示パターンにおける各視点において正視視点となる視点と逆視視点となる視点とを示す図である。図１０において正視視点を白丸で表し、逆視視点を黒丸で表している。
【００５４】
図１１は、本実施例における表示画像生成部４０２における表示画像生成処理の一例を示すフローチャートである。図９に示す処理は、例えばＲＯＭ６０に格納されたプログラムをＣＰＵ１０がＲＡＭ７０に一時的に読み出して実行することによって実現される。以下の例では、図８（ａ）に示す撮影画像から、ユーザー視点として、３次元表示装置２から距離Ｌの位置の視点７８と、３次元表示装置２から距離Ｌ／２の位置の視点４６とが検出された場合を例に挙げて説明する。
【００５５】
ステップＳ１１００において表示画像生成部４０２は、候補となる表示パターンがあるか否かを判定する。本例においては、視点７８と視点４６とがユーザー視点として検出されている。従って、この視点７８と視点４６との両方が正視視点である表示パターンがあるか否かを判定する。図１０を参照すると、候補となる表示パターンはパターンＰ３とパターンＰ７である。従って、表示画像生成部４０２はステップＳ１１０１に処理を進める。
【００５６】
ステップＳ１１０１において表示画像生成部４０２は、可能視点数の最も多いパターンを候補として選択する。可能視点数とは、立体視を行うことが可能な視点、すなわち正視視点の数のことである。図１０を参照すると、パターンＰ３とパターンＰ７とは、いずれも可能視点数が５個であるので、ステップＳ１１０１ではパターンＰ３とパターンＰ７との両方が候補として選択される。
【００５７】
ステップＳ１１０２において表示画像生成部４０２は、距離Ｌ／２のユーザー視点を検出しているか否かを判定する。検出したユーザー視点の中に距離Ｌ／２の視点が有ると判定した場合、表示画像生成部４０２は、ステップＳ１１０４に進み、候補のパターンの中から検出したユーザー視点以外の表示可能な視点数の最も少ない表示パターンを選択する。距離Ｌ／２の視点は距離Ｌの視点に比べて他の視点画像がユーザーの目に投影されしまう可能性があるので逆視となる画像の影響を受けやすい。従って、距離Ｌ／２の視点を含む場合、ステップＳ１１０４において、検出したユーザー視点以外への表示を避ける事で、検出した距離Ｌ／２の視点位置のユーザー視点で安定な立体視を可能にすることができる。なお、図１０を参照すると、距離Ｌ／２の視点である視点４６がユーザー視点として検出されているので、ステップＳ１１０４に分岐する。また、図１０を参照すると、検出したユーザー視点以外の正視視点の数はパターンＰ３とパターンＰ７のいずれも３個であるので、両パターンが候補として選択される。
【００５８】
一方、検出したユーザー視点の中に距離Ｌ／２の視点が存在しない場合、表示画像生成部４０２はステップＳ１１０３に進み、候補のパターンの中で他の立体視が可能な視点が最も多い表示パターンを選択する。逆視となる画像の影響を受けやすい視点のユーザーがいないので、ステップＳ１１０３では、候補のパターンの中で他の立体視が可能な視点が最も多い表示パターンを選択する。
【００５９】
次に、ステップＳ１１０５において表示画像生成部４０２は、候補が複数あるか否かを判定する。候補が単数であれば、ステップＳ１１０９に処理を進める。候補が複数の場合、表示画像生成部４０２は、ステップＳ１１０６において、複数候補の中で立体視可能な距離Ｌの視点の数が最も多いパターンを候補として選択する。距離Ｌは多視点３次元表示器３０からの画像を立体視することに適した距離であるので、距離Ｌ／２と比較して逆視となる視差画像の影響を受けにくい。そこで、距離Ｌにおいて最も多くの正視視点の数を含むパターンを候補として選択する。図１０を参照すると、Ｐ３とＰ７は共に立体視可能な距離Ｌの視点の数は３の為、両者共候補として残る。
【００６０】
ステップＳ１１０７において、候補が単数であると判定した場合、表示画像生成部４０２はステップＳ１１０９に処理を進める。候補が複数であると判定した場合、表示画像生成部４０２は、ステップＳ１１０８において、パターン番号の小さい候補を選択する。図１０を参照すると、パターン番号の小さいパターンＰ３が候補として選択される。
【００６１】
ステップＳ１１０９において表示画像生成部４０２は、選択した候補を表示パターンとして決定する。
【００６２】
一方、ステップＳ１１００において表示画像生成部４０２は、候補となるパターンがないと判定した場合、ステップＳ１１１１進み、標準パターンを表示パターンに決定する。本実施例ではＰ１を標準表示パターンとする。
【００６３】
ステップＳ１１１０において表示画像生成部４０２は、ステップＳ１１０９で決定した表示パターンに基づいて表示画像を生成する。本例では、パターンＰ３を表示パターンとして決定している。従って、表示画像生成部４０２は、パターンＰ３で既定されている視点方向に視差画像を表示する為に、図６に示す様に画像１、画像３、画像４及び画像７として左目用画像を表示画像として生成する。また、表示画像生成部４０２は、同様に画像２、画像５、画像６及び画像８として右目用画像を表示画像として生成する。３次元画像表示部４０３は、各視点方向への表示画像情報を記憶保持するビデオＲＡＭ（以降ＶＲＡＭと記載）に其々画像情報を書き込む。
【００６４】
図１２は、本実施例の画像処理装置の機能ブロックの詳細例を示す。記憶部８０は視差画像情報１２００や多視点３次元画像情報１２０１を画像情報格納部１２１０から読み出し、表示画像生成部４０２に入力する。また、ユーザー視点検出部４０１から検出したユーザー視点が表示画像生成部４０２に入力される。表示画像生成部４０２は、前述の手順に従って表示画像を生成する。３次元画像表示部４０３は、生成された各視点方向への表示画像を其々画像１用ＶＲＡＭ１２０３から画像８用ＶＲＡＭ１２０４の８個のＶＲＡＭに書き込む。該ＶＲＡＭに記憶保持した画像情報は其々のＶＲＡＭに接続されたドライバー１２０５からドライバー１２０６に依って、一定周期で読み出され、画像表示を行う画像１用表示素子１２０７から画像８用表示素子１２０８を駆動して多視点３次元表示が行われる。本実施例の３次元画像表示部４０３は各画像表示を担当する上記ＶＲＡＭと表示素子、及びドライバーを含む。
【００６５】
なお、本実施例においては、図６に示すように８方向全ての視点方向に視差画像を表示してより多くの視点を得ようとする例を説明した。しかしながら、例えば、少ない視点での立体視を可能にする表示パターンを多く用意しておけば、各視点の近傍で他の視点用の表示画像の逆視影響を受け難くなる。例えば、８方向の全ての視点方向に視差画像を表示するのではなく、一部の方向に視差画像を表示してもよい。このように視点画像を制御すると逆視影響を受けにくくなるので、より安定な立体視が可能になる。このように、予め用意する表示パターンは図６に示す例に限定されるものではなく、他の表示パターンを用意してもよい。また、本実施例においては、候補となる表示パターンが複数ある場合に、正視視点の数を参照して候補を決定する例を説明した。しかしながら、例えば候補の表示パターンが有する逆視視点の数や、検出したユーザー視点近傍の逆視視点の有無等に依って候補を選択するように制御してもよい。
【００６６】
なお、上記の例では、ユーザーが３次元表示装置２から距離Ｌまたは距離Ｌ／２の位置にいることを想定した表示パターンや各種の閾値を用いる例を説明したが、これに限られることはない。他の距離に対応する表示パターンや閾値を用いて同様の処理を行っても良い。
【００６７】
＜実施例２＞
実施例１では予め用意した表示パターンの中から、検出したユーザー視点で立体視出来る表示パターンを選択し、選択した表示パターンに従って表示画像を生成する例を説明した。実施例２では、表示パターンを用いることなく、検出したユーザー視点で立体視が可能となる表示画像を生成する例を説明する。
【００６８】
図１３は、実施例２における表示画像生成処理の一例を示すフローチャートである。図１３に示す処理は、例えばＲＯＭ６０に格納されたプログラムをＣＰＵ１０がＲＡＭ７０に一時的に読み出して実行することによって実現される。なお以下の例においては、ユーザー視点検出部４０１で検出したユーザー視点が、先の実施例１で説明したものと同様に、３次元表示装置２から距離Ｌの位置の視点７８と３次元表示装置２から距離Ｌ／２の位置の視点４６の場合を例に挙げて説明する。
【００６９】
ステップＳ１３００で表示画像生成部４０２は、検出されたユーザー視点を入力する。本実施例では、視点７８と視点４６との両視点が入力される。
【００７０】
ステップＳ１３０１で表示画像生成部４０２は、優先ユーザー視点ＭＮを設定する。本実施例では、優先度の高いユーザー視点から順次視差画像を割り振るので、ステップＳ１３００で入力されたユーザー視点の中から優先度の高いユーザー視点を設定する。優先順位については、ユーザーに視点を指定させてもよいし、あるいは既定の優先順位に従ってもよい。本実施例では番号の若い距離Ｌの視点を優先する設定がされているものとする。従って、ステップＳ１３０１において表示画像生成部４０２は、距離Ｌ／２の視点４６よりも距離Ｌの視点７８を優先する。即ちＭ＝７、Ｎ＝８が設定される。
【００７１】
次にステップＳ１３０２において表示画像生成部４０２は、Ｎ−Ｍが３より小さいかを判定する。本例においては、ＭとＮとの差は１であるので、表示画像生成部４０２はステップＳ１３０３に処理を進める。一方、例えば視点４７の様に両目の間に２つの視点画像の投影を挟む視点の場合は、視点が距離Ｌ／２以下となり、逆視の影響を受けて安定な立体表示が出来ない可能性がある。従って、ステップＳ１３０２においてＮ−Ｍが３以上であると判定した場合、表示画像生成部４０２はステップＳ１３０９に処理を進め、該視点ＭＮの表示は不能であると決定する。
【００７２】
さて視点ＭＮで立体視するには画像Ｍに左目用画像を表示しなければならない。そこで、ステップＳ１３０３において表示画像生成部４０２は画像Ｍに画像が既定されているかを判定する。画像Ｍに画像が既定されていると判定した場合、表示画像生成部４０２はステップＳ１３０５に処理を進める。ステップＳ１３０５において表示画像生成部４０２は既定の画像Ｍは左目用画像であるかを判定する。ステップＳ１３０５において既定の画像Ｍが左目用画像でないと判定した場合、ステップＳ１３０９において該視点ＭＮの表示は不能であると判定する。一方、ステップＳ１３０５において規定の画像Ｍが左目用画像であると判定した場合、表示画像生成部４０２はステップＳ１３０６に処理を進める。
【００７３】
ステップＳ１３０３において表示画像生成部４０２は画像Ｍが既定でないと判定した場合、ステップＳ１３０４に処理を進め、画像Ｍに左目用画像を設定する。
【００７４】
同様に、視点ＭＮで立体視するには画像Ｎに右目用画像を表示しなければならない。そこで、ステップＳ１３０６において表示画像生成部４０２は画像Ｎに画像が既定されているかを判定する。画像Ｎに画像が既定されていると判定した場合、表示画像生成部４０２は、ステップＳ１３０８に処理を進める。ステップＳ１３０８において表示画像生成部４０２は既定の画像Ｎは右目用画像であるかを判定する。ステップＳ１３０８において規定の画像Ｎが右目用画像でないと判定した場合、ステップＳ１３０９において該規定の視点ＭＮの表示は不能であると判定する。一方、ステップＳ１３０８において規定の画像Ｎが右目用画像であると判定した場合、表示画像生成部４０２はステップＳ１３１０に処理を進める。
【００７５】
ステップＳ１３０６において表示画像生成部４０２は画像Ｎが既定でないと判定した場合、ステップＳ１３０７に処理を進め、画像Ｎに右目用画像を設定する。
【００７６】
本例では、優先されるユーザー視点７８での立体視を可能にするために、画像７に左目用画像が設定され、画像８に右目用画像が設定される。
【００７７】
ステップＳ１３００において検出された複数のユーザー視点が入力された場合、ステップＳ１３１０からステップＳ１３０１に処理を進め、別のユーザー視点に対して同様の処理を行う。本例では、未処理のユーザー視点のうち優先順に従ってユーザー視点６８を優先ユーザー視点ＭＮとして設定する。ステップＳ１３０１からステップＳ１３１０の処理を繰り返すと、画像６には左目用画像が設定される。一方、画像８には既に右目用画像が設定されていることになる。
【００７８】
このように、本実施例では優先順位の高い視点から順に立体視を可能にする制御を行う。従って、優先順位の低い視点で立体視を可能にしようとしても、既に逆視となる視差画像が設定されている場合は該視点での立体視はできない。
【００７９】
以上で検出されたユーザー視点で立体視可能にする為の表示画像の生成を行うことができる。次に、表示画像が設定されていない視点画像の生成処理を説明する。ステップＳ１３１０で未処理のユーザー視点がないと判定した場合、表示画像生成部４０２はステップＳ１３１１に処理を進める。ステップＳ１３１１において表示画像生成部４０２は、検出したユーザー視点の中に距離Ｌ／２の位置のユーザー視点があるかを判定する。
【００８０】
ステップＳ１３１１において距離Ｌ／２の位置のユーザー視点があると判定した場合、ステップＳ１３１２およびステップＳ１３１３において、表示画像生成部４０２は表示画像が未定の視点画像としてダミーデータを表示画像とする。ダミーデータとしては、例えば固定の白データを用いる。この処理に依って距離Ｌ／２のユーザー視点では逆視画像が目に投影されることで受ける立体視の妨害を緩和できる。本実施例では、視点６８が距離Ｌ／２のユーザー視点である。また、画像６と画像７とには左目用画像が、画像８には右目用画像が設定されている。従って、残りの未定の視点画像である画像１、画像２、画像３及び画像５に白データが設定される。なお、本例ではダミーデータとして白データを表示する例を説明したが、白データを表示する変わりに何も表示しないという処理であってもよい。
【００８１】
一方、検出したユーザー視点の中に距離Ｌ／２の位置のユーザー視点がないと判定した場合、表示画像生成部４０２は、ステップＳ１３１４に処理を進める。ステップＳ１３１４において表示画像生成部４０２は、画像１、画像２、画像３、及び画像４の内、表示画像が未定の視点画像を左目用画像とする。同様に、ステップＳ１３１５において表示画像生成部４０２は、画像５、画像６、画像７、及び画像８の内、表示画像が未定の視点画像を右目用画像とする。この処理に依って検出されたユーザー視点以外にも立体視可能な視点が得られる。ステップＳ１３１６において表示画像生成部４０２は、上述した手順で設定された視差画像を各視点画像として生成する。
【００８２】
本実施例による表示画像生成部４０２で生成された表示画像は、画像６及び７において左目用画像、画像８において右目用画像を生成する。また、画像１、画像２、画像３、画像４、及び画像５白データを生成することになる。また、このような表示画像を３次元表示装置２で表示した場合、実施例１で得られた表示パターンＰ３を３次元表示装置２で表示した場合に発生する逆視視点２３、逆視視点３５及び逆視視点５７が発生しない。従って、より安定に立体視をすることが可能である。
【００８３】
なお、ステップＳ１３１４とＳ１３１５で設定する内容は一例に過ぎず、他の組み合わせであってもよい。極端な例では、未定の画像１を左目用画像とし、未定のその他の画像を右目用画像としてもよい。あるいは、実施例１で説明した表示パターンを参照して、多くの正視視点が得られるように未定の視点画像に表示する画像を選択してもよい。また、未定の一部の画像をステップＳ１３１２やステップＳ１３１３のように白としてもよい。
【００８４】
＜その他の実施例＞
各実施例の説明ではレンチキュラーレンズを用いた多視点３次元表示器を用いる場合を例に挙げて説明した。しかしながら、本実施例は、表示器から異なる複数の視点方向に対して異なる２次元画像を表示する表示器で有れば、いずれの表示器においても適用することができる。例えば、５７台のプロジェクターから構成され、異なる５６個の視点方向に５７種の画像を投影する事が出来る画面サイズ２００インチの表示器を用いると、より大勢のユーザーが広い空間内で同じ３次元画像を見る事が出来る。また、多数の回折格子を使って２次元的多視点方向に多視点画像を表示出来る３次元表示器にも本実施例を適用することが可能である。
【００８５】
また、各実施例ではユーザー視点を距離Ｌ及び距離Ｌ／２の例で示した。しかしながら、多視点３次元表示器３０から視差画像を独立に任意の視点でユーザーが立体視可能な表示が行える場合、該表示可能な任意の視点位置のユーザー視点を検出すれば、より安定にユーザーが立体視可能になる。
【００８６】
また、各実施例では、撮像部２０で得られる２次元画像からユーザー視点を検出したが、撮像部が３次元画像を撮像出来れば、より正確に３次元表示装置２からの距離を検出する事が可能である。例えば撮像部２０として複数のカメラを設け、カメラ間の距離と、撮影した各画像の特徴点とを用いて３次元表示装置２からの距離を検出してもよい。また、ユーザー視点の検出は動的に行われても良い。すなわち、随時ユーザー視点を検出し、動くユーザーを追尾しながら表示画像生成部で検出した視点への表示画像を随時生成すれば、ユーザーが動いていても安定に立体表示を行う事も容易である。
【００８７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015046693.tif 000003
【図２】
2015046693.tif 000004
【図３】
2015046693.tif 000005
【図４】
2015046693.tif 000006
【図５】
2015046693.tif 000007
【図６】
2015046693.tif 000008
【図７】
2015046693.tif 000009
【図８】
2015046693.tif 000010
【図９】
2015046693.tif 000011
【図１０】
2015046693.tif 000012
【図１１】
2015046693.tif 000013
【図１２】
2015046693.tif 000014
【図１３】
2015046693.tif 000015