(57)【要約】      （修正有）【課題】ユーザーの視点に応じて、多視点の３次元表示器に表示される３次元画像のうち、任意の画像を指定する。【解決手段】多視点の３次元画像情報取得部６０１は、記憶装置またはネットワーク制御部から３次元画像情報を取得する。３次元画像生成部６０２は、３次元画像情報取得部６０１で取得した３次元画像情報に基づいて、３次元画像を生成する。３次元画像指定部６０３は、タッチパネル、キーボード、マウス等及び撮像装置を用いたユーザーの指示に基づいて、３次元表示器に入力される３次元画像情報に含まれる複数の３次元画像情報の中から、３次元画像情報の一部の画像情報が指定される。この指定によりユーザーが望む視点を正確に指定することができ、所定の位置の画像を正確に指定することができる。【選択図】図６
2014116843.tif 000002
【特許請求の範囲】
【請求項１】
多視点の３次元画像情報を入力して３次元画像を表示する画像表示手段と、
前記画像表示手段で表示される前記３次元画像の一部分の画像を指定する画像指定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記３次元画像の一部分の画像を制御する画像制御手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像制御手段は、前記画像指定手段で指定された前記３次元画像の一部分の画像に対し、補間処理によって加工制御を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像指定手段は、前記多視点の３次元画像情報の中から任意の視点の３次元画像情報によって前記３次元画像の一部分の画像を指定することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像指定手段は、前記画像表示手段で表示される前記３次元画像に対応する位置をユーザーが指定することによって、前記３次元画像の一部分の画像を指定することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像指定手段は、ユーザーの相対的位置を判定することで、任意の視点の前記３次元画像の一部分の画像を指定することを特徴する請求項４に記載の画像処理装置。
【請求項７】
前記画像表示手段の近傍に配置された撮像手段をさらに備え、
前記画像指定手段は、前記撮像手段によって前記画像表示手段に対するユーザーの相対的位置を判定することで、任意の視点の３次元画像情報の内の画素位置を表示して、前記３次元画像の一部分の画像を指定することを特徴する請求項６に記載の画像処理装置。
【請求項８】
前記画像指定手段は、前記３次元画像情報のうち、任意の視点に対応する３次元画像以外の３次元画像に対応する画像データを無効化することを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記画像指定手段は、前記画像表示手段で表示される３次元画像情報に対応する位置をユーザーがタッチパネル、マウス、またはタッチパッドを使って指定することによって前記３次元画像の一部分の画像を指定することを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記画像表示手段は、パララックスバリア方式、または、レンチキュラーレンズの方式を用いることを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
【請求項１１】
多視点の３次元画像情報を入力して３次元画像を表示する画像表示ステップと、
前記画像表示ステップで表示される前記３次元画像の一部分の画像を指定する画像指定ステップと
を含むことを特徴とする画像処理方法。
【請求項１２】
コンピュータを請求項１ないし１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点の３次元画像を表示し、ユーザーが任意の視点から見た３次元画像の一部分の画像を指定できる画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、２次元画像を表示する２次元表示器の表示画面にタッチパネルを配置し、表示画面に表示された２次元画像の一部分をユーザーが指等で直接タッチして指定することが知られている。この２次元表示器のタッチパネルでは、表示画像とタッチする表示位置とが１対１で対応するため、ユーザーが望む画像を正確に指定することができる。
【０００３】
一方、特許文献１には、ボタンやスイッチ等の操作部品の３次元画像を３次元表示器の表示画面に表示し、タッチパネルを用いてユーザーがその３次元画像にタッチする技術が開示されている。さらに、これによって、その３次元画像の表示状態を立体的に変化させることが開示されている。この特許文献１では、一つの視点から撮像して得られた３次元画像を表示画面に表示しているため、表示画像とタッチする表示位置とを１対１で対応させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１０５７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、多視点の３次元画像を表示画面に表示する場合には、同一の表示位置であっても、ユーザーの視点によって表示画像が異なるため、表示画像とタッチする表示位置とは１対１では対応していない。そのため、ユーザーがタッチする表示位置を検出するだけでは、どの視点から見た表示画像の一部分をタッチしているのかを特定することができず、ユーザーが望む画像を正確に指定することができないという問題がある。
【０００６】
ここで、「多視点の３次元画像」とは、同一被写体を複数の視点から撮像して得られた複数の視点の３次元画像のことである。また、「視点」とは、３次元表示器の位置から見たユーザーの両目の位置のことを示し、１つの視点にはユーザーの右目用の画像と左目用の画像とが届けられる。
【課題を解決するための手段】
【０００７】
このような課題を解決するため、本発明に係る画像処理装置は、多視点の３次元画像情報を入力して３次元画像を表示する画像表示手段と、画像表示手段で表示される３次元画像の一部分の画像を指定する画像指定手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザーの視点に応じて、所望する３次元表示器に表示された所定の位置の画像を正確に指定することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例に係る画像処理装置の一例を示す概略図である。
【図２】本発明の一実施例に係る表示器をより詳細に説明する図である。
【図３】本発明の一実施例に係る多視点と撮像画像との関係を示す図である。
【図４】本発明の一実施例に係る視点の違いによる多視点の３次元画像の見え方を示す図である。
【図５】本発明の一実施例に係るユーザーと表示器との相対的位置関係、および表示器でユーザーが見る画像を示す図である。
【図６】本発明の一実施例に係る画像処理部の機能ブロックの一例を示す図である。
【図７】本発明の一実施例に係る多視点の３次元画像の画像指定処理のフローチャートを示す図である。
【図８】本発明の一実施例に係る多視点の３次元画像から所望する視点を選択する手順の一例を示す図である。
【図９】本発明の他の実施例に係る多視点の３次元画像の画像指定処理のフローチャートを示す図である。
【図１０】本発明の他の実施例に係る視点認識の原理を表す図である。
【図１１】本発明の他の実施例に係る視点認識処理の一例を示すフローチャートである。
【図１２】一般的なパララックスバリア方式の３次元表示器の表示原理を表す図である。
【図１３】本発明の他の実施例に係るパララックスバリア方式による画像の表示の一例を示す図である。
【発明を実施するための形態】
【００１０】
実施例の説明に先立って、本明細書で用いる用語について簡単に説明する。
【００１１】
「２次元画像」とは、表示器で表示する、例えば人や風景などを表す２次元の画像そのものを示している。
【００１２】
「３次元画像」とは、３次元表示器で表示される、例えば人や風景などを表す３次元の画像そのものを示している。すなわち、３次元画像は、視差を有する複数の２次元画像で構成される。
【００１３】
「２次元画像情報」または「３次元画像情報」とは、上記の２次元画像または３次元画像を表示するための信号源を示している。
【００１４】
次に、簡単に３次元表示器について説明する。３次元表示器は、３次元画像情報として、その表示器の１つの画面中に複数の２次元画像を示す複数の２次元画像情報を同時に表示している。具体的には、３次元表示器に表示される２次元画像は、左目および右目の各視点から見た少なくとも２枚以上の複数の２次元画像情報に基づいている。したがって、その３次元表示器の表示画面上の同じ位置の近傍に３次元表示された３次元画像は、ユーザーの視点の位置によって大きく異なることになる。
【００１５】
以下、本発明を実施するための形態について図面を用いて説明する。本実施形態では、画像処理装置を例に説明するが、これに限定されるものではない。
【００１６】
＜実施例１＞
図１は、本実施例１の画像処理装置１の一例を示す概略図である。図１において本実施例の画像処理装置１は、一般的なパーソナルコンピュータ（以後ＰＣと称する）２および３次元画像情報に基づいた３次元画像を画像表示するための表示器３を有する。ＰＣ２は、ネットワーク回線４等からネットワーク制御部５を介して３次元画像情報等を取得する。  
【００１７】
ＰＣ２は、ＣＰＵ（Central Processing Unit）１０で制御される。ＰＣ２は、３次元画像情報や本実施例に用いられるプログラム等を保持する記憶装置２０を有する。またＰＣ２は、本各種設定やプログラムを格納するＲＯＭ（Read Only Memory）３０及び、一時的な記憶装置として機能するＲＡＭ（Random Access Memory）４０を有する。表示器３は、３次元画像を表示する３次元表示器５０を有する。また、表示器３は、３次元表示器５０の表示面にタッチパネル６０を有し、表示した３次元画像を直接タッチして指定すると共に、キーボード７０と同様にユーザーのＰＣへの各種の入力操作を可能にする。キーボード７０は、ＰＣ２に設けられているマウスタッチパッド８０に接続されている。撮像装置９０は、一般的な表示器に装備された物で、ユーザーの位置を認識するために３次元表示器５０の近傍に設けられている。ＰＣ２には、印刷物を出力するプリンター１００がネットワーク制御部５を介して接続されている。
【００１８】
図２は、図１で示した表示器３をより詳細に説明する図である。図２（ａ）において、３次元表示器５０として用いられるレンチキュラー多視点表示器２００は、液晶表示部２０１とその上面にレンチキュラーレンズ２０２とを有する。更にレンチキュラーレンズ２０２の上面にタッチパネル６０を有し、画面中央部に撮像装置９０を有する。
【００１９】
図２（ｂ）に、多視点の３次元画像を表示するための、各レンチキュラーレンズ２０２と相対的位置が保証された各表示画素とを示す。図２（ｂ）のレンチキュラー多視点表示器２００は、ユーザーが６方向からこのレンチキュラー多視点表示器２００を見た場合の多視点の３次元画像の表示を可能にする。そのため、各レンチキュラーレンズ２０２内には、それぞれ画素２０３から画素２０４までの一続きの７つの表示画素を持っている。なお、レンチキュラー多視点表示器２００は、公知の技術で一般的に実現される物で、カラー表示可能であるが、説明を簡略化するため、本実施例では単色表示可能であるものとする。また、以後の図において表示画素の並びを１次元的に表現する。なお、以下で単に「視点」と述べる場合は、レンチキュラー多視点表示器２００の位置から見たユーザーの両目の位置のことを示す。そして、１つの「視点」には、ユーザーの右目用の画像と左目用の画像とが届けられる。
【００２０】
図２（ｃ）と図２（ｄ）にそれぞれ異なる位置の視点１と視点４からユーザーが見た場合に見える画素を示す。すなわち、レンチキュラーレンズ２０２の光学特性によって、視点１のユーザーの右目では画素２のみが見え、視点１のユーザーの左目では画素１のみが見える。また、視点４のユーザーの右目では画素５のみが見え、視点４のユーザーの左目では画素４のみが見える。このようなレンチキュラーレンズ２０２による３次元画像の表示は公知の原理であり、本明細書では説明を省略する。
【００２１】
図３は、６方向からの６つの視点とその視点に対応する画像を表示するために撮像する画像との関係を示す図である。それぞれの視点では、ユーザーの左右の眼で見た画像に相当する２つの２次元画像が撮像される。同一被写体を視点１から視点６まで連続的に３次元表示するために、視点Ｎ（Ｎは１〜６のいずれかの整数）においてユーザーの左目に届けられる画像Ｎは、視点Ｎ−１におけるユーザーの右目に届けられる画像と同じである。これらの画像を示す２次元画像情報を分割してレンチキュラーレンズ２０２と相対的位置を保った液晶表示画素で表示すれば、図３で示すそれぞれの視点から被写体を見た際と同じ３次元像を見ることができる。
【００２２】
例えば、図２（ｃ）及び図２（ｄ）で示す画素１は、図３における視点１の左側で撮像した２次元画像（画像１）を示す２次元画像情報の一部であり、画素２は、視点１の右側で撮像した２次元画像（画像２）を示す２次元画像情報の一部である。また、画素３は、視点３の左側で撮像した２次元画像（画像３）を示す２次元画像情報の一部であり、画素４は、視点３の右側で撮像した２次元画像（画像４）を示す２次元画像情報の一部である。また、画素４は、視点４の左側で撮像した２次元画像（画像４）を示す２次元画像情報の一部であり、画素５は、視点４の右側で撮像した２次元画像（画像５）を示す２次元画像情報の一部である。さらに、画素６は、視点６の左側で撮像した２次元画像（画像６）を示す２次元画像情報の一部であり、画素７は、視点６の右側で撮像した２次元画像（画像７）を示す２次元画像情報の一部である。
【００２３】
図４を用いて具体的にユーザーの視点の違いによる多視点の３次元画像およびその３次元画像の一部分の見え方を詳細に説明する。図３の被写体が図４（ａ）の被写体４００とするならば、図３の各視点における左右の目から見た２次元画像、すなわち図４（ｂ）の２次元画像は、画像４０１から画像４０７の７つの画像となる。
【００２４】
つまり、被写体４００の一部分４０８は、視点１の左目用の撮像画像である画像１（画像４０１）では画面の右端に見え、逆に視点６の右目用の撮像画像である画像７（画像４０７）では画面の左端に見える。
【００２５】
次に、図４（ｂ）で撮像した画像４０１から画像４０７で示す２次元画像を分割して、レンチキュラーレンズ２０２と相対的位置を保った液晶表示画素で表示すれば、図４（ａ）で示す視点から被写体を見た際と同じ３次元像を見ることができる。今、この被写体４００を多視点の３次元画像として表示器３で表示した場合を図５に示す。
【００２６】
図５は、一例としてユーザーが視点２と視点５から表示器３を見た場合のユーザーと表示器３の相対的位置関係、および表示器３でユーザーに見える画像を示している。
【００２７】
図５において、ユーザー５００は、表示器３を略視点２の角度を有して斜めに見ていることになる。従って、ユーザー５００の左目には図４（ｂ）に示す画像４０２が写る。同様に、ユーザー５００の右目には図４（ｂ）に示す画像４０３が写る。その結果、図４（ａ）の被写体４００は、視点２から見た３次元画像として画面５０１として視認される。この時、ユーザー５００が指等で画面の前面に配置したタッチパネル６０で画面上の位置５０２をタッチすれば、被写体４００の一部分４０８をタッチして指定したことになる。
【００２８】
同様に、ユーザー５０３は、表示器３を略視点５の角度を有して斜めに見ていることになる。従ってユーザー５０３の左目には、図４（ｂ）に示す画像４０５が写る。同様に、ユーザーの右目には図４（ｂ）に示す画像４０６が写る。その結果、図４（ａ）の被写体４００は、視点５から見た３次元画像として画面５０４として視認される。この時、ユーザー５０３が指等で画面の前面に配置したタッチパネル６０で表示器３に対して相対的に画面上の位置５０２と略同じ位置、すなわち画面上の位置５０５で示す位置をタッチしても、被写体４００の一部分４０８をタッチしたことにはならない。これが本発明が新たに開示する課題である。
【００２９】
図６は、本実施例の画像処理装置１における画像処理部６００の機能ブロックの一例を示す図である。画像処理部６００はＣＰＵ１０によって制御され、多視点の３次元画像情報取得部６０１と、３次元画像生成部６０２と、３次元画像指定部６０３と、３次元画像制御部６０４とを有する。
【００３０】
多視点の３次元画像情報取得部６０１は、記憶装置２０またはネットワーク制御部５から３次元画像情報を取得する。３次元画像生成部６０２は、３次元画像情報取得部６０１で取得した３次元画像情報に基づいて、３次元画像を生成する。３次元画像指定部６０３は、タッチパネル６０、キーボード７０、マウス等８０及び撮像装置９０を用いたユーザーの指示に基づいて、３次元画像生成部６０２で生成し３次元表示器５０に表示された３次元画像を指定する。この指定により、３次元画像情報の一部の画像情報が指定されることになる。この詳細については後述する。
【００３１】
３次元画像制御部６０４は、３次元画像指定部６０３にて指定された３次元画像を、タッチパネル６０、キーボード７０、マウス等８０を用いたユーザーの指示に従ってＣＰＵ１０によって制御する。例えば、３次元画像制御部６０４は、指定された３次元画像に対して、回転処理、拡大／縮小処理などの画像処理が行われるように制御する。
【００３２】
図７は、本実施例の画像処理装置１における多視点の３次元画像の画像指定処理を示すフローチャートである。このフローチャートは、ＣＰＵ１０がＲＯＭ３０または記憶装置２０に記憶されているプログラムをＲＡＭ４０に展開して実行することで実現され、図１で示した各部は以下のフローチャートの処理に従って制御される。このフローチャートを用いて本実施例の処理の流れを詳細に説明する。
【００３３】
本実施例においては、画像に対する表示処理を指示する前に、どの視点から見た場合の画像に対して指示するのかを指定する処理が行われる。すなわち、３次元画像指定部６０３において、多視点の３次元画像のうち、どの視点から見た画像を処理対象とするかを指定する処理が行われる。
【００３４】
ステップＳ７００において、３次元画像生成部６０２は、一般の例えば撮像した３次元画像をアルバムとして閲覧できるアプリケーションプログラム等の実行に応じて、３次元画像を生成し３次元表示器５０で３次元表示する。３次元画像を表示すると、ステップＳ７０１へ進む。
【００３５】
ステップＳ７０１において、３次元画像指定部６０３は、指定の（視点）方向から見た３次元画像を表示する指示を検知する。例えば、ＣＰＵ１０がアプリケーションプログラム中の視点指定ボタン等で、ユーザーが所望する視点画像を指定した場合、指定された視点から見た３次元画像を正面に表示する要求があると判定する。そして、３次元画像指定部６０３は、３次元表示器５０に表示された多視点の３次元画像から、指定された視点の３次元画像を指定する。３次元画像を指定すると、ステップＳ７０２へ進む。
【００３６】
ステップＳ７０２において、３次元画像生成部６０２は、タッチパネル６０のスクロールバーの移動に応じて前述の６つの視点を有する多視点の３次元画像の各視点から見た３次元画像を順次３次元表示器５０の正面に表示させる。３次元表示するための３次元画像情報は、既定の規格に合致しているものとする。３次元画像生成部６０２は、記憶装置２０やＲＡＭ４０に保持され、３次元画像情報取得部６０１で取得された画像情報の中から、必要に応じて３次元表示器５０が有する表示用記憶素子（図示せず）に各視点の画像情報を選択的に供給して３次元画像を生成する。３次元画像を生成して表示すると、ステップＳ７０３へ進む。
【００３７】
ステップＳ７０３において、３次元画像指定部６０３は、ユーザーによるタッチ入力の有無を検知する。タッチ入力が有ると検知した場合には、ステップＳ７０４の処理へ進み、タッチ入力がないと検知した場合には、ステップＳ７００の処理へ戻る。
【００３８】
ステップＳ７０４において、３次元画像指定部６０３は、タッチパネル６０上でユーザーがタッチした位置と、タッチ時の指の操作から、ユーザーによるタッチ入力が各種の表示指示の中のどの指示であるかを識別する。表示指示とは、拡大処理を指示するダブルタップ（２回押し）、スクロール、（２本指で画面を広げる）ピンチアウト、（２本指で画面を狭める）ピンチイン等の所謂一般のタッチ操作で物の表示状態を指示することをいう。ユーザーがタッチした位置と表示指示を識別するとステップＳ７０５へ進む。
【００３９】
ステップＳ７０５において、３次元画像指定部６０３は、ユーザーがタッチパネル６０上でタッチした画像を指定する。指定した画像は、タッチする直前に視点選択ボタン８０１に応じて表示していた視点の３次元画像の中のタッチ位置に表示している画像である。なお、視点選択ボタン８０１をユーザーが操作せずに、ステップＳ７０３でユーザーのタッチ入力の有無を検知した場合、ユーザーが所望する視点画像は多視点の３次元画像として略正面に表示している視点４とする。
【００４０】
また、ステップＳ７０５で指定するタッチ画像は、視点選択ボタン８０１に応じて表示していた視点の３次元画像のタッチ位置に表示している画像である。タッチ画像は、視点選択ボタン８０１が視点６を選択している場合、３次元表示器５０のレンチキュラーレンズ２０２と相対的位置が保証される。ほぼ正面の画素位置に表示される画像データは、３次元画像情報８０３に示すように、図３に示す画像６と画像７、すなわち視点６の右目用の２次元画像７と視点６の左目用の２次元画像６である。
【００４１】
従って、本実施例では、タッチ画像はその時点で表示している３次元画像の内、ユーザーの左目用の２次元画像におけるタッチ位置の画像とする。両目用の２種類の２次元画像の内、右目用を用いるか、或いは左目用を用いるかをその都度、或いはタッチ位置に応じて選択的に切り替えても良いが、望ましくは、本実施例の如く左目用（或いは右目用）を用いることで初期設定する。タッチした画像を指定するとステップＳ７０６へ進む。
【００４２】
ステップＳ７０６において、３次元画像制御部６０４は、ステップＳ７０５で指定した画像の加工を制御する。画像の加工制御は、視点６の３次元画像、すなわち図３に示す画像６及び画像７に補間処理を行って視点６の３次元画像として拡大処理を行う。これは、３次元画像取得部６０１で記憶保持している３次元画像の中で３次元画像生成部６０２で表示している視点６の左目用２次元画像の中のタッチ位置にある画像部を中心に行う。視差を考慮しながら行う３次元画像の拡大補間処理は、公知の技術を用いる。例えば、「綱島宣浩他：オクルージョンを考慮した２眼ステレオ画像からの中間画像データの作成、３Ｄ  Image Conference '95 pp.174-177(1995) 」に詳しく開示されている。また、「吾妻健夫他:中間像生成のためのエッジ情報を用いた視差推定、３D  Image Conference'95 pp.190-194(1995)」等にも開示されている。
【００４３】
本実施例では、ステップＳ７０４で識別されたタッチ動作が拡大を指示するダブルタップであったとして、又、左目用２次元画像を用いることが既定されている。そのため、ステップＳ７０６では、図３に示す左目用２次元画像、すなわち画像６上のステップＳ７０４で識別されたタッチ位置の画像部を中心とし、拡大表示するための画像の加工を制御している。画像の加工制御をすると、ステップＳ７００に戻る。
【００４４】
図８は、本実施例に係る多視点の３次元画像から所望する視点を選択する手順を説明する図である。３次元表示器５０の中央部の表示領域８００に表示する情報は、図２で説明した多視点の３次元画像を表示するための３次元画像情報から指定の視点の３次元画像を表示するための３次元画像情報に切り替わる。すなわち、３次元表示器５０を正面から見た場合のみユーザーが３次元画像を見ることができるように、表示領域８００は各視点から見た３次元画像を順次表示するように表示制御する。具体的には、画面下部に表示された視点選択ボタン８０１をタッチパネル６０の操作で矢印方向にスクロールする。すると、ボタン８０１の位置に応じて表示領域８００の表示画像は視点６、視点５、視点４、視点３、視点２、視点１の順に３次元画像に切り替わる。
【００４５】
多視点の３次元画像は、１つのレンチキュラーレンズ２０２内にある各視点から見た３次元画像である。多視点の３次元画像を表示するために、多視点の３次元画像を構成する全ての２次元画像情報を含む３次元画像情報８０３によって３次元画像を表示する。しかし、ステップＳ７０２の処理に移行すると、視点選択ボタン８０１の位置に応じて、例えば、視点６用の３次元画像情報８０４が示す３次元画像を表示領域８００に表示する。視点６用の３次元画像情報８０４は、３次元表示器５０の略正面から見た場合に視点６の３次元画像を表示するための情報に変更されている。すなわち、３次元画像生成部６０２は、レンチキュラーレンズ２０２の略中央部の画素位置に視点６の２次元画像情報６及び２次元画像情報７を表示し、他の画素位置は黒データに固定する。これにより、正面から見れば視点６の３次元画像が見え、それ以外の角度からは何も見えなくなる。つまり、ステップＳ７０２では、多視点の３次元画像を示す３次元画像情報の一部を書き換えて、指定の視点の３次元画像を示す３次元画像情報に変更（あるいは生成）する処理が行われる。
【００４６】
従って、視点選択ボタン８０１をユーザーが、矢印方向に移動させた場合、その位置に応じて、表示する３次元画像情報を、視点６の３次元画像を表示する３次元画像情報８０４から他の視点を表示する３次元画像情報に変更する。これにより、視点選択ボタン８０１で指示された視点から見た３次元画像を順次表示できる。
【００４７】
また、指定された視点の３次元画像以外の３次元画像については、表示されない処理（無効化処理）が施されている。これにより、３次元表示器５０をユーザーが異なる角度で見ることによって所望する画像と異なる画像が選択されることを防止することができる。ユーザーは、この視点選択ボタン８０１をスクロールして、所望の視点からの３次元画像が表示された状態で、必要であれば表示された３次元画像の中で、更に指定すべき画像部分をタッチパネル６０でタッチすることができる。
【００４８】
図８を用いて３次元画像情報と２次元画像情報の関係について補足する。前述したように２次元画像情報は、２次元画像を表示するための信号源である。例えば、視点６の３次元画像のうち左目に対応する２次元画像を示す２次元画像情報６は、３次元表示器５０のレンチキュラーレンズ２０２と相対的位置が保証された所定の画素位置に表示される画像データである。３次元画像情報には、これらの複数の２次元画像情報が含まれており、かつその各２次元画像情報が配置される相対的位置を示す情報も含まれている。図８の例では、３次元画像情報は、３次元画像情報８０３および８０４で示す構造を表す情報のことである。なお、３次元画像情報や２次元画像情報には、上述した情報またはデータのほかにも、撮像時に得られる各種の情報など他の情報が含まれていても良い。
【００４９】
本発明は、多視点の３次元画像に対して所望する３次元画像を指定することに特徴が有る。そのため、指定された任意の視点の３次元画像、或いは、画像中のタッチ画像を指定した後の全体画像や一部の画像に対する加工制御の内容、及びその後の処理手段には何ら限定されることはない。特に、本実施例では、視点６の３次元画像に対して拡大表示したが、タッチ位置の画像に関連させて、他の視点の３次元画像も拡大処理することが可能である。結果として、ステップＳ７０６からステップＳ７００に戻り、多視点の３次元画像としてタッチ位置を中心に拡大した３次元画像を表示することも容易である。
【００５０】
或いは、タッチ位置の画像が背景画像と独立した物体の場合、物体に関する付帯情報を吹き出し等を用いて２次元表示することも本発明における３次元画像情報の制御である。特に、本発明が対象とする多視点の３次元画像は、視点によって他の物体画像の影に隠れて視認できない画像部分も視点を変えることで見ることができる。これにより、隠れた物体の画像を他の画像から独立した物体画像として、単独に３次元画像として切り取ることも本発明における３次元画像情報の制御に包含される。
【００５１】
以上、本実施例によれば、３次元表示された多視点の３次元画像に対してユーザーが、タッチパネルによって、表示されている一部の画像を指定し、画像の拡大表示等の指示が可能になる。また、画像を指定する際に、他の視点に係る３次元画像情報を無効化することにより、ユーザーが所望する視点からの画像を確実に指定することができるので、所望の画像とは異なる画像に対する指示入力を防止することができる。
【００５２】
＜実施例２＞
実施例１では、タッチパネル６０で画像をタッチする前に、ユーザーに多視点の３次元表示している画像の中から所望する画像をタッチ指示し易い視点の３次元画像を選択させる実施例を説明した。本実施例２では、このような操作に依らず、直接ユーザーの所望する画像をタッチ操作で指定する実施例を説明する。
【００５３】
本実施例では、３次元表示器５０を操作および観測しているユーザーの位置を撮像装置９０で撮像する。その後、撮像した画像からユーザーの３次元表示器５０に対する位置を認識して、ユーザーの３次元表示器５０に対する視点を確定する。この確定したユーザーの視点あるいは、視点とタッチパネル６０のタッチ位置によってタッチ画像を指定する。
【００５４】
図９は、本実施例の画像処理装置１における多視点の３次元画像の画像指定処理を示すフローチャートである。本実施例では、図７で説明した実施例１と同様の処理であるステップＳ９００と、ステップＳ９０３からＳ９０６については、説明を省略する。
【００５５】
ステップＳ９０１において、３次元画像指定部６０３は、ステップＳ９００で表示した３次元画像の視点を認識する処理を実行する。ステップＳ９０１の処理を図１０及び図１１を用いて詳細に説明する。
【００５６】
図１０は、本実施例に係る視点認識の原理を表す図である。図１０を用いて撮像された画像１０００内で認識したユーザーの顔の位置からユーザーの視点を指定する原理を詳細に説明する。一般に両目の視差を利用した３次元表示器は、観察者が表示器から所定の距離Ｌｍ離れた位置で最も３次元画像を良好に見ることができる。すなわち、撮像されたユーザーは、３次元表示器５０から略距離Ｌｍ離れた位置で撮像されたと推定することができる。従って、撮像された画像１０００内のユーザーの両目の間隔となる距離Ｌｉが標準的に８ｃｍだと想定して、ユーザーの位置の表示器中央からのズレである距離Ｌｏを求めることができる。また、図１０において３次元表示器５０の前面から距離Ｌｍの位置に示す仮想のライン１００１上のユーザーの位置、すなわち点Ｐから３次元表示器５０の中央を目指す方向がユーザーの視点となる。
【００５７】
多視点の３次元表示器５０を点Ｐの位置から見た場合、予め撮像され、表示されたどの視点の３次元画像が最も良好に見えるかを判定することでユーザーが見ている視点の画像を指定することができる。
【００５８】
すなわち、３次元表示器５０の中央からの距離Ｌｏが正の値なら、視点１か、視点２か、視点３のいずれかであり、３次元表示器５０の中央からの距離Ｌｏが負の値なら、視点６か、視点５か、視点４のいずれかである。
【００５９】
図１０で図示するように、推定されたユーザーの位置Ｐと各表示されている３次元画像の視線が仮想のライン１００１と交わる位置を比較して、ユーザーの位置Ｐに近い視線を求めれば、その視点に対応する画像がユーザーが所望する３次元画像と判定できる。なお、Ｌ１は、視点３と視点２を識別する閾値、Ｌ２は視点２と視点１を識別する閾値、−Ｌ１は視点４と視点５を識別する閾値、−Ｌ２は視点５と視点６を識別する閾値である。これらは、それぞれライン１００１と両視線が交わる中間点の３次元表示器５０の中央からの距離とすることができる。
【００６０】
図１１は、本実施例に係る視点認識の処理のステップＳ９０１の詳細を示すフローチャートである。ステップＳ９０１の視点認識の処理は、３次元画像指定部６０３が実行する。
【００６１】
ステップＳ１１１１において、３次元画像指定部６０３は、撮像装置９０を制御して３次元表示器５０の中央に設置された撮像装置９０で観察者の正面を撮像し、図１０の撮像された画像１０００を示す画像データを得る。この撮像画像１０００を示す画像データを図１のＲＡＭ４０に一時記憶しておき、ステップＳ１１１２へ進む。
【００６２】
ステップＳ１１１２において、３次元画像指定部６０３は、公知のパターンマッチング顔認識技術でユーザーの顔の位置を認識する。一般に人の顔認識は横に並ぶ１対の目の存在に着目して容易にその重心位置を認識できる。ユーザーの顔の位置を認識すると、ステップＳ１１１３へ進む。
【００６３】
ステップＳ１１１３において、３次元画像指定部６０３は、認識した顔の位置からユーザーの視点を指定して、その視点の位置と３次元表示器５０の中央位置との距離Ｌｏを検出する。距離Ｌｏを検出すると、ステップＳ１１１３へ進む。
【００６４】
ステップＳ１１１４において、３次元画像指定部６０３は、距離Ｌｏの符号を判定する。距離Ｌｏの符号が正の場合は、ステップＳ１１１５へ進む。
【００６５】
ステップＳ１１１５において、Ｌｏ＞Ｌ２ならば、３次元画像指定部６０３はユーザーの視点を視点１に指定する。Ｌｏ≦Ｌ２ならば、ステップＳ１１１６へ進む。
【００６６】
ステップＳ１１１６において、Ｌｏ＞Ｌ１ならば、３次元画像指定部６０３はユーザーの視点を視点２に指定する。Ｌｏ≦Ｌ１ならば、３次元画像指定部６０３はユーザーの視点を視点は３に指定する。
【００６７】
ステップＳ１１１４の判定で、距離Ｌｏの符号が負の場合は、ステップＳ１１２０へ進む。
【００６８】
ステップＳ１１２０において、Ｌｏ＜−Ｌ２ならば、３次元画像指定部６０３はユーザーの視点を視点６に指定する。Ｌｏ≧−Ｌ２ならば、ステップＳ１１２１へ進む。
【００６９】
ステップＳ１１２１において、Ｌｏ＜−Ｌ１ならば、３次元画像指定部６０３はユーザーの視点を視点５に指定する。Ｌｏ≧−Ｌ１ならば、３次元画像指定部６０３はユーザーの視点を視点４に指定する。なお、図１０で示す撮像された画像１０００では、ユーザーの視点は視点２として指定される。
【００７０】
以上の処理により、ステップＳ９０１の視点認識の処理でユーザーが見ている３次元画像が視点２として指定される。その後、３次元画像指定部６０３は、ステップＳ９０２からＳ９０４の処理を経て、ステップＳ９０５で設定が左目用の２次元画像であれば、視点２の左目用画像を使って実施例１と同様に以降の処理を行う。
【００７１】
本実施例の処理によれば、実施例１で説明した処理に比べて多視点の３次元画像から視点を指定するためのユーザーの操作を不要とすることができる。このため、実施例１よりも操作性の優れた実施例となる。
【００７２】
なお、ユーザーの視点を識別する手段として本発明は、通常の表示器３が有する撮像装置９０を用いている。しかし、例えば、表示器３が２組の撮像装置９０を有する場合は、ユーザまでの距離がより正確に識別できるため、本実施例に比べて精度良くユーザーの視点を指定できる。
【００７３】
また、２組の赤外線送受信手段を有し、表示器３からそれぞれユーザー方向に略無指向性で赤外線を放射し、その反射光の強度からユーザの位置を検出する技術において本発明は実施できる。或いは、ユーザーの視線を直接識別する方法、表示器の位置とユーザーが発信するＧＰＳ等位置情報との関係から識別する方法等、一般的に公知の他の手段を用いても本実施例に限らず本発明は実施でき、優れた効果が得られる。
【００７４】
＜実施例３＞
実施例１および２は、視差分割方式としてレンチキュラーレンズ２０２を用いた多視点の３次元表示器５０を用いた実施例である。しかしながら、３次元表示器は、レンチキュラーレンズ２０２を用いるものに限定されることなく他の３次元表示器を用いることも可能である。本実施例３では、パララックスバリア方式の３次元表示器を用いる例について説明する。
【００７５】
図１２は、本実施例で用いるパララックスバリア方式の３次元表示器１２００の表示原理を表す図である。例えば、図１２に示すパララックスバリア方式の３次元表示器１２００は、液晶表示部１２０１と、表示画面の手前に左右の目から見た視線上に互いに他方の目用の表示画素からの光を遮るための光学的なパララックスバリア１２１０を有する。
【００７６】
従って、図１２に示すように右目の視点からは、パララックスバリア１２１０で左目用画素の光路が遮光され、逆に左目の視点からは、パララックスバリア１２１０で右目用画素の光路が遮光される。その結果、両目には両目の視点で撮像された異なる視点の画像が見えるため、３次元表示がなされる。
【００７７】
図１３を用いて、パララックスバリア方式の３次元表示器１２００を使った本実施例を詳細に説明する。図１３中液晶表示部１２０１は、それぞれ右目用表示画素１７０と左目用表示画素１７１とを隣接対として有している。視点１から見た３次元画像を表示する場合、３次元画像情報１７２は、右目用画素位置に図３に示す画像２の２次元画像情報を短冊状に分解して表示する。併せて、左目用画素位置に画像１の２次元画像情報を短冊状に分解して表示すれば良い。ここで、多視点の３次元画像として図１３に示す様に各視点の３次元画像情報を有する場合、実施例１および２の場合と同様に、順次表示する３次元画像情報を切り替えて表示すれば、所望する視点の画像を指定することができる。また、タッチ画像を指定する際に用いる２次元画像情報も、実施例１および２の場合と同様に予め設定された左右どちらかの目用の２次元画像情報を用いれば良い。３次元画像指定部６０３は、用いる３次元表示器の原理に応じて表示する２次元画像情報または３次元画像情報を選択して３次元表示器で表示することができる。
【００７８】
すなわち、図７及び図８で説明した、視点を選択する際の各視点の３次元画像情報については３次元画像情報１７２および１７３を直接用いれば同様に実施が可能である。
【００７９】
パララックスバリア方式の３次元表示器１２００を用いた本実施例では、同時に多視点の３次元表示はできないが、画素密度の高い表示が可能であり、より正確に画像を指定することができる。
【００８０】
＜その他の実施例＞
先の実施例では多視点の３次元表示している表示画像の一部に対する指示をタッチパネル６０を用いて実施した例を開示したが、本発明を実施する図１で示す画像処理装置を構成するＰＣ２は一般的なパーソナルコンピュータである。そのため、タッチパネル６０を用いて詳細に説明した実施例は、マウスやタッチパッド８０或いはキーボード７０の複数のキーを用いて画面に表示した画像の一部を指し示すことが同様に実施できる。また、拡大、移動、切り取り等一般的な指定した画像に対する制御も指示できる。従って、これらの入力手段を用いても同様に本発明の効果が得られることは述べるまでもない。
【００８１】
なお、開示した実施例では、画面に表示された一部の画像を中心にユーザーが望む表示のための３次元画像情報を制御する。ところが、タッチパネル等で画面の一部を差し示さなくとも、多視点の３次元画像の中からユーザーが任意の視点画像を指定した時、或いはユーザーの視点を指定した時点で視点画像全体を指定したこととする。よって、視点画像の中心を起点として視点画像全体の３次元画像情報を制御することも容易に実施できる。
【００８２】
すなわち、必ずしも指定した３次元画像の中の一部の画像をタッチパネル等で指定せずとも本発明の目的は達成され、効果が得られることは２次元画像に対する従来技術からも明白である。
【００８３】
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014116843.tif 000003
【図２】
2014116843.tif 000004
【図３】
2014116843.tif 000005
【図４】
2014116843.tif 000006
【図５】
2014116843.tif 000007
【図６】
2014116843.tif 000008
【図７】
2014116843.tif 000009
【図８】
2014116843.tif 000010
【図９】
2014116843.tif 000011
【図１０】
2014116843.tif 000012
【図１１】
2014116843.tif 000013
【図１２】
2014116843.tif 000014
【図１３】
2014116843.tif 000015