(57)【要約】【課題】立体視映像全体の明るさに対する原画像全体の明るさの再現性をより向上させること。【解決手段】レンチキュラレンズＬ１に含まれる合成画像サブピクセルには、合成画像ピクセルＰ０に対応する原画像ピクセルのサブピクセルの輝度を３／４倍し、合成画像ピクセルＰ１に対応する原画像ピクセルのサブピクセルの輝度を１／４倍して足した値を設定する。レンチキュラレンズＬ２に含まれる合成画像サブピクセルには、合成画像ピクセルＰ１及びＰ２に対応する原画像ピクセルのサブピクセルの輝度をそれぞれ２／４倍して足した値を設定する。レンチキュラレンズＬ３に含まれる合成画像サブピクセルには、合成画像ピクセルＰ２に対応する原画像ピクセルのサブピクセルの輝度を１／４倍し、合成画像ピクセルＰ３に対応する原画像ピクセルのサブピクセルの輝度を３／４倍して足した値を設定する。【選択図】図３
2011002843.tif 000002
【特許請求の範囲】
【請求項１】
視点の異なる複数の原画像の中から、立体視映像として表示される合成画像を構成する合成画像サブピクセルそれぞれに対応する原画像サブピクセルをインターリーブすることにより前記合成画像を生成する立体視用画像生成装置であって、
前記複数の原画像それぞれにおいて、表示セルに係る複数の合成画像ピクセルそれぞれに対応する原画像ピクセルに含まれる原画像サブピクセルであって、輝度設定対象の合成画像サブピクセルと同色の原画像サブピクセルの輝度を、当該表示セルに係る合成画像ピクセル相互の領域割合に基づいて合成して当該合成画像サブピクセルの輝度を設定することで前記合成画像を生成する立体視用画像生成装置。
【請求項２】
前記視点の異なる前記複数の原画像を生成する原画像生成手段を更に備えた請求項１に記載の立体視用画像生成装置。
【請求項３】
請求項１又は２に記載の立体視用画像生成装置を備える多眼レンチキュラ方式の立体視映像表示装置。
【請求項４】
視点の異なる複数の原画像の中から、立体視映像として表示される合成画像を構成する合成画像サブピクセルそれぞれに対応する原画像サブピクセルをインターリーブすることにより前記合成画像を生成する立体視用画像生成方法であって、
前記複数の原画像それぞれにおいて、表示セルに係る複数の合成画像ピクセルそれぞれに対応する原画像ピクセルに含まれる原画像サブピクセルであって、輝度設定対象の合成画像サブピクセルと同色の原画像サブピクセルの輝度を、当該表示セルに係る合成画像ピクセル相互の領域割合に基づいて合成して当該合成画像サブピクセルの輝度を設定することで前記合成画像を生成することを含む立体視用画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視用画像の生成方法等に関する。
【背景技術】
【０００２】
従来、多眼レンチキュラ方式の立体視映像表示装置では、図２に示すような、複数の異なる視点から見た画像（以下、原画像という。）２をサブピクセル毎に順番に割り振ることにより立体視用の画像（レンチキュラ板を通して、立体視映像として表示される画像）（以下、合成画像という。）を生成するサブピクセルインターリーバ（以下、インターリーバという。）が知られている。一般に、複数の異なる視点から見た画像は、それぞれ異なる画像となるが、図２においては、説明を簡明とするため、全ての視点から見た画像を同じものとしている。また、図２は、４眼レンチキュラ方式（以下、４眼式という。）の場合の原画像２を示しており、原画像２としては、４つの原画像（遠左原画像２−０、左原画像２−１、右原画像２−２、遠右原画像２−３）が含まれる。インターリーバは、これら４つの原画像から合成画像を生成する。また、４眼式の場合には、４ピクセルづつインターリーブし、それを繰り返すことにより、全体の合成画像を生成するが、この図２では、簡明のため原画像２として４ピクセルのみを示している。また、以下の説明においても、簡明のため４ピクセルのみを対象として説明する。
【０００３】
従来、複数の原画像から、合成画像を生成する方法として、図８のように合成画像の各サブピクセル（以下、合成画像サブピクセルという。）に対応する各原画像のサブピクセルを選択し、その選択したサブピクセルの輝度を合成画像サブピクセルの輝度とする方法（以下、ダイレクトサンプリングという。）があった。図８は、遠右原画像２−３、右原画像２−２、左原画像２−１、遠左原画像２−０をダイレクトサンプリングする場合を示している。
【０００４】
ダイレクトサンプリングについて、より具体的に説明すると、４つの合成画像ピクセルＰ０、Ｐ１、Ｐ２、Ｐ３に含まれる各合成画像サブピクセルｒ0、ｇ0、ｂ0、…、ｒ3、ｇ3、ｂ3は、順番に遠右原画像２−３、右原画像２−２、左原画像２−１、遠左原画像２−０のサブピクセルの輝度に基づいて決まる。即ち、合成画像サブピクセルｒ0の輝度は、遠右原画像２−３から決まり、合成画像サブピクセルｇ0の輝度は、右原画像２−２から決まり、合成画像サブピクセルｂ0の輝度は、左原画像２−１から決まり、合成画像サブピクセルｒ1の輝度は、遠左原画像２−０から決まる。そして、合成画像サブピクセルｇ1の輝度は、再び遠右原画像２−３から決まる。
【０００５】
合成画像サブピクセルｒ0は、最左合成画像ピクセル（合成画像ピクセルＰ０）のサブピクセルであるため、この合成画像サブピクセルｒ0に対して、遠右原画像２−３のピクセル（以下、遠右原画像ピクセルという。）の内、最左のピクセルＰ３０のサブピクセルｒ30が選択される。同様に、合成画像サブピクセルｇ0に対して右原画像２−２のピクセル（以下、右原画像ピクセルという。）の内、最左のピクセルＰ２０のサブピクセルｇ20が選択され、合成画像サブピクセルｂ0に対して、左原画像２−ｌのピクセル（以下、左原画像ピクセルという。）の内、最左のピクセルＰ１０のサブピクセルｂ10が選択される。また、合成画像サブピクセルｒ1は、左から２番目の合成画像ピクセル（合成画像ピクセルＰ１）のサブピクセルであるため、この合成画像サブピクセルｒ1に対して、遠左原画像２−０のピクセル（以下、遠左原画像ピクセルという。）の内、左から２番目のピクセルＰ０１のサブピクセルｒ01が選択される。
【０００６】
そして、各合成画像サブピクセルの輝度を、選択された各原画像サブピクセルの輝度とすることにより、レンチキュラ板Ｌを通して、立体視映像として表示される合成画像を生成していた。このダイレクトサンプリングにより図２に示すような各原画像２−０、２−１、２−２、２−３をサンプリング及びインターリーブした合成画像は、図９に示すような映像となる。即ち、遠右の視点から見える映像３−３は、遠右原画像２−３のサブピクセルが選択されている合成画像サブピクセルｒ0、ｇ1、ｂ2がレンチキュラ板Ｌの各レンズによりレンズ幅（合成画像サブピクセル４つ分）に拡大されて表示される。合成画像サブピクセルｒ0の輝度は、遠右原画像サブピクセルｒ30の輝度となり、合成画像サブピクセルｇ1の輝度は、遠右原画像サブピクセルｇ31の輝度となり、合成画像サブピクセルｂ2の輝度は、遠右原画像サブピクセルｂ32の輝度となる。また、レンズ幅に拡大されたサブピクセルを見かけの表示セルという。
【０００７】
同様に、右の視点から見える立体視映像３−２は、右原画像２−２のサブピクセルが選択されている合成画像サブピクセルｇ0、ｂ1、ｒ3がそれぞれレンズ幅に拡大されて表示され、左の視点から見える立体視映像３−１は、左原画像２−１のサブピクセルが選択されているｂ0、ｒ2、ｇ3がそれぞれレンズ幅に拡大されて表示される。そして、遠左の視点から見える立体視映像３−０は、遠左原画像２−０のサブピクセルが選択されているｒ1、ｇ2、ｂ3がそれぞれレンズ幅に拡大されて表示される。
【０００８】
また、図１０に示すように、見かけの表示セルの中心を標本点とし、標本点が位置する合成画像ピクセルに対応する原画像ピクセルからサブピクセルを選択する方法（以下、ポイントサンプリングという。）も用いられていた。
【０００９】
図１０は、ポイントサンプリングを説明する図である。図１０に示すように、レンチキュラ板Ｌの各レンチキュラレンズＬ１、Ｌ２、Ｌ３の中心、即ち、見かけの表示セルの中心位置をそれぞれ標本点Ｓ１、Ｓ２、Ｓ３とする。そして、各見かけの表示セルの標本点が位置する合成画像ピクセルに対応する原画像ピクセルからサブピクセルを選択する。
【００１０】
例えば、レンチキュラレンズＬ１の中心、即ち、標本点Ｓ１は、合成画像ピクセルＰ０に位置する。そのため、最左の見かけの表示セルに含まれる（立体視映像として表示される際にレンチキュラレンズＬ１により拡大される）合成画像サブピクセルｒ0、ｇ0、ｂ0、ｒ1に対して、それぞれ合成画像ピクセルＰ０に対応する原画像ピクセルからサブピクセルを選択する。即ち、合成画像ピクセルＰ０は、最左合成画像ピクセルであるため、各原画像の最左原画像ピクセルＰ００、Ｐ１０、Ｐ２０、Ｐ３０の各サブピクセルを選択する。
【００１１】
従って、表示サブピクセルｒ0に対して遠右原画像サブピクセルｒ30が選択され、合成画像サブピクセルｇ0に対して右原画像サブピクセルｇ20が選択され、合成画像サブピクセルｂ0に対して左原画像サブピクセルｂ10が選択され、合成画像サブピクセルｒ1に対して遠左原画像サブピクセルｒ00が選択される。そして、各合成画像サブピクセルに対して選択された原画像サブピクセルの輝度を各表示サブピクセルの輝度とする。
【００１２】
また、レンチキュラレンズＬ２の中心である標本点Ｓ２は、合成画像ピクセルＰ１と、合成画像ピクセルＰ２の間に位置するので、標本点Ｓ２の位置により合成画像ピクセルが決定されない。そのため、レンチキュラレンズＬ２により拡大される合成画像サブピクセルｇ1、ｂ1、ｒ2、ｇ2に対しては、合成画像ピクセルＰ１及び合成画像ピクセルＰ２に対応する原画像ピクセルから選択する。即ち、一の合成画像サブピクセルに対して２つの原画像サブピクセルを選択する。そして、選択した２つの原画像サブピクセルの輝度の平均値を合成画像サブピクセルの輝度とする。例えば、合成画像サブピクセルｇ1に対しては、遠右原画像２−３のサブピクセルの内、ｇ31とｇ32が選択され、この２つのサブピクセルの輝度の平均値を合成画像サブピクセルｇ1の輝度とする。
【００１３】
また、レンチキュラレンズＬ３によって拡大される合成画像サブピクセルｂ2、ｒ3、ｇ3、ｂ3については、標本点Ｓ３が最右合成画像ピクセルＰ３に位置するため、各原画像の最右原画像ピクセルＰ０３、Ｐ１３、Ｐ２３、Ｐ３３の各原画像サブピクセルを選択する。そして、選択した原画像サブピクセルの輝度を各合成画像サブピクセルの輝度とする。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】国際公開第００／１０３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、図２に示すような、全ての視点に対する原画像が同一の白黒パターンが繰り返されている原画像２からダイレクトサンプリングによるサンプリング及びインターリーブによって合成画像を生成した場合には、各視点から見える立体視映像は、図９に示すような立体視映像（遠右立体視映像３−３、右立体視映像３−２、左立体視映像３−１、遠左立体視映像３−０）となる。図２に示すように、遠右原画像２−３は中央が暗くて両端が明るいが、図９に示す遠右立体視映像３−３は左端だけが明るく残りは暗くなっており、遠右原画像２−３と、輪郭情報が異なっている。同様に、遠左立体視映像３−０も遠左原画像２−０と輪郭情報が異なっている。このように原画像の輪郭情報が立体視映像において、再現されないといった問題があった。ここで、輪郭情報とは、各サブピクセルの輝度の値（明暗）で示される表示物体の輪郭（形）を意味する。遠右原画像２−３と遠右立体視映像３−３とは、明るい部分とくらい部分との形が原画像と異なっているため、輪郭情報が再現されていないこととなる。
【００１６】
また、同様の理論によりダイレクトサンプリングによって生成される合成画像を表示した際の立体視映像全体の明るさが、原画像全体の明るさと異なってしまうといった問題があった。例えば、図２に示す各原画像では、原画像全体の半分のサブピクセルの輝度が“１”であり、残りの半分のサブピクセルの輝度が“０”である。即ち、原画像のサブピクセルの輝度を全て“１”とした場合（最も明るい場合）の半分の明るさである。しかし、図９に示した立体視映像においては、遠左立体視映像３−０及び遠右立体視映像３−３においては、立体視映像全体のサブピクセルの輝度を全て“１”とした場合の１／３の明るさとなり、左立体視映像３−１及び右立体視映像３−２においては、立体視映像のサブピクセルの輝度を全て“１”とした場合の２／３の明るさとなり、原画像全体の明るさと異なる。
【００１７】
また、図２に示したような原画像からポイントサンプリングによるサンプリング及びインターリーブによって合成画像を生成した場合には、図１１に示すような立体視映像が表示される。即ち、両端の原画像ピクセルの情報（原画像において白部分）は、それぞれレンチキュラレンズの幅に拡大されて表示されるが、中央の２ピクセル分の情報（原画像において黒部分）が１レンズ幅に縮小されて表示されることとなる。例えば、図２に示したような、中央の２ピクセルが黒（暗）で、両端のピクセルが白（明）といった原画像の場合には、立体視映像において黒（暗）部分が縮小されるため、原画像全体よりも立体視映像全体の方が明るくなってしまうといった問題があった。
【００１８】
また、例えば、図２に示すような原画像において、白黒パターンが水平方向に移動する（白と黒との割合は変化せず、位置のみ変化する。即ち、原画像全体の明るさは変化しない。）動画を立体視映像として表示する場合に、原画像全体の明るさは変化しないのに、ポイントサンプリングにより生成・表示される立体視映像全体の明るさは変化してしまう（白と黒との位置が変わる度に、白部分が縮小されたり、黒部分が縮小されたりするため、立体視映像全体の明るさが原画像全体の明るさより明るくなったり暗くなったりする）ため、映像がちらつき、観察者に目の疲れや不快感を与えるといった問題があった。また、このような問題は視点数が増えるほど顕著であった。
【００１９】
本発明の課題は、立体視映像全体の明るさに対する原画像全体の明るさの再現性をより向上させることである。
【課題を解決するための手段】
【００２０】
上記課題を解決するための第１の発明は、視点の異なる複数の原画像（例えば、図２に示す原画像２）の中から、立体視映像の各サブピクセル（例えば、図３に示す合成画像サブピクセルｒ0，ｇ0，ｂ0，・・・，ｒ3，ｇ3，ｂ3）に対応するサブピクセル（例えば、図２に示す原画像サブピクセルｒ00，ｇ00，ｂ00，・・・，ｒ33，ｇ33，ｂ33の内のいずれか）を選択し、選択したサブピクセルをインターリーブすることにより生成した立体視映像（実施の形態における合成画像）を多眼レンチキュラ方式の立体視映像表示装置（例えば、図１に示す表示部３０）に出力するインターリーバ（例えば、図１に示すインターリーバ１０）であって、表示セルを単位とし、かつ、該表示セルに含まれる、前記立体視映像のピクセル領域の割合に基づいて、前記立体視映像の各サブピクセルの輝度を設定するための輝度設定手段を備えるインターリーバである。
【００２１】
第５の発明は、多眼式レンチキュラ方式の立体視映像表示装置に表示する立体視映像を生成する立体視映像生成方法であって、視点の異なる複数の原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを選択し、選択したサブピクセルをインターリーブする際に、当該サブピクセルそれぞれの輝度を、表示セルを単位とし、かつ、該表示セルに含まれる、前記立体視映像のピクセル領域の割合に基づいて、決定する立体視映像生成方法である。
【００２２】
ここで、表示セルとは、レンチキュラ板の一のレンズにより拡大された立体視映像のサブピクセル（見かけの表示セル）を指す。即ち、表示セルの幅は、レンチキュラレンズの幅と等しくなる。
【００２３】
第１または第５の発明によれば、表示セルに含まれる前記立体視映像のピクセル領域の割合に基づいて、立体視映像の各サブピクセルの輝度を設定するため、各表示セルに対応する原画像の各ピクセルの割合を立体視映像の各サブピクセルに反映できるため、立体視映像の明るさにおける原画像全体の明るさの再現性を向上させることができる。
【００２４】
第２の発明は、視点の異なる複数の原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを選択し、選択したサブピクセルをインターリーブすることにより生成した立体視映像を多眼レンチキュラ方式の立体視映像表示装置に出力するインターリーバであって、前記立体視映像の各サブピクセルの輝度を、前記原画像それぞれのサブピクセルの輝度平均値として設定するための輝度設定手段を備えるインターリーバである。
【００２５】
第６の発明は、多眼式レンチキュラ方式の立体視映像表示装置に表示する立体視映像を生成する立体視映像生成方法であって、視点の異なる複数の原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを選択し、選択したサブピクセルをインターリーブする際に、当該サブピクセルそれぞれの輝度を、前記原画像それぞれのサブピクセルの輝度平均値として決定する立体視映像生成方法である。
【００２６】
第２または第６の発明によれば、立体視映像の各サブピクセルの輝度を原画像のそれぞれのサブピクセルの輝度平均値として設定するため、立体視映像のサブピクセルの輝度に原画像の全ピクセルの輝度を反映することができる。そのため、立体視映像全体の明るさを原画像全体の明るさに等しくすることができる。
【００２７】
第３の発明は、多眼レンチキュラ方式の立体視映像表示装置に表示するための立体視映像を、視点の異なる複数の原画像に基づいて生成するインターリーバであって、任意に設定可能なサンプリング係数（例えば、図１に示す行列Ｋ）に基づいて、前記複数の原画像内の、前記立体視映像の各サブピクセルに対応するサブピクセルの選択および混合比率を決定するためのサンプリング方法決定手段を備えるインターリーバである。
【００２８】
第７の発明は、多眼レンチキュラ方式の立体視映像表示装置に表示するための立体視映像を、視点の異なる複数の原画像に基づいて生成する立体視映像生成方法であって、前記原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを、任意に設定可能なサンプリング係数に基づいて選択し、選択したサブピクセルをインターリーブする際に、当該サブピクセルそれぞれの輝度を、前記サンプリング係数に基づいた混合比率に従って決定する立体視映像生成方法である。
【００２９】
第３または第７の発明によれば、サンプリング係数を変更することにより、容易にサンプリング方法の変更ができるため、サンプリング方法の使い分けができ、画質の調整がより容易になる。例えば、明るさの再現性が重要な画像の場合には、より明るさの再現性の高いサンプリング方法によって、原画像から立体視映像を生成し、輪郭情報が重要となる画像の場合には、輪郭情報の再現性の高いサンプリング方法によって、原画像に基づく立体視映像を生成することができる。また、例えば、処理の速度が重要な場合には、より高速処理が可能なサンプリング方法により立体視映像の生成を行なうことができる。ここで、サンプリング方法とは、サンプリング（立体視映像の各サブピクセルに対応するサブピクセルの選択）及びインターリーブを含む方法を指す。
【００３０】
第４の発明として、第１から第３のいずれかの発明のインターリーバを備える立体視映像表示装置を構成してもよい。
【００３１】
この第４の発明によれば、原画像全体の明るさの再現性を向上させた立体視映像を生成・表示する立体視映像表示装置を提供できる。その結果、映像のちらつきを改善できる。
【図面の簡単な説明】
【００３２】
【図１】本実施の形態における立体視映像表示装置の概略構成を示す図である。
【図２】原画像の一例を示す図である。
【図３】エリアサンプリングの原理を説明する図である。
【図４】エリアサンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【図５】全平均化サンプリングの原理を説明する図である。
【図６】全平均化サンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【図７】本実施の形態におけるサンプリング及びインターリーブに係る動作の一例を示すフローチャートである。
【図８】ダイレクトサンプリングの原理を説明する図である。
【図９】ダイレクトサンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【図１０】ポイントサンプリングの原理を説明する図である。
【図１１】ポイントサンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【発明を実施するための形態】
【００３３】
以下、本発明の好適な実施形態について図面を参照して説明する。図１は、本発明を適用したインターリーバを備えた立体視映像表示装置１００の概略構成を示す図である。同図において、立体視映像表示装置１００は、インターリーバ１０と、表示部３０とからなる。インターリーバ１０は、外部から入力される行列Ｋに基づいて、原画像２をサンプリング及びインターリーブし、表示部３０に表示する立体視映像の生成装置である。また、画像生成用プログラムを記憶したＲＡＭ、当該プログラムを実行することにより、立体視映像を生成するＣＰＵ等から構成される。また、専用の画像生成ＩＣを用いた回路としてインターリーバ１０を構成することとしても良い。
【００３４】
表示部３０は、液晶表示装置等からなりレンチキュラ板を備えた立体視ディスプレイである。表示部３０は、インターリーバ１０によりインターリーブされた合成画像を表示することにより、レンチキュラ板を介して立体視となる映像を表示する。
【００３５】
また、図１は、４眼式の立体視映像表示装置１００を示しており、原画像２として遠左原画像２−０、左原画像２−１、右原画像２−２、遠右原画像２−３の４つの原画像がインターリーバ１０によりサンプリング及びインターリーブされる。図１において原画像２は、立体視映像表示装置１００の外部から入力することとしたが、立体視映像表示装置１００内に予め格納される、または立体視映像表示装置１００内で生成されることとしても良い。具体的には、例えば、立体視映像表示装置１００がゲーム装置であって、ゲーム画像をも生成・表示する場合が考えられる。
【００３６】
行列Ｋは、詳細は後述するが、インターリーバ１０がサンプリング及びインターリーブする際のサンプリング方法を決定する係数である。この行列Ｋも図１においては、原画像２と同様に、立体視映像表示装置１００の外部から入力することとしたが、立体視映像表示装置１００内に格納されていることとしても良い。
【００３７】
図２は、原画像２の一例を示す図である。同図において、原画像２としての４つの（４つの視点における）原画像２−０、２−１、２−２、２−３は、全て同じ画像であり、４つのピクセルが左から白（ｒ、ｇ、ｂの値（輝度）が全て“１”）、黒（ｒ、ｇ、ｂの値が全て“０”）、黒、白となる画像とする。本明細書を通して各サブピクセル（ｒ、ｇ、ｂ）の輝度は、最も明るい場合を“１”、最も暗い場合を“０”とする。
【００３８】
図３は、本実施の形態におけるインターリーバ１０によるサンプリング及びインターリーブの一例を示す図である。以下、この図３に示すサンプリング及びインターリーブの方法をエリアサンプリングという。図３（ａ）は、レンチキュラ板Ｌの各レンチキュラレンズの幅に従った領域で合成画像を区切り、当該領域に含まれる合成画像ピクセルの割合を示す図である。例えば、レンチキュラレンズＬ１により区切られる合成画像サブピクセル（合成画像サブピクセルｒ0、ｇ0、ｂ0、ｒ1）は、合成画像ピクセルＰ０に属するものが３つ（合成画像サブピクセルｒ0、ｇ0、ｂ0）と、合成画像ピクセルＰ１に属するものが１つ（合成画像サブピクセルｒ1）である。
【００３９】
そのため、図３（ｂ）に示すように、レンチキュラレンズＬ１により区切られる領域の合成画像サブピクセルｒ0、ｇ0、ｂ0、ｒ1に対しては、それぞれ、合成画像ピクセルＰ０の位置に対応する原画像のピクセルＰ３０、Ｐ２０、Ｐ１０、Ｐ００のサブピクセルの輝度を３／４倍したものと、合成画像ピクセルＰ１に対応する原画像ピクセルＰ３１、Ｐ２１、Ｐ１１、Ｐ０１のサブピクセルの輝度を１／４倍したものとを足した値を設定する。
【００４０】
例えば、合成画像サブピクセルｒ0の輝度は、遠右原画像サブピクセルｒ30の輝度を３／４倍した輝度と、遠右原画像サブピクセルｒ31の輝度を１／４倍したものとを足した値に設定される。
【００４１】
また、図３（ａ）に示すように、レンチキュラレンズＬ２により区切られる領域の合成画像サブピクセル（合成画像サブピクセルｇ1、ｂ1、ｒ2、ｇ2）は、合成画像ピクセルＰ１に属するものが２つ（合成画像サブピクセルｇ1、ｂ1）と、合成画像ピクセルＰ２に属するものが２つ（合成画像サブピクセルｒ2、ｇ2）である。
【００４２】
そのため、図３（ｂ）に示すように、レンチキュラレンズＬ２により区切られる領域の合成画像サブピクセルｇ1、ｂ1、ｒ2、ｇ2に対しては、それぞれ、合成画像ピクセルＰ１の位置に対応する原画像ピクセルＰ３１、Ｐ２１、Ｐ１１、Ｐ０１のサブピクセルの輝度を２／４（＝１／２）倍したものと、合成画像ピクセルＰ２に対応する原画像ピクセルＰ３２、Ｐ２２、Ｐ１２、Ｐ０２のサブピクセルの輝度を２／４（＝１／２）倍したものとを足した値を設定する。
【００４３】
例えば、合成画像サブピクセルｇ1の輝度は、遠右原画像サブピクセルｇ31の輝度を１／２倍した輝度と、遠右原画像サブピクセルｇ32の輝度を１／２倍したものとを足した値に設定される。
【００４４】
同様にレンチキュラレンズＬ３により区切られる領域の合成画像サブピクセルに対しては、合成画像ピクセルＰ２の位置に対応する原画像ピクセルＰ３２、Ｐ２２、Ｐ１２、Ｐ０２のサブピクセルの輝度を１／４倍したものと、合成画像ピクセルＰ３の位置に対応する原画像ピクセルＰ３３、Ｐ２３、Ｐ１３、Ｐ０３のサブピクセルの輝度を３／４倍したものとを足した値に設定される。
【００４５】
図４は、図２に示すような原画像、即ち、白、黒、黒、白パターンで、全ての視点における原画像が同一である場合に、インターリーバ１０により、エリアサンプリングで生成される各視点の立体視映像を示す図である。図２に示したように原画像の画像全体の明るさは、画像全体が白（最も明るい）である場合の半分の明るさである。また、図４に示したエリアサンプリングで生成される立体視映像全体の明るさも立体視映像全体が白である場合の半分の明るさとなる。
【００４６】
即ち、エリアサンプリングにより立体視映像を生成する場合に、図２に示した原画像のように、各ピクセル中のサブピクセル（ｒ，ｇ，ｂ）の輝度が同じ場合には、原画像の画像全体の明るさがインターリーバ１０により生成される合成画像による立体視映像全体の明るさとして再現することができる。
【００４７】
次に、各原画像のサブピクセルの値（輝度）とインターリーブ後の各サブピクセルの値との関係について説明する。ここでは、４眼式（即ち、視点数４）の場合に限らず、視点数をｎ（ｎは、３の倍数以外の自然数）とした場合について説明する。数式（１）は、各原画像のサブピクセル値とインターリーブ後の各サブピクセル値ｓＩjとの関係を示す式である。
【００４８】
【数１】
2011002843.tif 000003
【００４９】
ここで、（ｓＩ0，ｓＩ1，ｓＩ2，・・・，ｓＩ3n-1）＝（ｒ0，ｇ0，ｂ0，・・・，ｒn-1，ｇn-1，ｂn-1）である。また、ｖ＝（ｎ−１−（ｊ mod ｎ）、ｃ＝ｊ mod ３、ｊ＝０，１，２，・・・，３ｎ−１である。ここでmodとは、剰余を示す演算子である。
【００５０】
ｖは、各視点の原画像に対応する番号を示す（例えば、４眼式の場合には、ｖ＝３、２、１、０）。また、ｃは、原画像のｒ、ｇ、ｂを示す。（例えば、ｒの場合ｃ＝０、ｇの場合ｃ＝１、ｂの場合ｃ＝２となる。）。
【００５１】
ｊは、合成画像サブピクセルの番号を示す。例えば、ｎ眼式の場合には、ピクセル数がｎである（ｎピクセルづつサンプリング及びインターリーブを行なう）。また、１ピクセルに３サブピクセルが含まれるので、合成画像サブピクセルの数は、３ｎとなる。そのため、ｊの取る値は、“０”から“３ｎ−１”となる。
【００５２】
また、ｉは、ピクセル番号を示す（例えば、ｎ眼式の場合には、ｎピクセルづつサンプリング及びインターリーブを行なうためｉの取る値は“０”から“ｎ−１”となる。）。
【００５３】
即ち、ｓv,3i+cは、サンプリング前の各原画像の各サブピクセルを示す。ｋj,iは、各サブピクセル値を混合する比率を示し、全てのｊ（＝０，１，２，・・・，３ｎ−１）について、数式（２）が成り立つ。
【００５４】
【数２】
2011002843.tif 000004
【００５５】
また、ベクトルｋj＝（ｋj,0，ｋj,1，・・・，ｋj,n-1）、ベクトルｓj＝（ｓv,c，ｓv,3+c，・・・，ｓv,3(n-1)+c）とすると、数式（１）は、数式（３）のように表される。
【００５６】
ｓＩj＝ｋj・ｓj      ・・・（３）
（ｊ＝０，１，・・・，３ｎ−１）
【００５７】
また、各ｊの値に対するベクトルｋjを行列Ｋで表すと、行列Ｋは、数式（４）となる。
【００５８】
【数３】
2011002843.tif 000005
【００５９】
例えば、４眼式において、エリアサンプリングを行なう場合には、行列Ｋは、数式（５）で表される。
【００６０】
【数４】
2011002843.tif 000006
【００６１】
このように、サンプリング、及びインターリーブを数式（１）に従って行なうこととすると、行列Ｋ、即ち、数式（１）のｋj,iを変えることによりサンプリング方法を変更することができる。
【００６２】
例えば、数式（６）は、４眼式において、ダイレクトサンプリングを行なう際の行列Ｋを示す数式である。
【００６３】
【数５】
2011002843.tif 000007
【００６４】
また、数式（７）は、４眼式において、ポイントサンプリングを行なう際の行列Ｋを示す数式である。
【００６５】
【数６】
2011002843.tif 000008
【００６６】
なお、上述した３つのサンプリング以外にも、例えば、数式（８）に示すような行列Ｋを用いてサンプリング及びインターリーブを行なっても良い。
【００６７】
【数７】
2011002843.tif 000009
【００６８】
図５は、数式（８）に示した行列Ｋを用いた場合の４眼式におけるサンプリング（以下、全平均化サンプリングという。）を説明する図である。同図に示すように、各合成画像サブピクセルに対して、対応する原画像（例えば、合成画像ピクセルがｒ0の場合には、遠右原画像２−３）の全ピクセルの対応するサブピクセル（例えば、合成画像サブピクセルがｒ0の場合には、遠右原画像２−３のｒのサブピクセル（ｒ30、ｒ31、ｒ32、ｒ33））の平均値を設定する。
【００６９】
例えば、図２に示した原画像を全平均化サンプリングし、インターリーブすると、図６に示すような立体映像となる。即ち、インターリーバ１０により生成される立体映像の輪郭情報は、原画像と異なるが、原画像の画像全体の明るさがインターリーバ１０により生成される合成画像による立体視映像全体の明るさとして再現することができる。
【００７０】
このように、行列Ｋを、（例えば、４眼式の場合には、数式（５）〜（８）のように）変更する、即ち、数式（１）のｋj,iを変更することによりサンプリング方法を変更することができる。
【００７１】
例えば、輪郭情報がより重要な画像の場合にはポイントサンプリング、色の情報及び画像全体の明るさの情報がより重要な場合には全平均化サンプリング、輪郭情報及び画像全体の明るさの情報がともに重要な場合にはエリアサンプリング、といったように、サンプリングを使い分けることにより画質の調整が可能となる。即ち生成される立体視映像をより高画質なものとすることができる。
【００７２】
また、例えば、画質よりも処理の高速化を優先する場合には、ダイレクトサンプリングを用いるといった使い分けもできる。
【００７３】
次に、本実施の形態におけるサンプリング及びインターリーブに係る動作を図７に示すフローチャートに基づいて説明する。なお、図７に示す動作は、静止画（動画においては１フレームの画像）の合成画像生成処理に係る動作について示すものである。
【００７４】
まず、インターリーバ１０は、サンプリング方法を決定する、即ち、行列Ｋを決定する（ステップＳ１）。次いで、各視点の原画像からｎ（４眼式の場合には、ｎ＝４）ピクセルを取得し（ステップＳ２）、ステップＳ１において決定した行列Ｋに基づいて、数式（１）に従って、サンプリング及びインターリーブを行なう(ステップＳ３）。
【００７５】
そして、原画像の全ピクセルについて、終了したか否かを判別し（ステップＳ４）、終了していない場合には、ステップＳ２に戻り、次のｎピクセルを取得してステップＳ３〜ステップＳ４の処理を繰り返す。そして、全ピクセルについてインターリーブが終了した場合には、インターリーブ後の合成画像ピクセルの輝度に従って合成画像を表示して（ステップＳ５）、処理を終了する。
【００７６】
なお、ステップＳ２〜ステップＳ５の処理を繰り返し、各フレームの合成画像を順次生成・表示することにより、動画に対する立体視映像の生成・表示も可能である。
【００７７】
以上のように、本発明によれば、エリアサンプリングにより、原画像全体の明るさの立体視映像における再現性をより向上させることができる。そのため、例えば、図２に示したような白黒パターンの画像が水平方向に移動するような動画を立体視映像として表示する場合に生じる画面のちらつき（画面の明るさの変化）をより少なくすることができる。
【００７８】
また、行列Ｋを変更することにより、サンプリングを変更することができるため、画像に応じてサンプリングを容易に変更でき、より高画質な立体視映像の表示を実現できる。
【００７９】
なお、本発明は、上記実施の形態で説明したものに限らず、種々の変形実施が可能である。例えば、上記実施の形態においては、原画像を、図２に示したように、白、黒、黒、白パターンで、全視点に対する原画像が等しいこととしたが、原画像としては、どのような画像であっても良く、また、各視点に対する画像が、それぞれ異なることとしても良い。
【００８０】
例えば、原画像の各ピクセルにおいて、ｒ、ｇ、ｂの値が異なる場合には、エリアサンプリングで合成画像を生成すると、原画像全体の明るさと、立体視映像全体の明るさとが異なる場合も有り得る。しかし、各レンチキュラレンズで区切られる領域に含まれる合成画像ピクセルの割合に基づいて、合成画像サブピクセルの輝度を設定するため、領域内に含まれる合成画像ピクセルをそれぞれ反映させることができる。従って、従来のポイントサンプリングやダイレクトサンプリングよりは、立体視映像の明るさに原画像の明るさを反映させることができる。
【符号の説明】
【００８１】
２    原画像
１００    立体視映像表示装置
１０    インターリーバ
１１    表示部
【図１】
2011002843.tif 000010
【図２】
2011002843.tif 000011
【図３】
2011002843.tif 000012
【図４】
2011002843.tif 000013
【図５】
2011002843.tif 000014
【図６】
2011002843.tif 000015
【図７】
2011002843.tif 000016
【図８】
2011002843.tif 000017
【図９】
2011002843.tif 000018
【図１０】
2011002843.tif 000019
【図１１】
2011002843.tif 000020
【手続補正書】
【提出日】平成22年9月10日(2010.9.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
視点の異なる複数の原画像の中から、立体視映像として表示される合成画像を構成する合成画像サブピクセルそれぞれに対応する原画像サブピクセルをインターリーブすることにより前記合成画像を生成する立体視用画像生成装置であって、
前記複数の原画像それぞれにおいて、表示セルに係る複数の合成画像ピクセルそれぞれに対応する原画像ピクセルに含まれる原画像サブピクセルであって、輝度設定対象の合成画像サブピクセルと同色の原画像サブピクセルの輝度を、当該表示セルに係る合成画像ピクセル相互の領域割合に基づいて合成して当該合成画像サブピクセルの輝度を設定することで前記合成画像を生成する立体視用画像生成装置。
【請求項２】
視点の異なる複数の原画像の中から、立体視映像として表示される合成画像を構成する合成画像サブピクセルそれぞれに対応する原画像サブピクセルをインターリーブすることにより前記合成画像を生成する立体視用画像生成装置であって、
前記複数の原画像それぞれにおいて、表示セルに係る複数の合成画像ピクセルそれぞれに対応する原画像ピクセルに含まれる原画像サブピクセルであって、輝度設定対象の合成画像サブピクセルと同色の原画像サブピクセルの輝度を、任意に設定可能なサンプリング係数に基づいて合成して当該合成画像サブピクセルの輝度を設定することで前記合成画像を生成する立体視用画像生成装置。
【請求項３】
前記原画像の解像度は、前記合成画像の解像度と全て同じである、
請求項１又は２に記載の立体視用画像生成装置。
【請求項４】
前記視点の異なる前記複数の原画像を生成する原画像生成手段を更に備えた請求項１〜３の何れか一項に記載の立体視用画像生成装置。
【請求項５】
請求項１〜４の何れか一項に記載の立体視用画像生成装置を備える多眼レンチキュラ方式の立体視映像表示装置。
【請求項６】
視点の異なる複数の原画像の中から、立体視映像として表示される合成画像を構成する合成画像サブピクセルそれぞれに対応する原画像サブピクセルをインターリーブすることにより前記合成画像を生成する立体視用画像生成方法であって、
前記複数の原画像それぞれにおいて、表示セルに係る複数の合成画像ピクセルそれぞれに対応する原画像ピクセルに含まれる原画像サブピクセルであって、輝度設定対象の合成画像サブピクセルと同色の原画像サブピクセルの輝度を、当該表示セルに係る合成画像ピクセル相互の領域割合に基づいて合成して当該合成画像サブピクセルの輝度を設定することで前記合成画像を生成することを含む立体視用画像生成方法。
【請求項７】
視点の異なる複数の原画像の中から、立体視映像として表示される合成画像を構成する合成画像サブピクセルそれぞれに対応する原画像サブピクセルをインターリーブすることにより前記合成画像を生成する立体視用画像生成方法であって、
前記複数の原画像それぞれにおいて、表示セルに係る複数の合成画像ピクセルそれぞれに対応する原画像ピクセルに含まれる原画像サブピクセルであって、輝度設定対象の合成画像サブピクセルと同色の原画像サブピクセルの輝度を、任意に設定可能なサンプリング係数に基づいて合成して当該合成画像サブピクセルの輝度を設定することで前記合成画像を生成することを含む立体視用画像生成方法。
【請求項８】
前記原画像の解像度は、前記合成画像の解像度と全て同じである、
請求項６又は７に記載の立体視用画像生成方法。