(57)【要約】【目的】画像の種類により、最適な平面画像の作成を行うことができる立体画像表示装置を提供することを可能にする。【構成】画素がマトリクス状に配列された表示面を有する表示パネル２ａおよび表示パネルに表示される画像を制御する画像表示制御部２ｂを備えた平面表示装置２と、表示パネルの前面に設けられた複数のレンズを有し画素からの光線を制御する光線制御素子４と、表示モードとして立体画像表示と平面画像表示との一方を選択する表示モード選択部６と、立体画像の表示情報に基づいて表示される平面画像が有する画像情報を分析し、平面画像を処理するか否かの決定する分析部８と、分析部の分析結果に応じて、平面画像を処理し、処理された平面画像を画像表示制御部に送り表示画面に表示させる画像処理部１０と、を備えている。【選択図】図１
2009049751.tif 000002
【特許請求の範囲】
【請求項１】
画素がマトリクス状に配列された表示面を有する表示パネルおよび前記表示パネルに表示される画像を制御する画像表示制御部を備えた平面表示装置と、
前記表示パネルの前面に設けられた複数のレンズを有し前記画素からの光線を制御する光線制御素子と、
表示モードとして立体画像表示と平面画像表示との一方を選択する表示モード選択部と、
前記立体画像の表示情報に基づいて表示される平面画像が有する画像情報を分析し、前記平面画像を処理するか否かの決定する分析部と、
前記分析部の分析結果に応じて、前記平面画像を処理し、処理された平面画像を前記画像表示制御部に送り前記表示画面に表示させる画像処理部と、
を備えていることを特徴とする立体画像表示装置。
【請求項２】
前記平面画像に文字が含まれるかどうかを検出する文字検出部を更に備え、
前記画像処理部は、前記文字検出部によって前記文字が検出された場合、前記平面画像を立体画像表示の解像度で切り取り、それを全視差画像として複写し、立体表示と同じ表示で要素画像にマッピングするか、あるいは前記文字画像を水平方向に水平視差数分、垂直方向に垂直視差数分、拡大することを特徴とする請求項１記載の立体画像表示装置。
【請求項３】
前記画像処理部は、前記平面画像に文字が含まれていない場合に前記平面画像のパターン端部の前記表示画面に対する傾き角度を検出し、前記平面画像のパターン端部の前記表示画面に対する傾き角度と前記光線制御素子の前記レンズの前記表示画面に対する傾き角度との差が±２０度以内あり、かつ前記平面画像の前記パターン端部が垂直方向に２０ライン以上連続する条件を満たす場合には前記平面画像を立体画像の解像度に縮小して前記画像表示制御部に送り、前記条件を満たさない場合は前記平面画像を前記画像表示制御部に送り、
前記画像表示制御部は、解像度が縮小された前記平面画像を受け取った場合には解像度が縮小された前記平面画像を全視差画像が同一の画像となるように複写し、その後立体表示と同じ表示で要素画像にマッピングして、前記表示パネルに解像度分の全画面にわたり表示し、前記条件を満たさない前記平面画像をそのまま、解像度分の全画面にわたり前記表示パネルに表示することを特徴とする請求項２記載の立体表示装置。
【請求項４】
前記画像処理部は、前記平面画像に文字が含まれていない場合に前記平面画像のパターン端部の前記表示画面に対する傾き角度を検出する傾き角度検出手段と、前記平面画像のパターン端部の前記表示画面に対する傾き角度と前記光線制御素子の前記レンズの前記表示画面に対する傾き角度との差が±２０度以内あり、かつ前記平面画像の前記パターン端部が垂直方向に２０ライン以上連続する条件を満たす領域を検出する手段とを有し、前記平面画像のパターン端部の前記表示画面に対する傾き角度と前記光線制御素子の前記レンズの前記表示画面に対する傾き角度との差が±２０度以内あり、かつ前記平面画像の前記パターン端部が垂直方向に２０ライン以上連続する条件を満たす場合には、前記条件を満たす領域のみ全視差同一画像を作成し、前記条件を満たさない領域は、前記平面表示装置と同一の解像度となるように変換して、前記画像表示制御部に送出して前記表示パネルに表示させることを特徴とする請求項２記載の立体表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を表示する立体画像表示装置に関する。
【背景技術】
【０００２】
多数の視差画像を表示するインテグラルフォトグラフィー法（以下、ＩＰ法ともいう）あるいは光線再生法と呼ばれ、立体像を何らかの方法で記録しこれを立体像として再生する方法が知られている。左右の眼から物体を見たときに、近い距離にあるＡ点をみた時の左右の眼と成す角度をα、遠い距離にあるＢ点をみた時の左右の眼となす角度をβとすると、αとβはその物体と観察者の位置関係に応じて異なる。この（α―β）を両眼視差と呼び、人はこの両眼視差に敏感で立体視をすることができる。
【０００３】
従来、立体画像表示装置は、２次元的に画素が配列された平面表示装置と、この平面表示装置の表示画面の前面に設けられ複数のレンチキュラーレンズまたはスリットを有し上記画素からの光線を制御する光線制御素子と、を備えており、先に述べた両眼視差を利用し、観察者から見た時、あたかも平面表示装置から前後数ｃｍの距離の位置の物体から光線が出ているように、平面表示装置からの光線の角度を制御することにより、立体画像表示が可能となっている。この背景には平面表示装置の高精細化により、平面表示装置の光線を数種類の角度（視差と呼ぶ）に振り分けても、ある程度高精細の画像を得ることができるようになったためである。このように、ＩＰ法を平面表示装置に適用した立体（以下３Ｄともいう）表示方法をインテグラルイメージング方式（以下、ＩＩ方式ともいう）と呼ぶ。ＩＩ方式において、一つのレンズまたはスリットから射出される光線の数は要素画像群の数に相当する。この要素画像群の数は通常、視差数と呼び、それぞれのレンズまたはスリットにおいて、視差光線は平行に射出される。
【０００４】
このような立体画像表示装置において、平面画像（以下、２Ｄ画像ともいう）を表示しようとする場合、表示画面の前面、あるいは背面に設けられた光線制御素子の光学作用を除去して、２次元的に画素が配列された平面表示装置自体の高精細な平面表示を行う場合がある。これら光線制御素子の光学作用をハードウェアで除去するかことにより、平面画像表示と立体画像表示を切り替えることが可能となっている。
【０００５】
一方、光線制御素子の光学作用を除去せずに、ソフトウェアで画像自体を平面画像表示と立体画像表示に変換することが知られている（例えば、特許文献１、特許文献２参照）。この特許文献１においては、平面画像を同一の各視点画像として処理し表示を行っている。また、特許文献２においては、平面画像を観察方向に応じて視差画像の中から正しい位置の平面画像を作成している。しかし、特許文献１および特許文献２には、画像の種類により、最適な平面画像作成を行うことについては触れていない。
【特許文献１】特開２００５−１７５５３８号公報
【特許文献２】特開２００５−１７５５３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述したように、立体画像表示装置は、画像情報を、視差情報を生成するための光線制御素子の前面、あるいは背面に位置する２次元的に画素が配列された平面表示装置（例えば、液晶表示装置）に表示する。立体画像表示装置の１画素は、視差画像情報に相当する視差数に相当する複数の要素画像を含んでいる。平面画像を表示する際、すべての要素画像に同一の画像情報を表示する（以下、全視差同一画像表示と呼ぶ）ことにより、視差がなくなるため、平面画像表示ができる。全視差同一画像表示を行うと、視域範囲内で平面画像を表示する２次元画像表示ができる。しかし、多視差（Ｎ視差）の場合は特に、全視差同一画像表示では解像度が落ちてしまい、２次元画像表示の品位が劣化する。
【０００７】
背景技術で述べたハードウェアで平面画像表示と立体画像表示を切り替える手段を備えていない立体画像表示装置においても、観測者が解像度の劣化を感じさせないようなソフトウェア的な画像処理を行うことは望まれている。
【０００８】
平面画像情報を画像の種類により、解像度の高さが要求されるものと、解像度が低くても許容されるものがある。画像の種類に応じて平面画像表示の表示方法を変えることは表示劣化を低減するのに有効であるが、その基準は知られていなかった。
【０００９】
本発明は、上記事情を考慮してなされたものであって、画像の種類により、最適な平面画像の作成を行うことのできる立体画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様による立体画像表示装置は、画素がマトリクス状に配列された表示面を有する表示パネルおよび前記表示パネルに表示される画像を制御する画像表示制御部を備えた平面表示装置と、前記表示パネルの前面に設けられた複数のレンズを有し前記画素からの光線を制御する光線制御素子と、表示モードとして立体画像表示と平面画像表示との一方を選択する表示モード選択部と、前記立体画像の表示情報に基づいて表示される平面画像が有する画像情報を分析し、前記平面画像を処理するか否かの決定する分析部と、
前記分析部の分析結果に応じて、前記平面画像を処理し、処理された平面画像を前記画像表示制御部に送り前記表示画面に表示させる画像処理部と、を備えていることを特徴とする。
【００１１】
なお、前記平面画像に文字が含まれるかどうかを検出する文字検出部を更に備え、前記画像処理部は、前記文字検出部によって前記文字が検出された場合、前記平面画像を立体画像表示の解像度で切り取り、それを全視差画像として複写し、立体表示と同じ表示で要素画像にマッピングするか、あるいは前記文字画像を水平方向に水平視差数分、垂直方向に垂直視差数分、拡大するように構成されていてもよい。
【００１２】
なお、前記画像処理部は、前記平面画像に文字が含まれていない場合に前記平面画像のパターン端部の前記表示画面に対する傾き角度を検出し、前記平面画像のパターン端部の前記表示画面に対する傾き角度と前記光線制御素子の前記レンズの前記表示画面に対する傾き角度との差が±２０度以内あり、かつ前記平面画像の前記パターン端部が垂直方向に２０ライン以上連続する条件を満たす場合には前記平面画像を立体画像の解像度に縮小して前記画像表示制御部に送り、前記条件を満たさない場合は前記平面画像を前記画像表示制御部に送り、前記画像表示制御部は、解像度が縮小された前記平面画像を受け取った場合には解像度が縮小された前記平面画像を全視差画像が同一の画像となるように複写し、その後立体表示と同じ表示で要素画像にマッピングして、前記表示パネルに解像度分の全画面にわたり表示し、前記条件を満たさない前記平面画像をそのまま、解像度分の全画面にわたり前記表示パネルに表示するように構成されていてもよい。
【００１３】
なお、前記画像処理部は、前記平面画像に文字が含まれていない場合に前記平面画像のパターン端部の前記表示画面に対する傾き角度を検出する傾き角度検出手段と、前記平面画像のパターン端部の前記表示画面に対する傾き角度と前記光線制御素子の前記レンズの前記表示画面に対する傾き角度との差が±２０度以内あり、かつ前記平面画像の前記パターン端部が垂直方向に２０ライン以上連続する条件を満たす領域を検出する手段とを有し、前記平面画像のパターン端部の前記表示画面に対する傾き角度と前記光線制御素子の前記レンズの前記表示画面に対する傾き角度との差が±２０度以内あり、かつ前記平面画像の前記パターン端部が垂直方向に２０ライン以上連続する条件を満たす場合には、前記条件を満たす領域のみ全視差同一画像を作成し、前記条件を満たさない領域は、前記平面表示装置と同一の解像度となるように変換して、前記画像表示制御部に送出して前記表示パネルに表示させるように構成されていてもよい。
【発明の効果】
【００１４】
本発明によれば、画像の種類により、最適な平面画像の作成を行うことが可能な立体画像表示装置を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施形態を説明する。
【００１６】
本発明の一実施形態による立体画像表示装置を図１に示す。本実施形態の立体画像表示装置は、２次元的に画素が配列された表示パネル２ａおよびこの表示パネル２ａに表示される画像を制御する画像表示制御部２ｂを有する平面表示装置２と、この平面表示装置２の表示パネル２ａの前面に設けられ上記画素からの光線を制御する光線制御素子４と、表示モードとして立体画像表示と平面画像表示との一方を選択する表示モード選択部６と、立体画像（以下、３Ｄ画像ともいう）の表示情報に基づいて表示される平面画像（以下、２Ｄ画像ともいう）が有する画像情報を分析し、上記平面画像を処理するか否かの決定する分析部８と、分析部８の分析結果に応じて、上記平面画像を処理し、処理された平面画像を画像表示制御部２ｂに送り表示画面２ａに表示させる画像処理部１０と、を備えている。
【００１７】
平面表示装置２は、例えば液晶表示装置であり、光線制御素子は、例えば複数のレンチキュラーレンズまたはスリットであって、これらは、公知の立体画像表示装置に用いられている。なお、以下の実施形態においては、平面表示装置２は液晶表示装置であり、光線制御素子は、複数のレンチキュラーレンズであるとして説明する。
【００１８】
一般に、立体画像表示装置は、光線制御素子によって観察可能な画素を平面表示装置が有する一部の画素群に制限し、この一部の画素群が一つの視差として、平面表示装置の観察方向によって視認される視差が順次切り替わるよう複数の視差を設け、視差が観察される方向を撮影方向として、各々の視差に対応するカメラ画像を複数生成し、生成された複数のカメラ画像を対応する視差を構成する上記画素群に割り当てるように、複数のカメラ画像を１枚の立体画像に合成することにより、立体画像を表示し、表示パネル２ａから視距離Ｌに位置する観察者１００に上記立体画像を観察させる構成となっている。
【００１９】
本実施形態の立体画像表示装置は、平面画像を全ての視差に対応するカメラ画像として、立体画像表示装置における画像表示方法に従って平面画像を表示するものであり、平面表示装置２の画素数に等しい解像度を有する１枚の平面画像を、分析部８および画像処理部１０によって生成し、この平面画像を平面表示装置に直接表示する構成となっている。
【００２０】
本実施形態に係る分析部８および画像処理部１０を図２に示す。分析部８は、立体画像の表示情報を受け取る。すなわち、表示パネル２ａのプロファイルから表示解像度（例えば、画素数）の情報を受け取り、立体画像表示装置のプロファイルから光線制御素子４のレンズの傾き角度、視差数（３Ｄ画像の解像度）、視距離の情報を受け取る。分析部８には、表示したい平面画像のパターン端部の情報および文字情報の有無を抽出し、パターン端部と光線制御素子４のレンズの傾きとを比較し、平面画像が文字か画像を判定し、かつ視距離から要素画像ピッチを求める。要素画像ピッチは、画面中央の１レンズあたりの視域幅と画面端の１レンズあたりの視域幅の両者において、それぞれの視域幅を中央に集めるため、レンズピッチの背面の要素画像幅をレンズピッチに比べて若干広くするように設定することである。それらを分析部８で平面画像を立体画像表示装置に最適な方法で表示するために分析する。そして、その分析結果に応じて平面画像を画像処理部１０で処理し、処理した平面画像を画像表示制御部２ｂに送り表示パネル２ａに表示させる。
【００２１】
本実施形態の立体画像表示装置における画像表示の手順を図３に示す。
【００２２】
まず、表示モード選択部６によって、２Ｄ画像を表示するのか３Ｄ画像を表示するのかの選択を行う（ステップＳ１）。３Ｄ画像は例えば、１フレームにおいて、視差画像表示が複数枚送信される。２Ｄ画像は、１フレームに１枚の画像である。２Ｄ画像を表示する場合は、ステップＳ２に進む。このステップＳ２においては、表示すべき２Ｄ画像が文字であるか画像であるかの判定を行う。ここで、文字は、空間周波数が高い傾向があり、隣接画素間のコントラスト比が高いほうが表示として見やすい。空間周波数が高いことを要求される文字画像において、縮小表示を行うと、文字を構成する画素が欠落し、表示が非常に劣化する場合が多い。
【００２３】
そこで、２Ｄ画像が文字と判定された場合、平面表示から３Ｄ解像度（立体画像の解像度）分を生成する際に、縮小するのではなく、３Ｄ解像度で切り取るようにする（図３のステップＳ３）。平面表示の解像度が、３Ｄ解像度より大きい場合は複数枚切り取ることもある。３Ｄ解像度を持つ文字表示として、同じ画像を複数の視差画像に複写し、画像表示制御部２ｂに受け渡す。その後、画像表示制御２ｂによって視差画像がタイルフォーマットへ変換される（ステップＳ４）。続いて、上記タイルフォーマットは要素画像アレイに変換される（ステップＳ５）。そして、変換された要素画像アレイは画像表示制御部２ｂから表示パネル２ａに送られ、２Ｄ画像が表示される。
【００２４】
なお、表示すべき２Ｄ画像が文字である場合の一つの方法として以下のようにしてもよい。例えば、平面画像の解像度では「ｃｈａｒａｃｔｅｒ  ｍａｒｋ」という文字が含まれている場合、３Ｄ解像度で切り取ると、「ｃｈａ」という文字しか切り取ることができない。そこで、すべての文字を含めるためには、１枚の文字画像を複数枚の３Ｄ解像度の文字に切り分けてフレーム数を増加することを行ってもよい。もう一つの方法として、表示画像の水平方向をｓ１（ｓ１＝表示パネル２ａの水平方向の解像度／立体画像の水平方向の解像度）倍にし、垂直方向をｓ２（ｓ２＝表示パネル２ａの垂直方向の解像度／立体画像の垂直方向の解像度）倍にすることにより、すべての文字画像を表現することができる。しかし、スクロールする手間や、通常の処理より解像度が高くなるため、時間がかかるが、切り取る場合に比べて、３Ｄ解像度で切り取る位置などにより文字が分割されることを回避する方法を講じなくてもよい。なお、ステップＳ１において、表示すべき画像が３Ｄ画像と判定された場合には、ステップＳ４、Ｓ５、Ｓ８に進み、３Ｄ画像が表示パネル２ａに表示される。
【００２５】
画像は一度にすべてを見ることはできないが、画像を表示可能領域の中で移動することにより、画面全体を見ることができる。例えば、一つの画素が略平行四辺形であって、水平方向に平面表示装置の解像度で３画素分、垂直方向に３画素分含まれる場合を考える。この場合、垂直方向の傾きは１／３であるが、傾きを考慮せずに、水平方向に３倍、垂直方向に３倍単純拡大する。このような表示でも文字が判別できることを、図４乃至図６を参照して説明する。
【００２６】
文字は縦方向の線分と横方向の線分が多い。特に、漢字に関しては、横方向、縦方向の空間周波数が高く、１画素おきに白、黒が連続して続く場合がある。今まで述べた立体画像表示装置は、光線制御素子４としてレンズアレイを使用し、略水平方向のみ、視差画像を観測角度に応じて立体画像表示する方式である。そのため、レンズピッチの水平方向の幅が１画素の幅となり、解像度が劣化する。
【００２７】
そこで、例えば、図４に示すように、表示しようとする平面画像２０が、３Ｄ解像度で１画素分の太さの垂直ライン２１ａ、２１ｂが２画素分、離れて平行にならんでいる場合に、立体画像表示装置に表示する方法について述べる。
【００２８】
次の２つの方法で画像を処理して表示した場合について調べた。
１）図５に示すように、レンズ４の傾きとは関係なく、水平方向に水平視差数分（図５では９視差分）、垂直方向に垂直視差数分（図５では９視差分）、単純拡大を行う。
２）図６に示すように、レンズ４の傾きに応じて、全視差画像を同一画像として表示を行う。垂直方向に対しては、その傾きに応じて、左右の画像の平均化を行う（図６）。
【００２９】
１）の方法を用いて処理を行って表示した場合の２Ｄ画像を図５に示し、２）の方法を用いて処理を行った場合の２Ｄ画像を図６に示す。
【００３０】
文字表示の場合、コントラストが高い方が読みやすい文字となる。図５と図６の大きな違いは、垂直の２本の黒い線表示とその間の白い線表示とのコントラストである。
【００３１】
図５において観測者が観測する表示は、観測者からの平行光線が表示パネル２ａの画素上に集光する範囲２５（破線で表示）にある画像情報を水平方向の１レンズピッチに拡大したものである。図５は、図４に示す線表示をレンズの傾きに関係なく単純に拡大しただけである。このため、図５の集光範囲２５に黒い垂直ラインがある領域のみ、黒表示が見える。したがって、レンズ４の直下に黒表示があって拡大された画像が黒表示となる部分２７ａ、レンズ４の直下に黒表示がなくても拡大された画像が黒表示となる部分２７ｂ、レンズ直下に黒表示があっても、拡大された画像は白表示となる部分２７ｃもある。図５はグレー表示がないため、黒と白のコントラストがはっきりするが、ギザギザのある垂直ラインの表示となる。
【００３２】
一方、図６は、立体画像の１画素の要素画像すべてを同一画像で表示する方法である。そのため、垂直方向の線を表示する時に、通常は表示パネル２ａに表示する要素画像は図６に示すようにギザギザなパターン端部を持つ領域となる。しかし、グレースケール表示を行うことにより滑らかな直線として表わすことができる。輝度の変更割合は表示したい直線が、背面に存在する表示パネル２ａ上で３Ｄの１画素にどれだけ含まれているかで決めてもよい。例えば、図４に示すように白のバックグラウンドに黒い２本の垂直の直線を表示しようとする場合は、図６に示すように、黒の輝度を３種類に分ける。縦方向に３Ｄ解像度の３画素ピッチで画像パターンを繰り返す。すなわち、基本は黒表示輝度０の３Ｄ画素２８ａである。ここで、画素２８ｂに示すように白輝度を１とするが、２本の垂直直線の間に存在する。黒表示輝度０の３Ｄ画素２８ａの垂直方向上部に隣接する３Ｄ画素２８ｃ、２８ｄにおいて、左側の画素２８ｃはグレー表示輝度０．３３、右側の画素２８ｄはグレー表示輝度０．６６とする。また、その２種類の３Ｄ画素２８ｃ、２８ｄに関して、垂直方向下部に隣接する３Ｄ画素は、左側の画素２８ｄはグレー表示輝度０．６６、右側の画素２８ｃはグレー表示輝度０．３３とする。このような表示をすることにより、３Ｄ解像度において垂直の直線を表わす場合、ギザギザを目立たせなくすることができる。しかし、図６において、２本の黒い直線間でグレー表示の領域が大きく、直線間のコントラストが小さくなるというデメリットがある。
【００３３】
図５に示す表示と図６に示す表示において、黒と白の画素ピッチが１画素ごとのような空間周波数が高い文字表示の場合、主観評価の結果より、１）の方法のように単純拡大する方が、ギザギザによる劣化はあるが、文字としては読みやすいという結果を得た。そのため、空間周波数の高い文字表示の場合は１）に示すような水平視差数、垂直視差数分、拡大する方式がよい。しかし、図６に示すように垂直ラインの間隔が３Ｄ画素として２画素以上ある場合は、２）の方法のようにすべての要素画像を同一画像表示する場合でも、３Ｄ解像度で表示していれば許容できる。
【００３４】
次に、再び図３に戻り、ステップＳ２において画像と判定された場合、ステップＳ６に進み、キラーパターンの検出が画像処理部１０によって行われる。このキラーパターンの検出は、画像のパターン端部を何らかの方法で取り出し、
｜パターン端部の傾き―レンズ４の傾き｜≦２０度    （１）
であるか否かの判定を行う。（１）式を満たすパターン端部が視認可能なぐらい連続した場合、平面画像を３Ｄ解像度に縮小し（ステップＳ７）、全視差画像を同一画像とする（ステップＳ４、Ｓ５、Ｓ８）。また、縮小する時に、図７に示すように隣接画素３１Ａ〜３１Ｆまたは３２Ａ〜３２Ｆから補間して画素３１Ｇまたは３２Ｇ求める方が、３Ｄ解像度における隣接画像との不連続が緩和され、解像度の劣化が目立たなくなる。しかし、図８に示すように、縮小する時に、代表画像３１Ｇまたは３２Ｇの情報だけを抽出する場合もある。この場合、画質は劣化するが、処理速度が速くなるという利点がある。
【００３５】
次に、文字画像でもなく、ベクトルの傾きが式（１）を満たさない場合、元の表示パネル２ａの解像度を持つ平面画像を無処理で表示する。無処理で表示すると解像度が増大する理由を図９乃至図１０を参照して説明する。
【００３６】
図９は縦方向下に向かって色が濃くなるように変化している画像情報を持つ場合である。図９は表示パネル２ａ上の要素画像の情報を示す。表示パネル２ａの解像度で表示しているため、３Ｄ解像度の一画素の中でも、色が変化している。レンズ４の縦方向に３Ｄ解像度の３倍の画像情報が表示されている。図９に観測者側から見る平行光線のレンズ上の集光領域２５の一例を示す。３Ｄ解像度では縦方向に一視差画素の赤（Ｒ）、青（Ｂ）、緑（Ｇ）を示すことにより、色の情報を保たせている。しかし、画像情報において、位置情報である縦解像度を３倍にした分、縦方向のそれぞれの色情報は不足する。しかし、文字表示以外の画像情報は、隣接画素情報の相関が大きいため、色の欠落による劣化よりも、縦方向の解像度の増加による平面画像の情報の精細度維持の方が主観評価が高くなる。
【００３７】
一方、図１０に示すように、全視差同一画像表示を行うと、３Ｄ解像度の要素画像すべてが同一情報になる。そのため、図１０を立体画像表示装置上での平面画像の解像度は、３Ｄ解像度に劣化しているため、主観評価が低くなる。
【００３８】
以上より、文字画像でもなく、ベクトルの傾きが式（１）を満たさない場合、元の表示パネル２ａの解像度を持つ平面画像を無処理で表示する方がよい。
【００３９】
次に、図３において、立体画像表示装置に表示するための画像処理について述べる。
【００４０】
既に述べたように、複数枚の視差画像はタイルフォーマット変換される（ステップＳ４）。タイルフォーマットとは、視差画像を順番にタイル状に配列したものである。この状態にすることにより、同一画素内では隣接画素どうしの相関が出てくるため、圧縮した後、解凍して戻しても、大きな劣化は見られない。
【００４１】
文字画像、キラーパターンが検出された平面画像は全視差同一画像表示を行う。そのため、視差画像をタイルフォーマットに変換するため、複数枚の画像が必要である。平面画像の場合、ひとつの画像をコピーして使用するとよい。要素画像アレイは立体画像表示装置に表示する最終形態の画像である。３Ｄ解像度の一つの画素の裏面に、複数の視差画像の中の同じ位置の一画素分の画像データを抽出し、表示したものである。
【００４２】
次に、上記（１）式を用いて分析する根拠を、図１１（ａ）乃至図１２（ｂ）を参照して説明する。
【００４３】
まず、レンズ４の傾きと、無処理で表示パネルの解像度で表示した線分の角度とにより表示が劣化する原因を説明する。
【００４４】
図１１（ａ）は、線分の中心軸５２とｘ軸５１の負方向とのなす角度（線分の傾き角θｔ）が８０度で、レンズ４の中心軸５３とｘ軸５１の負方向とのなす角度（レンズ４の傾き角θｋ）が７１．６度の場合を示す。この場合、レンズの傾き−線分の傾き｜＝８．４度となるので、線分の傾き角度θｔとレンズ４の傾き角度θｋが近い時である。
【００４５】
図１１（ｂ）に、レンズアレイ越しに観測者が見る線分の画像５４を示す。図１１（ａ）において、観測者から見る平行光線が表示パネル２ａ上に集光する範囲２５は、図１１（ｂ）に示すように、線分で欠ける部分が生じる。これは、これら集光範囲２５が隣接レンズアレイにまたがる時に線分のないところと線分のある所を交互にまたがるためである。また、図１１（ａ）、１１（ｂ）に示すように、３Ｄ解像度においては縦方向で２画素分、表示パネル２ａの解像度においては縦方向で６画素分不連続部分が生じており、劣化が十分視認される。なお、図１１（ａ）において、符号５６は３Ｄ解像度における１画素の水平幅を示し、符号５７は３Ｄ解像度における１画素の垂直幅を示す。
【００４６】
図１２（ａ）は線分の中心軸５２とｘ軸５１の負方向とのなす角度が１００度（線分の傾き角θｔ）で、レンズの中心軸５３とｘ軸５１の負方向とのなす角度（レンズの傾き角θｋ）が７１．６度の場合を示す。この場合、｜レンズの傾き−線分の傾き｜＝２８．４度となるので、線分の傾き角度θｔとレンズの傾き角度θｋが近くない時である。
【００４７】
図１２（ａ）において、符号２５は、観測者から見る平行光線がＬＣＤ上に集光する範囲を示す。図１２（ｂ）に、レンズアレイ越しに観測者が見る線分の画像５８を示す。図１１（ｂ）と異なり、レンズアレイをまたがる部分で線分に欠ける部分は生じない。また、立体画像表示装置で表示した場合、隣接レンズアレイにまたがる範囲が図１２（ｂ）からわかるように、３Ｄ解像度で１／３画素程度となる。そのため、表示パネル２ａの解像度の平面画像を無処理で表示した線分の表示劣化が図１１（ａ）、１１（ｂ）に比べると小さい。また、図１２に示す線分に関して、表示パネル２ａ上に全視差同一画像で表示すると、隣接レンズアレイにまたがる表示範囲５９が広くなり、表示パネル２ａの解像度の平面画像を無処理で表示した場合より、劣化が生じることがわかる。
【００４８】
図１３、図１４に、太さが表示パネル２ａの解像度で２画素（３Ｄ解像度で２／３画素）の線分パターンの角度を変えた画像を２種類作成した。図１３において、傾き角度がプラスとなる線分をｐ、図１４に傾き角度がマイナスとなる線分をｍとし、それぞれ、ｘ軸と成す角度で０、１５、３０、４５、６０、６５、７０、７５、８０、９０度のものを表示した。レンズ越しにみた場合の次の劣化尺度において、主観評価を行った。図１５に線分の傾き角度による妨害評価の結果を記す。劣化尺度は
１）非常にじゃまになる
２）じゃまになる
３）気になるがじゃまにならない
４）わかるが気にならない
５）わからない
である。
【００４９】
主観評価値の平均を折れ線グラフで示す。縦軸方向の誤差棒は評価値の２５％から７５％までに入る範囲を示す。図１５からわかるように、折れ線グラフの評価平均と評価値の範囲がばらついていないのを同時にみることができる。
【００５０】
劣化尺度で２以下の範囲、すなわち、劣化がじゃまになるという評価になった角度θｔは、ｘ軸のマイナス方向に伸びる線分で、
６０度＜θｔ＜１００度                        （２）
となった。
【００５１】
レンズの傾き角度θｋは７１．６度なので、
５１．６度＜θｔ＜９１．６度
すなわち、
（レンズの傾き角度θｋ＝７１．６度）−２０度≦θｔ≦（レンズの傾き角度θｋ＝７１．６度）＋２０度      （３）
を分析条件とする。すなわち、（３）の条件の時、解像度の高い細い線分を表示すると観測者は表示劣化を大きく感じることがわかった。これは、パターン端部においてもいえる。そのため、繰り返すが
｜パターン端部の傾き―レンズの傾き｜≦２０度    （１）
の場合には、全視差同一画像表示を行う方がよい。
【００５２】
次に、パターン端部の傾きを検出するため方法を、図１６を参照して説明する。
【００５３】
本実施形態の立体画像表示装置は、画像情報として視差を持たない平面画像を表示する場合、この平面画像の情報の画像パターンにおいて、パターン端部の傾き角度がレンズの傾き角度と±２０度以内で一致しており、かつ、平面画像内の上記パターン端部が垂直方向に２０ライン以上連続する条件（２０ライン以上連続する条件が必要な理由をご教示下さい）を満たすか満たさないかを判定する手段をもち、この判定手段は、上記条件を満たす領域を求める手段を持ち、立体画像表示装置の平面画像表示する際に、上記条件を満たす領域のみ全視差同一画像を行い、満たさない領域は、レンズの背面に位置する画素構造を有する表示パネル２ａと同一解像度を表示する。
【００５４】
パターン端部の不連続面が２０ライン以上連続する条件を劣化検出の目安とした理由について述べる。
【００５５】
図１１は垂直方向に２０ライン連続している。(1)の条件を満たす場合、図１１（ｂ）のように２ラインにわたってパターンが不連続となる部分が１箇所、あるいは２箇は所存在することとなる。ここで例外として、｜パターン端部の傾き―レンズの傾き｜＝０度の場合全く不連続が存在しないこととなり、劣化は小さくなる。図１１よりわかることは、２０ライン以下では不連続数が少なくなる、例えば１箇所、あるいは０箇所となる。
【００５６】
また、最近は高精細ディスプレイの開発が進み、立体表示装置では、水平画素数を視差数に割り当てるため、それが使用される。代表的なサブピクセルピッチ（Ｒ，Ｇ，Ｂそれぞれのピッチ）を６０μｍとする。その場合の２０ラインの長さを見積もると、
２０×０．０６×３＝３．６ｍｍ
となる。３．６ｍｍは文字の大きさである１０．５ポイント程度であり、劣化を視認可能となる。
【００５７】
この処理方法を、図１６を参照して以下に説明する。
【００５８】
まず、レンズアレイの傾き角度θｋに対して±２０度傾いたパターン端部を含む領域を抽出する方法について述べる。図１６（ａ）に表示したいＭ行Ｎ列の解像度を持つ２Ｄ画像を示す。以下の手順で抽出する。
【００５９】
（１）平面画像において、水平方向１ライン分において１サブ画素（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）ごとにラインメモリに入れる（図１６（ａ））。
【００６０】
（２）次のラインの画素とラインメモリに入れた前画素のラインを差分回路に入力する。差分回路では、前記の階調差の差分絶対値を求める（図１６（ｂ））。この時に階調差は絶対値だけが必要なので、プラスであるか、マイナスであるかは情報として残さないため、差分階調の絶対値も元の解像度のビット桁数と等しくなる。
【００６１】
（３）の差分絶対値を新たなデータとして、画像データにマッピングする。Ｎ／ｋライン列、終了するまで続ける（図１６（ｃ））。
【００６２】
（４）Ｍ行Ｎ／ｋ列の画像データが作成される（図１６（ｄ））。
【００６３】
（５）差分絶対値画像データについて階調が最も高い値（以下、階調最大値と呼ぶ）の０．２５以上（パターン端部抽出のための閾値）の部分だけを抽出し、階調最大値にする。それ以外の部分は階調の最も低い値（以下、階調最小値と呼ぶ）にする（図１６（ｅ））。ここで、パターン端部抽出法は数多くあるが、それを用いてもよい。また、階調差分値が例えば、輝度が最も高い階調の０．２５以上とした時に、擬似的に次の手法を使用してもよい。
【表１】
2009049751.tif 000003
【００６４】
上記表に示すように、上位第２ビットの値が１をとる画像データを抽出することにより、簡便にしきい値を抽出できる。
【００６５】
（６）画像データを水平方向にｋだけ傾け、平行四辺形の形状にする（図１６（ｆ））。左記と同時に、階調最大値の領域もｋだけ傾ける。
【００６６】
（７）垂直方向のｑ列に傾き±θ（＝２０）度以内に階調が最も高い値のものが続くものだけを抽出する。すなわち、垂直方向にｑ列分進んだ時に、水平方向に±ｔａｎ（２０度）×ｑ＝０．３６３×ｑ以内の範囲に階調最大値の値が直線として続く領域のみ、階調最大値にし、その条件をみたさないものは階調最小値にする（図１６（ｇ））。
【００６７】
これら、（１）〜（７）の手順により、パターン端部がレンズの傾き±２０度の範囲にあり、２Ｄ解像度を高精細で表示すると劣化が大きくなる領域の全体画像に対する相対領域を抽出できる。
【００６８】
（８）水平行の傾きを戻し、垂直列をｋ倍に拡大する。その際、階調最大値の領域も水平行の傾きを戻し、垂直列をｋ倍に拡大する（図１６（ｈ））。この（８）により、全体画像を元の平面画像の解像度に戻すことにより、（７）の領域が実際にどの範囲に分布するかがわかる。
【００６９】
次に、図１７、図１８に実際の画像データに対し、図１６（ｆ）に示す処理を行った結果について示す。具体的には２０行ごとに水平画素の階調の階調最大値に対する相対値を示す。図１７のｍ列目、ｍ＋２１列目、ｍ＋４２列目の３ラインに関して、（７）の処理を行う。階調が最大値に対して０．２５以上のものを抽出し、かつ、垂直方向に±θ（＝２０）度以内に階調最大値が続くものだけを抽出する。それぞれの閾値は
２１列目のレンズの傾き±２０度のシフト範囲は水平方向で
２１×０．３６３＝７．６２行
となる。また、４２列目のレンズの傾き±２０度のシフト範囲は水平方向で
４２×０．３６３＝１５．２５行
となる。よって２１列目において、±８行以下の範囲に、４２列目において、±１６行以下の範囲にあると、パターン端部がレンズの傾き±２０度の範囲にあり、２Ｄ解像度を高精細で表示すると劣化が大きくなる領域となる。
【００７０】
図１７において、５つのピーク群が観測される。最も左側のピークは垂直方向に４２列シフトした時に、水平方向に１６行ずれ、左から２番目のピークは８行ずれ、左から３番目のピークは３行ずれ、左から４番目のピークは−４行ずれ、左から５番目のピークは−４行ずれる。そのため、左から２番目、３番目、４番目、５番目のピーク値をとる座標において、高精細な平面画像を表示すると劣化が起こると推定される。主観評価により、実際にレンズ４の背面にある表示パネル２ａと同一の解像度をもつ画像を表示すると表示劣化が起こっている。
【００７１】
図１８のｍ列目、ｍ＋２１列目、ｍ＋４２列目の３ラインに関して、（７）の処理を行う。階調が最大値に対して０．２５以上の輝度を抽出し、かつ、垂直方向に±θ（＝２０）度以内に階調最大値が続くものだけを抽出する。図１８より、上記の条件を満たすものはない。そのため、高精細な平面画像を表示しても劣化しないと推定される。主観評価により、実際にレンズ４の背面にある表示パネル２ａと同一の解像度をもつ画像を表示しても表示劣化は起こらない。
【００７２】
以上、斜めレンズの場合において述べてきたが、垂直レンズにおいても斜めレンズの傾きが９０度の場合とみなし、同様のフィルタ部、画像処理を行うとよい。
【００７３】
以上説明した方法のうち、部分的な全視差同一画像表示方法についてのブロック図を図１９に示す。２Ｄ画像の表示において、次の３つの処理がある。一つは、ａ）２Ｄ画像のパターン端部分析をステップＳ１１で行い、（１）式を満たすキラーパターンがあった場合、キラーパターンを検出した部分のみ全視差同一画像表示を行い、キラーパターン以外は、高精細なＬＣＤの表示を利用する（ステップＳ１１）。これにより、平面画像の表示劣化を小さくすることができる。この場合、図１９に示すように、上記分析と平面画像を全視差同一画像にする処理を同時に行う。最後のステップでＬＣＤである平面表示装置の解像度に、全視差同一画像のキラーパターン分析部の領域のみ画像を上書きする（ステップＳ１４）。二番面はｂ）３Ｄ画像と同一処理を行い、全視差同一画像を作成し、表示する（ステップＳ１２）。三番面はｃ）無処理で２Ｄ画像をそのまま、表示する（ステップＳ１３、Ｓ１４）。
【００７４】
図２０に差分処理を回路で簡便に行う手法について示す。画像データの垂直方向の１列分をラインメモリ６１に順に格納する。次の垂直方向の１列分が画像データとして読み込まれる時に、差分回路６２において、先ほどのラインメモリに格納した前画像データとの差をとり、差分データとして出力する。
【００７５】
以上説明したように、本実施形態によれば、画像の種類により、最適な平面画像の作成を行うことができる。
【００７６】
なお、背景技術で、裸眼立体ディスプレイにおいて、平面表示装置自体の画素を視差画像に振り分けることを述べた。そして、ＩＩ方式における数視差から十数視差までの立体画像表示装置において本発明を用いると最適である。なぜなら、ＩＩ方式において、眼間に複数視差含まれることが多く、頭をふった時に画像のとびが少ないため、視差画像として、一枚の平面画像を表示しても、画像のとびが少ないためである。
【００７７】
また、本発明は、ハードウェアとして、光線制御素子の２Ｄ／３Ｄ切替機能が付いていない立体画像表示装置に適応する。また、本発明は２Ｄ／３Ｄ切替機能が付いている立体表示装置においても、３Ｄモード時に平面画像を表示する時に適応する。
【図面の簡単な説明】
【００７８】
【図１】本発明の一実施形態による立体画像表示装置を示すブロック図。
【図２】本発明の一実施形態による立体画像表示装置における平面画像の画像作成の処理手順を示すブロック図。
【図３】本発明の一実施形態による立体画像表示装置における平面画像の画像作成方法を示すフローチャート。
【図４】垂直方向の空間周波数が高い平面画像を示す図。
【図５】図４に示す平面画像を縦方向および横方向を３Ｄ解像度となるように単純拡大した場合の見かけの表示画像を示す図。
【図６】図４に示す平面画像を全視差同一画像表示した場合の見かけの表示画像を示す図。
【図７】全視差同一画像の画素情報を決定するための補間方法の一例を説明する図。
【図８】全視差同一画像の補間を使用しない場合の画素情報の決定方法を説明する図。
【図９】１レンズ内の要素画像情報を示す図。
【図１０】全視差同一画像表示をした場合の１レンズ内の要素画像情報を示す図。
【図１１】レンズの傾き角θｋと平面表示装置上の直線の傾き角θｔとの差の絶対値が２０度よりも小さい例を示す図。
【図１２】レンズの傾き角θｋと平面表示装置上の直線の傾き角θｔとの差の絶対値が２０度よりも大きい例を示す図。
【図１３】水平方向をｘ軸、垂直方向をｙ軸とした時の直線の傾きがプラス側となる場合の２画素の太さをもつ直線の角度別の画像を示す図。
【図１４】水平方向をｘ軸、垂直方向をｙ軸とした時の直線の傾きがマイナス側となる場合の２画素の太さをもつ直線の角度別の画像を示す図。
【図１５】複数種類の線分の妨害評価を示す図。
【図１６】本発明の一実施形態による立体画像表示装置における平面画像の画像作成方法の手順を示す図。
【図１７】画像データのある領域における画像内水平方向の画像情報における、垂直方向の階調数の差分データを示す図。
【図１８】画像データのある領域における画像内水平方向の画像情報における、垂直方向の階調数の差分データを示す図。
【図１９】本発明の一実施形態による立体画像表示装置における平面画像の画像作成方法を示すフローチャート。
【図２０】本発明の一実施形態による立体画像表示装置における平面画像の画像作成方法を示すフローチャート。
【符号の説明】
【００７９】
２  平面表示装置
２ａ  表示パネル
２ｂ  画像表示制御部
４  光線制御素子
６  表示モード選択部
８  分析部
１０  画像処理部
２５  観察者側から見る平行光線が平面表示装置上で集光する範囲
１００  観察者
【図１】
2009049751.tif 000004
【図２】
2009049751.tif 000005
【図３】
2009049751.tif 000006
【図４】
2009049751.tif 000007
【図５】
2009049751.tif 000008
【図６】
2009049751.tif 000009
【図７】
2009049751.tif 000010
【図８】
2009049751.tif 000011
【図９】
2009049751.tif 000012
【図１０】
2009049751.tif 000013
【図１１】
2009049751.tif 000014
【図１２】
2009049751.tif 000015
【図１３】
2009049751.tif 000016
【図１４】
2009049751.tif 000017
【図１５】
2009049751.tif 000018
【図１６】
2009049751.tif 000019
【図１７】
2009049751.tif 000020
【図１８】
2009049751.tif 000021
【図１９】
2009049751.tif 000022
【図２０】
2009049751.tif 000023