(57)【特許請求の範囲】
【請求項１】
表示面を設けたディスプレイパネルとユーザの指の近接および接触を検知するタッチパネルとを重ねたパネルユニットを、当該表示面が凹形状または凸形状になるよう構成した立体ディスプレイと、
前記タッチパネルの出力に基づいて前記ディスプレイパネルの表示を制御する制御装置とを有し、
前記制御装置は、
前記凹形状の表示面に表示する画像を凸状の立体画像と錯覚させるために、頂点に錯覚させる領域を他の領域より明るく表示する明度変換を行うか、または、前記凸形状の表示面に表示する画像を凹状の立体画像と錯覚させるために、窪みに錯覚させる領域を他の領域より暗く表示する明度変換を行うコンテンツ変換部と、
前記タッチパネルの出力から、前記立体ディスプレイに対する前記指の位置を表わす座標を算出する近接・接触検知部と、
前記近接・接触検知部の算出結果から前記指の方向を判定する操作指方向判定部と、
前記操作指方向判定部の判定結果から、前記立体ディスプレイに対する前記ユーザの視点位置を推定する視点検出部と、
前記指の位置を表わす座標を、前記視点検出部の推定した視点位置から前記立体ディスプレイを見た状態の前記立体画像上の座標に変換するセンシング座標変換部と、
前記センシング座標変換部で変換した前記立体画像上の指の座標が、前記立体画像上の所定領域に重なるか否かを判定する空間座標判定部と、
前記空間座標判定部の判定結果に基づいて、前記立体ディスプレイに表示する画像を変更する制御部とを備えることを特徴とする情報表示システム。
【請求項２】
立体ディスプレイは、平面状のパネルユニットを複数組み合わせ、当該組み合わさった表示面が凹形状または凸形状に構成されることを特徴とする請求項１記載の情報表示システム。
【請求項３】
立体ディスプレイは、表示面が凹形状または凸形状に湾曲した１組のパネルユニットで構成され、
制御装置は、画像を射影変換して前記表示面の形状に変形する画像形状変換部を備えることを特徴とする請求項１記載の情報表示システム。
【請求項４】
立体ディスプレイは、凹形状に構成した表示面の視野角を当該表示面の外側に向けて設定し、当該表示面の中心方向の輝度を低くしたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の情報表示システム。
【請求項５】
立体ディスプレイは、表示面の外側を向いた指向性を有する反射防止フィルムを備えることを特徴とする請求項１から請求項４のうちのいずれか１項記載の情報表示システム。
【請求項６】
制御装置の制御部は、センシング座標変換部の出力する指の座標の位置に、操作指方向判定部の判定した当該指の方向を示す３次元ベクトルアイコンを表示して、当該指の動きに合わせて当該３次元ベクトルアイコンの向きを変更することを特徴とする請求項１から請求項５のうちのいずれか１項記載の情報表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、立体表示した映像に対してユーザが空間的な操作を行う情報表示システムに関するものである。
【背景技術】
【０００２】
従来のタッチパネル装置は指などの物体が近接するとその３次元的な位置を認識する構成である。そのため、ユーザはディスプレイ面上の入力エリアに直接タッチすることなく入力作業を行うことができる。例えば特許文献１に係るタッチパネル装置は、ディスプレイ面に対し垂直方向に空間的厚みを持たせ、その上面および下面を除く側面に設けられ、空間的に挿入された指などの物体の位置を検出する複数のセンサを具備している。さらに、センサの検出結果に基づいて物体が指し示すディスプレイ面上の位置を計算する計算手段と、該計算手段が求めた位置に物体が指し示していることを表わす指示ポイントを表示する表示手段と、複数のセンサのうち、ディスプレイ面に最も近いセンサが空間内に挿入された物体を感知した場合、もしくはディスプレイ面に表示されている指示ポイントが入力エリアを表わす所定座標区間内に一定時間存在したと判定した場合に入力を確定する入力確定手段とを具備している。
これにより、ディスプレイ面上の入力エリアに直接指などを触れる必要がないので、利用者がクリーンなイメージで入力作業を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２１２００５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に係るタッチパネル装置は、指などの物体のセンシング空間（即ち、操作空間）を、単一平面状のディスプレイ面に対して厚み方向に構築していた。そのため、表示空間と操作空間とが合致しないという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、立体的な映像を直接操作しようとするユーザの手に対して空間座標のセンシングを行うことにより、表示空間と操作空間の合致する、操作感の良いユーザインタフェースを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る情報表示システムは、表示面を設けたディスプレイパネルとユーザの指の近接および接触を検知するタッチパネルとを重ねたパネルユニットを、当該表示面が凹形状または凸形状になるよう構成した立体ディスプレイと、タッチパネルの出力に基づいてディスプレイパネルの表示を制御する制御装置とを有し、制御装置は、凹形状の表示面に表示する画像を凸状の立体画像と錯覚させるために、頂点に錯覚させる領域を他の領域より明るく表示する明度変換を行うか、または、凸形状の表示面に表示する画像を凹状の立体画像と錯覚させるために、窪みに錯覚させる領域を他の領域より暗く表示する明度変換を行うコンテンツ変換部と、タッチパネルの出力から、立体ディスプレイに対する指の位置を表わす座標を算出する近接・接触検知部と、近接・接触検知部の算出結果から指の方向を判定する操作指方向判定部と、操作指方向判定部の判定結果から、立体ディスプレイに対するユーザの視点位置を推定する視点検出部と、指の位置を表わす座標を、視点検出部の推定した視点位置から立体ディスプレイを見た状態の立体画像上の座標に変換するセンシング座標変換部と、センシング座標変換部で変換した立体画像上の指の座標が、立体画像上の所定領域に重なるか否かを判定する空間座標判定部と、空間座標判定部の判定結果に基づいて、立体ディスプレイに表示する画像を変更する制御部とを備えるようにしたものである。
【発明の効果】
【０００７】
この発明によれば、表示面の凹凸と反対の立体画像に錯覚させて、この立体画像をユーザの視点移動に追従するようにした立体ディスプレイを用い、タッチパネルで検知した指の座標を、ユーザの視点位置から立体ディスプレイを見た状態の立体画像上の座標に変換するようにしたので、立体画像の表示空間と操作空間を合致させることができる。そのため、視点に追従する立体的な映像を指で直接操作できるような、操作感の良いユーザインタフェースを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る情報表示システムのハードウエア構成を示す図である。
【図２】実施の形態１に係る情報表示システムのソフトウエア構成を示すブロック図である。
【図３】実施の形態１による立体ディスプレイとユーザの位置関係を示す図である。
【図４】図３に示す立体ディスプレイの表示画像が視点に追従する効果を説明する図であり、図４（ａ）は立体ディスプレイを左方向から見た表示面、図４（ｂ）は正面方向から見た表示面、図４（ｃ）は右方向から見た表示面を示す。
【図５】湾曲ディスプレイの表示画像が視点に追従する効果を説明する図であり、図５（ａ）は湾曲ディスプレイを左方向から見た表示面、図５（ｂ）は正面方向から見た表示面、図５（ｃ）は右方向から見た表示面を示す。
【図６】実施の形態１による立体ディスプレイのディスプレイパネルを拡大した平面図であり、視野角特性を示す。
【図７】実施の形態１による立体ディスプレイのディスプレイパネルを拡大した平面図であり、反射防止フィルムの構造を示す。
【図８】実施の形態１による立体ディスプレイの外観斜視図であり、ディスプレイパネルの明度変換例を示す。
【図９】実施の形態１による立体ディスプレイにペンギンの画像を表示した状態を示す図である。
【図１０】実施の形態１による立体ディスプレイにダイヤルの画像を表示した状態を示す図である。
【図１１】実施の形態１による立体ディスプレイに３次元ベクトルアイコンの画像を表示した状態を示す図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１に示す情報表示システムは、ディスプレイパネル１ａ〜１ｃ、空間センサとしても使用可能な静電容量型のタッチパネル２ａ〜２ｃ、反射防止フィルム３ａ〜３ｃ、および支持部４からなる立体ディスプレイ１００と、この立体ディスプレイ１００を制御するパーソナルコンピュータ（以下、ＰＣ）５とから構成されている。また、図２に示すように、ＰＣ５は、タッチパネル制御部６ａ〜６ｃと、近接・接触検知部７ａ〜７ｃと、操作指方向判定部８と、視点検出部９と、センシング座標変換部１０と、空間座標判定部１１と、全体制御部１２と、コンテンツ変換部１３と、画像形状変換部１４と、表示制御部１５ａ〜１５ｃの処理を実行するコンピュータである。これらの処理内容はプログラムに記述されてメモリ（不図示）に格納されており、ＣＰＵ（不図示）がメモリに格納されているプログラムを実行することにより実現する。なお、図１の構成例では、立体ディスプレイ１００とＰＣ５を別体にしたが、一体にしてもよい。また、ＰＣ５を、画像処理に特化したプロセッサ等を用いたハードウエア構成にしてもよい。
【００１０】
図１に示すように、ディスプレイパネル１ａに、タッチパネル２ａと反射防止フィルム３ａを重ねて平面状のパネルユニットを構成している。同じように、ディスプレイパネル１ｂにタッチパネル２ｂと反射防止フィルム３ｂを重ね、ディスプレイパネル１ｃにタッチパネル２ｃと反射防止フィルム３ｃを重ねて、合計３組のパネルユニットを構成する。そして、これら３組のパネルユニットを、支持部４によって隣り合うパネル面同士が垂直になるよう固定して、立体ディスプレイ１００とする。
【００１１】
本実施の形態１では、ディスプレイパネル１ａ〜１ｃの各表示面が互いに内側を向くように、立体ディスプレイ１００全体が凹んだ凹型に構成している。このような立体構成のディスプレイに、実際の形状とは反対の凹凸を感じさせる画像（例えば、人面などは基本的に凸であると認識しやすい）を表示すると、ユーザが視点（この視点は注視点ではなく立脚点である）を移動したときに、映像が常にユーザの方を向く錯覚の効果が得られる。
【００１２】
ここで、図３および図４を使用して、立体ディスプレイ１００の映像が視点に追従する効果について説明する。図３は立体ディスプレイ１００とユーザとの位置関係（左方向、正面方向、右方向）を示す。また、図４（ａ）は左方向から見た立体ディスプレイ１００の表示面、図４（ｂ）は正面方向から見た表示面、図４（ｃ）は右方向から見た表示面の一例である。
表示面が内側を向くように、全体が凹んだ形状の立体ディスプレイ１００は、左方向から見たときに左側のディスプレイパネル１ｂが陰になってくるので少ししか見えず、右側のディスプレイパネル１ａが大きく見える。このときユーザに見える顔の絵の画像が図４（ａ）であり、表示内容を凸と錯覚した場合、顔の絵が視点方向に回転する錯覚を得られる。
右方向から見たときは右側のディスプレイパネル１ａが陰になってくるので少ししか見えず、左側のディスプレイパネル１ｂが大きく見える。左側同様に右側も、図４（ｃ）に表わすように、顔の絵が視点方向に回転する錯覚を得られる。
【００１３】
複数のディスプレイパネル１ａ〜１ｃを凹型にした立体ディスプレイ１００以外にも、１つ以上の、表面が湾曲したディスプレイパネルを用いて立体ディスプレイを実現することもできる。この構成の場合の立体ディスプレイの画像が視点に追従する効果について、図５で説明する。
図５に示す立体ディスプレイは、表示面が内側を向くように、１組のパネルユニットを凹型に湾曲させた湾曲ディスプレイ１０１である。図５（ｂ）は、この湾曲ディスプレイ１０１を正面方向から見た表示面を表わす。左側方向から見たときに湾曲ディスプレイ１０１の左側が陰になってくるので少ししか見えず、湾曲ディスプレイ１０１の右側が大きく見える。このときユーザに見える顔の絵の画像が図５（ａ）であり、表示内容を凸と錯覚した場合、顔の絵が視点方向に回転する錯覚を得られる。右方向から見たときも同様に、図５（ｃ）に表わすように、顔の絵が視点方向に回転する錯覚を得られる。
【００１４】
また、図１に示すディスプレイパネル１ａ〜１ｃの視野角を、立体ディスプレイ１００の外側に向けて設定し、中心部方向の輝度を低くしてディスプレイパネル１ａ〜１ｃ同士の反射を低減する。この例を図６および図７に示す。
図６は、立体ディスプレイ１００のディスプレイパネル１ａ，１ｂを拡大した平面図であり、視野角特性を示す。図中の矢印は、ディスプレイパネル１ａ，１ｂの視野角を表わし、矢印が長いほど輝度が高いことを示す。このように、ディスプレイパネル１ａ，１ｂの当接側を向く視野角に比べ開放側を向く視野角が良好となるように設定して、当接側の輝度を低くし、パネル面同士の反射を低減する。図示は省略するが、ディスプレイパネル１ｃの輝度も同様に調整して、パネル面同士の反射を低減する。なお、視野角に応じた輝度の変化は、例えばディスプレイパネル１ａ〜１ｃにＴＮ（Ｔｗｉｓｔｅｄ  Ｎｅｍａｔｉｃ）液晶パネルを使用し、液晶分子の配向方向による特性を利用して実現する。
【００１５】
図７は、立体ディスプレイ１００のディスプレイパネル１ａ，１ｂを拡大した平面図であり、反射防止フィルム３ａ，３ｂの構造を示す。反射防止フィルム３ａ，３ｂは、微細なスリット状の表面構造が形成されており、そのスリットが立体ディスプレイ１００の外側を向くように、即ち、図中に矢印で示す指向性が立体ディスプレイ１００の外側に向くように設置する。これにより、立体ディスプレイ１００の中心部方向の反射を少なく設定し、パネル面同士の反射を低減する。図示は省略するが、ディスプレイパネル１ｃに設置する反射防止フィルム３ｃの指向性も同様に調整して、パネル面同士の反射を低減する。
【００１６】
なお、パネル面同士の反射を低減するために、図６のように輝度を調整する方法と、図７のように反射防止フィルム３ａ〜３ｃを用いる方法の両方を実施してもよいし、いずれか一方を実施してもよい。また、ディスプレイパネル１ａ〜１ｃとして液晶パネルを用いる場合、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルを用いる場合など、ディスプレイパネルの特性に応じて反射低減の方法を決定すればよい。
【００１７】
また、図１に示す支持部４は、ディスプレイパネル１ａ〜１ｃとタッチパネル２ａ〜２ｃと反射防止フィルム３ａ〜３ｃを重ねたパネルユニットがそれぞれ長方形である場合、隣り合うパネル面が互いに９０度で対面する姿勢に支持するが、これに限定されるものではない。例えばパネルユニットが５角形である場合、またはその他の自由な形状である場合、支持部４は、パネル面間に隙間ができないように、隣り合うパネル面を任意の角度で対面させた姿勢に支持すればよい。
【００１８】
次に、図２を用いて、ＰＣ５の詳細を説明する。このＰＣ５は、ディスプレイパネル１ａ〜１ｃに画像を表示し、タッチパネル２ａ〜２ｃの出力する信号を取得して近接または接触した物体の位置を表わす座標値を得るための制御装置である。なお、図２の構成例では、立体ディスプレイ１００を使用するために、ディスプレイパネル１ａに対応するタッチパネル制御部６ａ、近接・接触検知部７ａおよび表示制御部１５ａと、ディスプレイパネル１ｂに対応するタッチパネル制御部６ｂ、近接・接触検知部７ｂおよび表示制御部１５ｂと、ディスプレイ１ｃに対応するタッチパネル制御部６ｃ、近接・接触検知部７ｃおよび表示制御部１５ｃとを備えている。一方、図５に示す湾曲ディスプレイ１０１を使用する場合は、タッチパネル制御部、近接・接触検知部および表示制御部を１つずつ備える構成でよい。
【００１９】
タッチパネル制御部６ａ〜６ｃは、タッチパネル２ａ〜２ｃそれぞれの出力する信号を取得し、電荷分布に基づいて、パネルの近接空間に物体（手、指など）がある場合に電荷の変位を検知する。このとき、複数のタッチパネル２ａ〜２ｃを隣り合わせで使用するために、互いの影響を受けやすい。そこで、タッチパネル制御部６ａ〜６ｃは、使用を想定する空間内に手をかざした状態で、タッチパネル２ａ〜２ｃの信号を取得してキャリブレーションを実行し、このキャリブレーション結果を反映して、安定して電荷変位を検知できるよう設定しておく。
近接・接触検知部７ａ〜７ｃは、タッチパネル制御部６ａ〜６ｃそれぞれの検知結果に基づいて、例えば指のタッチパネル２ａ〜２ｃに対する３次元の相対空間座標を得る。指がタッチパネル２ａ〜２ｃに接触した場合は、タッチパネル２ａ〜２ｃの面上を指す２次元の相対空間座標を得る。
【００２０】
操作指方向判定部８は、近接・接触検知部７ａ〜７ｃそれぞれの相対空間座標から、指の立体ディスプレイ１００に対する３次元の絶対空間座標を計算し、さらにこの絶対空間座標から指の形状および方向などを判定する。タッチパネル２ａ〜２ｃで互いに垂直な３面の電荷分布を測定できるため、１面の板状タッチパネルに比べて、指でＯＫ印の丸を作るなどのより複雑な指のサインを認識することが可能となる。
【００２１】
視点検出部９は、操作指方向判定部８の判定した指方向に応じた視点の位置を推定する。例えば、操作指方向判定部８が人差し指を伸ばした握り拳の形状と、その人差し指の伸びる方向を判定した場合、視点検出部９は握り拳と人差し指の位置関係から左手か右手かを判断し、また、左手か右手かの判断結果と人差し指の方向とから立体ディスプレイ１００に対するユーザの方向を判断し、さらに、電荷量から大人か子供かを判断して体格に合わせた距離を計算して、立体ディスプレイ１００に対する視点位置の絶対空間座標を推定する。
なお、視点検出部９に代えて、画像センサを用いて視点位置の絶対空間座標を測定してもよい。
【００２２】
センシング座標変換部１０は、操作指方向判定部８の算出した指先の絶対空間座標を、視点検出部９の推定した視点位置の絶対空間座標から見ている状態の凸状の立体画像上の座標に変換する。立体ディスプレイ１００に表示された２次元画像が凸状の立体画像に錯覚される効果があるので、表示画像の２次元座標と、ユーザが視点位置から見ている状態の立体画像の３次元座標とは一致しない。そこで、センシング座標変換部１０は、視点検出部９が推定した視点の絶対空間座標から見た状態の立体画像の座標系を算出し、指先の絶対空間座標をこの座標系に変換する。
【００２３】
空間座標判定部１１は、センシング座標変換部１０の変換した指示位置の座標が、ディスプレイパネル１ａ〜１ｃに表示する画像の所定座標または所定エリアに合致するか否かを判定する。これにより、立体表示している操作アイコン等に相当する所定エリアを、ユーザが指で指示したか否かを判定する。
【００２４】
全体制御部１２は、入力系のタッチパネル制御部６ａ〜６ｃ、近接・接触検知部７ａ〜７ｃ、操作指方向判定部８、視点検出部９、センシング座標変換部１０および空間座標判定部１１と、出力系のコンテンツ変換部１３、画像形状変換部１４および表示制御部１５ａ〜１５ｃの双方を制御し、種々のアプリケーションプログラムを実行する。全体制御部１２は、例えば、空間座標判定部１１からユーザが操作アイコンを指示した旨を表わす判定結果を受け、その操作アイコンに関連付けられたアプリケーションプログラムを実行する。
【００２５】
コンテンツ変換部１３は、凹型の立体ディスプレイ１００に表示する画像を凸と錯覚させるために、頂点と見せたい部分を明るく表示するように、明度変換を行う。明度変換の一例を図８に示す。
図８は、立体ディスプレイ１００の外観斜視図であり、ディスプレイパネル１ａ〜１ｃの明度変換例を示す。ディスプレイパネル１ａ〜１ｃの３つの頂点が集まる中央部Ａは、凹型の立体ディスプレイ１００の最深部であり、通常、暗くなることが多い。これを凸と錯覚させるために、頂点に錯覚させる中央部Ａの明度を高くし、この中央部Ａから手前側の対角部Ｂにかけて自然に暗くなっていくように明度を低くしていく。
【００２６】
画像形状変換部１４は、コンテンツ変換部１３で明度変換した画像の形状を、射影変換等の一般的な手法を用いて変形する画像処理を行う。例えば、図５に示す湾曲ディスプレイ１０１を使用した場合などに、湾曲内側凹面の表示面形状に合うよう画像の形状を変換する。
従って、平面状のディスプレイパネル１ａ〜１ｃで構成された立体ディスプレイ１００を使用する場合、この画像形状変換部１４は不要である。
【００２７】
表示制御部１５ａ〜１５ｃは、コンテンツ変換部１３または画像形状変換部１４の変換した画像データをディスプレイパネル１ａ〜１ｃへ出力し、同期して表示する。
【００２８】
次に、図９および図１０を用いて、情報表示システムの動作例を説明する。なお、図９および図１０は例であり、これら以外の目的で情報表示システムを使用可能なことは言うまでもない。
【００２９】
図９は、立体ディスプレイ１００にペンギンの画像を表示した状態を示す図である。全体制御部１２の実行するアプリケーションプログラムは、指の動きに合わせてペンギンの向きを左右反転させるというものである。
図９（ａ）は、図面紙上向かって左方向を向いたペンギン画像の立体表示に対して、ユーザが指をかざした状態を表わす。このとき、タッチパネル制御部６ａ〜６ｃがタッチパネル２ａ〜２ｃの電荷分布の変位を検知し、近接・接触検知部７ａ〜７ｃが指の相対空間座標をそれぞれ検知する。そして、操作指方向判定部８が各相対空間座標を絶対空間座標に変換して指の方向を判定し、視点検出部９がユーザの視点位置を推定する。図９（ａ）の場合、右から左に向かって右手の人差し指が伸びているため、ユーザの視点は正面より右方向に在ると推定される。そして、センシング座標変換部１０が指先の絶対空間座標をユーザの見ている状態の立体画像上の座標に変換し、空間座標判定部１１は、指先の座標がペンギンのくちばし部分を指していることを判定して全体制御部１２へ通知する。
【００３０】
ユーザの指が図９（ａ）から図９（ｂ）の位置へ移動すると、ＰＣ５が上記説明と同様に処理を行って、空間座標判定部１１から全体制御部１２へ、指先の座標がペンギンのくちばし部分より右の位置を指していることを表わす情報が出力される。全体制御部１２は、指先の座標が左から右へ、所定座標まで移動すると、左右反転したペンギンの画像をコンテンツ変換部１３に出力する。そして、コンテンツ変換部１３が画像の明度を調整し、表示制御部１５ａ〜１５ｃがディスプレイパネル１ａ〜１ｃにその画像を表示する。よって、図９（ｂ）のように図面紙上向かって右方向を向いたペンギン画像が立体ディスプレイ１００に表示され、ユーザの指の動きに合わせてペンギンの向きが変わったことになる。
【００３１】
以上の操作中は、ユーザの視点は基本的に移動しない場合が多いが、指の操作が終了した後は、視点を移動すると、ペンギンの画像は同一であっても錯覚によりペンギンの向きが追従してくる効果が得られる。
【００３２】
図１０は、情報表示システムをユーザインタフェースに用いた例であり、３次元状の操作アイコンの一例としてダイヤルの画像を立体ディスプレイ１００に表示した状態を示す図である。全体制御部１２の実行するアプリケーションプログラムは、ユーザの指の動きに合わせてダイヤルを回転させるというものである。
図１０（ａ）は、ツマミが図面紙上の上下方向に向いたダイヤル画像の立体表示に対して、ユーザがダイヤルをつまむジェスチャをした状態を表わす。このとき、タッチパネル制御部６ａ〜６ｃがタッチパネル２ａ〜２ｃの電荷分布の変位を検知し、近接・接触検知部７ａ〜７ｃが指の相対空間座標をそれぞれ検知する。そして、操作指方向判定部８が各相対空間座標を絶対空間座標に変換して指の方向を判定すると共に、指がダイヤルをつまむ形状であると判定する。この例では、ダイヤルを回転させる操作中には視点の移動は無いと想定し、指先または手が初めてセンシングエリアに進入した座標と現在の座標とから指の進入方向を推定して、指の方向とする。そして、視点検出部９が指の方向等の情報に基づいてユーザの視点位置を推定する。センシング座標変換部１０は、指の絶対空間座標をユーザの見ている状態の立体画像上の座標に変換し、空間座標判定部１１は、指先の座標がダイヤルのツマミ部分をつまんでいることを判定して全体制御部１２へ通知する。
【００３３】
ユーザの指が図１０（ａ）から図１０（ｂ）の位置へ移動すると、ＰＣ５が上記説明と同様に処理を行って、空間座標判定部１１から全体制御部１２へ、左右方向に向いたツマミをつまむジェスチャであることを表わす情報が出力される。全体制御部１２は、このジェスチャの座標に合わせて、ツマミの方向を回転させたダイヤルの画像をコンテンツ変換部１３に出力する。そして、コンテンツ変換部１３が画像の明度を調整し、表示制御部１５ａ〜１５ｃがディスプレイパネル１ａ〜１ｃにその画像を表示する。よって、図１０（ｂ）のようにツマミが図面紙上向かって左右方向を向いたダイヤル画像が立体ディスプレイ１００に表示され、ユーザの指の動きに合わせてダイヤルの向きが変わったことになる。
【００３４】
映像をユーザインタフェースに使用する場合、操作感を向上させるために、映像を視点に追従させる必要があるが、従来のユーザインタフェース装置では映像を視点位置に追従させるために特別な機材（例えば、カメラと画像処理装置から成るアイトラッキングシステムと呼ばれる機材）を使用する必要があった。これに対し、本実施の形態１に係る情報表示システムは錯覚により画像が視点に追従するので、視点追従のための特別な機材を必要とせず、かつ、反応速度に遅延が生じない。
【００３５】
図１１は、情報表示システムをユーザインタフェースに用いた例であり、手の形状を模した３次元ベクトルアイコンを立体ディスプレイ１００に表示した状態を示す。全体制御部１２の実行するアプリケーションプログラムは、ユーザの指の動きに合わせて３次元ベクトルアイコンの位置と向きを変更するというものである。
この場合も、ＰＣ５が上記説明と同様に処理を行って、空間座標判定部１１から全体制御部１２へ、ユーザの指の座標と方向を表わす情報が出力される。全体制御部１２は、その情報に従って、指の座標に相当する画面上に、指の方向と同じ方向を向いた３次元ベクトルアイコンを表示させる。
【００３６】
立体ディスプレイ１００に表示される３次元ベクトルアイコンを操作することにより、ユーザは、座標と方向を所望の値に調整することができる。従って、指先よりも小さい座標を指定可能になる。また、ユーザは、空中の立体表示に対して操作しているときの操作感（フィードバック）を視覚的に得ることができるので、確実な操作を行うことができる。
【００３７】
なお、図９〜図１１では、説明のために、各パネルの継ぎ目を目立たせてディスプレイパネル１ａ〜１ｃの区別をつけているが、実際には、各パネルは隙間無く接しているので継ぎ目が目立たない。
【００３８】
以上より、実施の形態１によれば、情報表示システムは、表示面を設けたディスプレイパネル１ａ〜１ｃとユーザの指の近接および接触を検知するタッチパネル２ａ〜２ｃとを重ねた３組のパネルユニットを、これら表示面が凹形状になるよう構成した立体ディスプレイ１００と、タッチパネル２ａ〜２ｃの出力に基づいてディスプレイパネル１ａ〜１ｃの表示を制御するＰＣ５とを有し、ＰＣ５は、凹形状の表示面に表示する画像を凸状の立体画像と錯覚させるために、頂点に錯覚させる領域を他の領域より明るく表示する明度変換を行うコンテンツ変換部１３と、タッチパネル２ａ〜２ｃの出力からディスプレイパネル１ａ〜１ｃに対する指の位置を表わす座標を算出する近接・接触検知部７ａ〜７ｃと、近接・接触検知部７ａ〜７ｃの算出結果から指の方向を判定する操作指方向判定部８と、操作指方向判定部８の判定結果から立体ディスプレイ１００に対するユーザの視点位置を推定する視点検出部９と、指の位置を表わす座標を視点検出部９の推定した視点位置から立体ディスプレイ１００を見た状態の立体画像上の座標に変換するセンシング座標変換部１０と、センシング座標変換部１０で変換した立体画像上の指の座標がこの立体画像上の所定領域に重なるか否かを判定する空間座標判定部１１と、空間座標判定部１１の判定結果に基づいて立体ディスプレイ１００に表示する画像を変更する全体制御部１２とを備えるように構成した。このため、凸状の立体画像に錯覚させた表示空間と操作空間とを合致させることができる。よって、視点に追従する立体的な映像を指で直接操作できるような、操作感の良いユーザインタフェースを提供することができる。
【００３９】
また、実施の形態１によれば、立体ディスプレイ１００は、凹形状に構成した表示面の視野角を当該表示面の外側に向けて設定し、当該表示面の中心方向の輝度を低くするようにしたので、パネル面同士の反射を低減することができる。
【００４０】
また、実施の形態１によれば、立体ディスプレイ１００は、表示面の外側を向いた指向性を有する反射防止フィルム３ａ〜３ｃを備えるように構成したので、表示面の中心方向の反射を少なくして、パネル面同士の反射を低減することができる。
【００４１】
また、実施の形態１によれば、ＰＣ５の全体制御部１２は、センシング座標変換部１０の出力する指の座標の位置に、操作指方向判定部８の判定した指の方向を示す３次元ベクトルアイコンを表示して、当該指の動きに合わせて３次元ベクトルアイコンの向きを変更するように構成した。このため、指先で直接操作することが難しい細かい画像を表示したユーザインタフェースにおいて、ユーザはこの細かい画像を操作するのではなく、視点と指に合わせて動く３次元ベクトルアイコンを操作することによって細かい操作を行うことができる。よって、操作感の良いユーザインタフェースを提供することができる。
【００４２】
また、実施の形態１によれば、立体ディスプレイを、表示面が凹形状に湾曲した湾曲ディスプレイ１０１で構成し、ＰＣ５は、画像を射影変換して湾曲ディスプレイ１０１の表示面の形状に変形する画像形状変換部１４を備えるように構成にした。このため、ディスプレイパネルが単数の場合でも、物理的に凹形状の表示面を構成し、視点に追従する立体的な映像を指で直接操作できるような、操作感の良いユーザインタフェースを提供することができる。
【００４３】
なお、上記説明では、立体ディスプレイ１００または湾曲ディスプレイ１０１を凹型にして、凹形状の表示面に表示した画像を凸状の立体画像と錯覚させる構成例を説明したが、反対に、立体ディスプレイ１００または湾曲ディスプレイ１０１を凸型にして、凸形状の表示面に表示した画像を凹状の立体画像と錯覚させる構成にしてもよい。
この構成の場合、コンテンツ変換部１３は、凸面に表示した画像を凹と錯覚させるために、窪みに錯覚させる領域を暗く表示させる明度変換を行う。凸型の立体ディスプレイ１００であれば、ディスプレイパネル１ａ〜１ｃの３つの頂点が集まる凸側の中央部の明度を低くして窪みに見せ、この中央部から凹んだ対角部にかけて自然に明るくなっていくように明度を高くしていけばよい。
【００４４】
上記以外にも、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００４５】
１ａ〜１ｃ  ディスプレイパネル、  ２ａ〜２ｃ  タッチパネル、  ３ａ〜３ｃ  反射防止フィルム、  ４  支持部、  ５  ＰＣ、  ６ａ〜６ｃ  タッチパネル制御部、  ７ａ〜７ｃ  近接・接触検知部、  ８  操作指方向判定部、  ９  視点検出部、  １０  センシング座標変換部、  １１  空間座標判定部、  １２  全体制御部、  １３  コンテンツ変換部、  １４  画像形状変換部、  １５ａ〜１５ｃ  表示制御部、  １００  立体ディスプレイ、  １０１  湾曲ディスプレイ、  Ａ  中央部、  Ｂ  対角部。
【図１】
0005822666.tif 000002
【図２】
0005822666.tif 000003
【図３】
0005822666.tif 000004
【図４】
0005822666.tif 000005
【図５】
0005822666.tif 000006
【図６】
0005822666.tif 000007
【図７】
0005822666.tif 000008
【図８】
0005822666.tif 000009
【図９】
0005822666.tif 000010
【図１０】
0005822666.tif 000011
【図１１】
0005822666.tif 000012