(57)【要約】【課題】ユーザーの利き目が左目であるか右目であるかに拘わらず、立体画像を表示したままで、立体画像に対してユーザーが意図したとおりの操作を行うことができ、これによりユーザーがタッチ操作を行う際に表示画像に違和感を感じたり、あるいはユーザーの利き目の違いによりタッチ操作により意図しない画像処理が行われたりするのを回避することができる操作パネル装置を得る。【解決手段】仮想３次元空間内の物体を定義する３次元画像データを生成する３次元画像空間処理部１０４を有し、該物体を立体表示する操作パネル装置１００において、立体表示された物体に対するユーザー視点を決定するユーザー視点決定部１０５を備え、該タッチパネルの操作面に対する操作位置を、決定されたユーザー視点である左目あるいは右目から該立体表示された物体を見たときの２次元画像を基準に判断するようにした。【選択図】図１
2012252663.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示面を有する表示装置と、該表示装置の表示面に重ね合わせて設けられた操作面を有し、該操作面に対するタッチ操作により情報入力を行うタッチパネルとを備えた操作パネル装置であって、
仮想３次元空間内に位置する物体を定義する３次元画像データを生成する３次元画像空間処理部と、
該３次元画像データに基づいて該物体の左目視差画像及び右目視差画像の画像データを生成し、該表示装置の表示面に該物体が立体表示されるよう該表示装置に供給する表示画像生成部と、
立体表示された物体に対するユーザー視点を決定するユーザー視点決定部とを備え、
該タッチパネルの操作面に対する操作位置を、決定されたユーザー視点から該立体表示された物体を見たときの２次元画像に対する操作位置とする、操作パネル装置。
【請求項２】
請求項１に記載の操作パネル装置において、
前記ユーザー視点決定部は、前記仮想３次元空間におけるユーザー視点を算出し、この算出したユーザー視点が、前記仮想３次元空間におけるユーザーの左目の位置及び右目の位置のいずれの位置に近いかを判定し、前記左目視差画像及び右目視差画像のうちの、算出したユーザー視点が近い方の目に対応するものを、前記タッチパネルの操作面でのタッチ操作の対象となる２次元画像として用いる、操作パネル装置。
【請求項３】
請求項１に記載の操作パネル装置において、
前記ユーザー視点決定部は、前記仮想３次元空間におけるユーザー視点を算出し、この算出したユーザー視点から該立体表示された物体を見たときの２次元画像を、前記タッチパネルの操作面でのタッチ操作の対象となる２次元画像として用いる、操作パネル装置。
【請求項４】
請求項１に記載の操作パネル装置において、
前記表示画像生成部は、前記仮想３次元空間におけるユーザーの左目の位置と前記物体の中心とを結ぶ直線に対して垂直な第１の２次元平面に、該物体の画像を投影して前記左目視差画像を生成し、前記仮想３次元空間におけるユーザーの右目の位置と前記物体の中心とを結ぶ直線に対して垂直な第２の２次元平面に、該物体の画像を投影して前記右目視差画像を生成するものである、操作パネル装置。
【請求項５】
請求項１に記載の操作パネル装置において、
前記ユーザー視点決定部は、電源がオンされた後の初期設定に続いて、立体表示された物体に対するユーザー視点が決定されているか否かの判定を行い、
該判定の結果、該ユーザー視点が決定されている場合は、既に格納されているユーザー視点に関する情報を用いて、前記左目視差画像及び前記右目視差画像のいずれかを、前記タッチパネルの操作面でのタッチ操作の対象となる２次元画像とし、
該判定の結果、前記ユーザー視点が決定されていない場合は、立体表示された物体に対するユーザー視点を決定し、その後、該決定したユーザー視点に基づいて、前記左目視差画像及び前記右目視差画像のいずれかを、前記タッチパネルの操作面でのタッチ操作の対象となる２次元画像とする、操作パネル装置。
【請求項６】
請求項５に記載の操作パネル装置において、
種々の情報を記憶する記憶部を有し、
前記ユーザー視点決定部は、前記判定の結果、前記ユーザー視点が決定されていない場合に、立体表示された物体に対するユーザー視点を決定したときは、決定したユーザー視点に関する情報を該記憶部に保存する、操作パネル装置。
【請求項７】
請求項１に記載の操作パネル装置において、
前記タッチパネルに対するタッチ操作に応じて、前記仮想３次元空間処理部が、前記３次元画像空間における物体の生成、回転、移動、拡大、及び縮小を少なくとも含む種々の画像処理のうちの特定の画像処理を行うよう、該仮想３次元空間処理部を制御する表示制御部を備えた、操作パネル装置。
【請求項８】
請求項７に記載の操作パネル装置において、
前記タッチパネルに接続され、該タッチパネルからのタッチ検出信号に基づいて、ユーザーのタッチ操作した操作面上にタッチ位置を示す接触座標データを出力する接触座標検知部を備え、
前記ユーザー視点決定部は、該接触座標検知部からの接触座標データに基づいて、ユーザーがタッチした、前記左目視差画像あるいは前記右目視差画像におけるタッチ位置を検出し、該タッチ位置を示すタッチ位置座標データを出力し、
前記表示制御部は、該接触座標検知部からの接触座標データと、該ユーザー視点決定部から出力されたタッチ位置座標データとに基づいて、ユーザーのタッチ操作が示す画像処理の種類を判別し、判断した種類の画像処理が行われるよう、前記仮想３次元空間処理部を制御する、操作パネル装置。
【請求項９】
画像を表示する表示面を有する表示装置と、該表示装置の表示面に重ね合わせて設けられた操作面を有し、該操作面に対するタッチ操作により情報入力を行うタッチパネルとを備えた操作パネル装置を搭載した電子情報機器であって、
該操作パネル装置は、請求項１ないし８のいずれかに記載の操作パネル装置である、電子情報機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作パネル装置および電子情報機器に関し、特に、タッチパネルが設けられた表示装置を備え、該表示装置の表示面上に画像（以下、物体ともいう。）を立体表示し、この立体表示された画像（つまり、立体画像）をタッチパネルに対するタッチ操作により操作可能に構成した操作パネル装置において、ユーザーの利き目に応じて、立体画像の表示面上での位置を特定する２次元座標系を変更するようにしたもの、およびこのような操作パネル装置を搭載した電子情報機器に関するものである。
【背景技術】
【０００２】
近年、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）のような情報携帯端末、ディジタルビデオカメラレコーダなどの携帯型の電子機器では、メニュー画面に含まれるアイコンなどのオブジェクトをユーザーが選択するための入力デバイスとしてタッチパネルを搭載したものが多い。
【０００３】
このタッチパネルは、表示装置の表示面に、この表示面に表示されている画面が見えるよう重ねて配置され、指やペンで任意の位置に直接触れることで、マウスによるクリックやダブルクリックと同等のイベント発生操作が可能な入力装置であり、アナログ容量結合方式、アナログ抵抗膜方式など、様々な方式のものが知られている。
【０００４】
例えば、画像を表示する表示装置と、この表示装置の表示面に取り付けられたタッチパネルとを有する操作パネル装置は、ユーザーがタッチパネルに触れることで、ユーザーが触れた位置（以下、タッチ位置ともいう。）を示す座標（以下、タッチ座標ともいう。）を算出し、算出したタッチ座標に基づいてタッチ位置に表示されているアイコンやボタンを操作可能な構成となっている。
【０００５】
ところで、特許文献１には、このようなタッチパネルと表示装置を組み合わせた操作パネル装置において、表示装置に表示した仮想３次元空間内のオブジェクト（物体）に対してタッチ操作で様々な処理を行う技術が開示されている。
【０００６】
また、近年の液晶ディスプレイ（ＬＣＤ）技術の進歩に伴い、画像を立体表示可能な表示装置をタッチパネルと組み合わせた操作パネル装置も開発されている。
【０００７】
このような画像の立体表示が可能な操作パネル装置では、ユーザーが画像を立体的に認識するよう、表示装置の表示面に一対の視差画像、つまり、被写体を左目でみたときの画像（左目用視差画像）と被写体を右目でみたときの画像（右目用視差画像）とを、人の平均的な左右両目の間隔（以下、両目視差という。）だけずらして表示している。
【０００８】
また、人の目から脳に伝達される情報は、左右両目のうちの利き目からの情報が、利き目でない目からの情報より速く脳に伝達され、利き目からの速く脳に伝達された情報が基本となり、利き目でない方の目からの情報が補助的な役割を果たして、ユーザーには画像が立体的に認識されることとなる。
【０００９】
このため、立体表示された画像（立体画像）の操作のためにユーザーがタッチパネルにタッチする場合、例えば、左目が利き目の人は、タッチすべき目標位置（例えば、物体の中心位置）を、表示面上の左目用視差画像上で判断してタッチ操作を行うこととなり、右目が利き目の人は、タッチすべき目標位置（例えば、物体の中心位置）を、表示面上の右目用視差画像上で判断してタッチ操作を行うこととなる。
【００１０】
従って、個々のユーザーが同一の立体画像の中心を触れるつもりでタッチ操作を行う場合でも、ユーザーの利き目が右目か左目かによって、ユーザーがタッチするタッチパネル上の場所が異なることとなり、タッチパネルを用いた操作パネル装置では、立体画像に対する操作性が悪いという問題がある。
【００１１】
ところで、特許文献２では、このような操作パネル装置での立体画像に対する操作性を改善するために、表示装置に表示された立体画像を、タッチパネル上で操作が行われる直前に平面画像に切替えるという対策を講じたものが開示されている。
【００１２】
図１１は、特許文献２に開示の操作パネル装置を説明する図であり、図１１（ａ）は全体構成を示し、図１１（ｂ）は、この操作パネル装置を構成する操作パネルの構造を示している。
【００１３】
図１１（ａ）に示す操作パネル装置１０は、表示面に表示された操作画面に対してタッチ操作を行うための操作パネル１と、該操作パネル１を制御する制御部９とを有している。ここで、操作パネル１は、表示面を有し、該表示面に種々の画像を表示する表示部２と、該表示部２の表示面上に重ねて配置され、ユーザーがタッチしたタッチ位置を検出して、タッチ位置を示す座標データを出力するタッチパネル３と、該タッチパネル３の操作面と所定の間隔Ａを空けて配設され、ユーザーの指あるいはタッチペンなどの押圧部材がタッチパネル３の操作面に触れる前に、この操作面への指などの接近を検知する近接センサー４とを備えている。
【００１４】
そして、この操作パネル１では、制御部９は、近接センサー４からの検知出力に基づいて、表示部２で表示する画像を、ユーザーに立体画像を認識させるための一対の視差画像と１つの平面画像との間で切替えるよう構成されている。
【００１５】
したがって、特許文献２に開示の操作パネル装置１０では、表示部２に表示されている立体画像を形成するための一対の視差画像、つまり右目用視差画像および左目用視差画像を、タッチパネル３上で操作が行われる直前に１つの平面画像に切替えることにより、上述したようなユーザーの利き目の違いにより、立体画像に対してタッチする場所がタッチパネルの操作面で異なってしまうという問題は回避できる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００４−２５９０６５号公報
【特許文献２】特開２００４−２８０４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、特許文献２では、操作性の向上を図るために指やタッチペンなどの押圧部材の接近を近接センサーで検知し、その検知情報に基づいて一対の視差画像と単一の平面画像との切替を行っているが、近接センサーの設置によりデザイン性が悪くなり、また、コストの増加要因にもなる。また、ユーザーに立体画像を認識させる一対の視差画像と、単なる平面画像とを切り替えることに起因して、ユーザーが、タッチ操作時に表示画像に違和感を感じ、また、この表示画像のリアリティも損なってしまう。
【００１８】
一方、一対の視差画像を表示面に表示したまま、タッチパネルに対するタッチ操作を行う場合には、ユーザーが立体画像の中心をタッチ操作しているつもりでも、上述したように、ユーザーの利き目の違いにより、ユーザーよって、タッチパネルの操作面上の異なる位置をタッチすることとなり、操作パネル装置１では、ユーザーの意図する操作とは異なる操作がなされたと判定され、意図しない画像処理が行われてしまうという問題がある。
【００１９】
本発明は、上記のような問題点を解決するためになされたものであり、ユーザーの利き目が左目であるか右目であるかに拘わらず、立体画像を表示したままで、立体画像に対してユーザーが意図したとおりのタッチ操作をより正確に行うことができ、これによりユーザーがタッチ操作を行う際に表示画像に違和感を感じたり、あるいはユーザーの利き目の違いによりユーザーの意図したとおりのタッチ操作ができなかったりするのを回避することができる操作パネル装置、およびこのような操作パネル装置を有する電子情報機器を得ることを目的とする。
【課題を解決するための手段】
【００２０】
本発明に係る操作パネル装置は、画像を表示する表示面を有する表示装置と、該表示装置の表示面に重ね合わせて設けられた操作面を有し、該操作面に対するタッチ操作により情報入力を行うタッチパネルとを備えた操作パネル装置であって、仮想３次元空間内に位置する物体を定義する３次元画像データを生成する３次元画像空間処理部と、該３次元画像データに基づいて該物体の左目視差画像及び右目視差画像の画像データを生成し、該表示装置の表示面に該物体が立体表示されるよう該表示装置に供給する表示画像生成部と、立体表示された物体に対するユーザー視点を決定するユーザー視点決定部とを備え、該タッチパネルの操作面に対する操作位置を、決定されたユーザー視点から該立体表示された物体を見たときの２次元画像に対する操作位置とするものであり、そのことにより上記目的が達成される。
【００２１】
本発明は、上記操作パネル装置において、前記ユーザー視点決定部は、前記仮想３次元空間におけるユーザー視点を算出し、この算出したユーザー視点が、前記仮想３次元空間におけるユーザーの左目の位置及び右目の位置のいずれの位置に近いかを判定し、前記左目視差画像及び右目視差画像のうちの、算出したユーザー視点が近い方の目に対応するものを、前記タッチパネルの操作面でのタッチ操作の対象となる２次元画像として用いることが好ましい。
【００２２】
本発明は、上記操作パネル装置において、前記ユーザー視点決定部は、前記仮想３次元空間におけるユーザー視点を算出し、この算出したユーザー視点から該立体表示された物体を見たときの２次元画像を、前記タッチパネルの操作面でのタッチ操作の対象となる２次元画像として用いることが好ましい。
【００２３】
本発明は、上記操作パネル装置において、前記表示画像生成部は、前記仮想３次元空間におけるユーザーの左目の位置と前記物体の中心とを結ぶ直線に対して垂直な第１の２次元平面に、該物体の画像を投影して前記左目視差画像を生成し、前記仮想３次元空間におけるユーザーの右目の位置と前記物体の中心とを結ぶ直線に対して垂直な第２の２次元平面に、該物体の画像を投影して前記右目視差画像を生成するものであることが好ましい。
【００２４】
本発明は、上記操作パネル装置において、前記ユーザー視点決定部は、電源がオンされた後の初期設定に続いて、立体表示された物体に対するユーザー視点が決定されているか否かの判定を行い、該判定の結果、該ユーザー視点が決定されている場合は、既に格納されているユーザー視点に関する情報を用いて、前記左目視差画像及び前記右目視差画像のいずれかを、前記タッチパネルの操作面でのタッチ操作の対象となる２次元画像とし、該判定の結果、前記ユーザー視点が決定されていない場合は、立体表示された物体に対するユーザー視点を決定し、その後、該決定したユーザー視点に基づいて、前記左目視差画像及び前記右目視差画像のいずれかを、前記タッチパネルの操作面でのタッチ操作の対象となる２次元画像とすることが好ましい。
【００２５】
本発明は、上記操作パネル装置において、種々の情報を記憶する記憶部を有し、前記ユーザー視点決定部は、前記判定の結果、前記ユーザー視点が決定されていない場合に、立体表示された物体に対するユーザー視点を決定したときは、決定したユーザー視点に関する情報を該記憶部に保存することが好ましい。
【００２６】
本発明は、上記操作パネル装置において、前記タッチパネルに対するタッチ操作に応じて、前記仮想３次元空間処理部が、前記３次元画像空間における物体の生成、回転、移動、拡大、及び縮小を少なくとも含む種々の画像処理のうちの特定の画像処理を行うよう、該仮想３次元空間処理部を制御する表示制御部を備えていることが好ましい。
【００２７】
本発明は、上記操作パネル装置において、前記タッチパネルに接続され、該タッチパネルからのタッチ検出信号に基づいて、ユーザーのタッチ操作した操作面上にタッチ位置を示す接触座標データを出力する接触座標検知部を備え、前記ユーザー視点決定部は、該接触座標検知部からの接触座標データに基づいて、ユーザーがタッチした、前記左目視差画像あるいは前記右目視差画像におけるタッチ位置を検出し、該タッチ位置を示すタッチ位置座標データを出力し、前記表示制御部は、該接触座標検知部からの接触座標データと、該ユーザー視点決定部から出力されたタッチ位置座標データとに基づいて、ユーザーのタッチ操作が示す画像処理の種類を判別し、判断した種類の画像処理が行われるよう、前記仮想３次元空間処理部を制御することが好ましい。
【００２８】
本発明に係る電子情報機器は、画像を表示する表示面を有する表示装置と、該表示装置の表示面に重ね合わせて設けられた操作面を有し、該操作面に対するタッチ操作により情報入力を行うタッチパネルとを備えた操作パネル装置を搭載した電子情報機器であって、該操作パネル装置は、上述した本発明に係る操作パネル装置であり、そのことにより上記目的が達成される。
【００２９】
次に作用について説明する。
【００３０】
本発明においては、操作パネル装置において、仮想３次元空間内に位置する物体を定義する３次元画像データを生成する３次元画像空間処理部と、該３次元画像データに基づいて該物体の左目視差画像及び右目視差画像の画像データを生成し、該表示装置の表示面に該物体が立体表示されるよう該表示装置に供給する表示画像生成部と、立体表示された物体に対するユーザー視点を決定するユーザー視点決定部とを備え、該タッチパネルの操作面に対する操作位置を、決定されたユーザー視点から該立体表示された物体を見たときの２次元画像に対する操作位置とするので、ユーザーのタッチパネルに対する操作位置の判定を、ユーザーの利き目が見ている視差画像に基づいて行われることとなり、これにより、ユーザーの利き目が左目であるか右目であるかに拘わらず、立体画像を表示したままで、立体画像に対してユーザーが意図したとおりの操作を行うことができ、これによりユーザーがタッチ操作を行う際に表示画像に違和感を感じたり、あるいはユーザーの利き目の違いによりタッチ操作により意図しない画像処理が行われたりするのを回避することができる。
【００３１】
また、本発明においては、前記ユーザー視点決定部を、仮想３次元空間におけるユーザー視点を算出し、この算出したユーザー視点から該立体表示された物体を見たときの２次元画像を、タッチパネルの操作面でのタッチ操作の対象となる２次元画像として用いるよう構成しているので、立体表示されている物体に対するユーザー操作の位置判定が、実質的にユーザーが立体表示されている物体を見ている視点を基準として行われることとなり、これによりユーザーがタッチ操作を行う際に表示画像に違和感を感じたり、あるいはユーザーの利き目の違いによりタッチ操作により意図しない画像処理が行われたりするのを確実に回避することが可能となる。
【発明の効果】
【００３２】
以上のように、本発明によれば、ユーザーの利き目が左目であるか右目であるかに拘わらず、立体画像を表示したままで、立体画像に対してユーザーが意図したとおりの操作を行うことができ、これによりユーザーがタッチ操作を行う際に表示画像に違和感を感じたり、あるいはユーザーの利き目の違いによりタッチ操作により意図しない画像処理が行われたりするのを回避することができる操作パネル装置、およびこのような操作パネル装置を有する電子情報機器を得ることができる。
【図面の簡単な説明】
【００３３】
【図１】図１は、本発明の実施形態１による操作パネル装置を説明する図であり、図１（ａ）は、該操作パネルの構成を示すブロック図であり、図１（ｂ）は、該操作パネル装置を構成するタッチパネルおよび表示装置を分離して示す斜視図である。
【図２】図２は、本発明の実施形態１による操作パネル装置を説明する図であり、該操作パネル装置を構成する表示装置の表示面に定義された表示座標系、および該操作パネル装置を構成するタッチパネルの操作面に定義された操作座標系を示している。
【図３】図３は、本発明の実施形態１による操作パネル装置を説明する図であり、図３（ａ）は、この操作パネル装置の仮想３次元空間処理部で作成される仮想３次元空間内の物体を示し、図３（ｂ）は、該仮想３次元空間内で物体を２次元平面に投影する方法を示している。
【図４】図４は、本発明の実施形態１による操作パネル装置の表示画像生成部で作成される２次元画像を説明する図であり、図４（ａ）は、上記仮想３次元空間内で該物体を所定の距離だけ離れた位置からみるとき、左目で見る画像（左目用視差画像）を示し、図４（ｂ）は、該仮想３次元空間内で該物体を所定の距離だけ離れた位置からみるとき、右目で見る画像（右目用視差画像）を示している。
【図５】図５は、本発明の実施形態１による操作パネル装置を説明する図であり、この操作パネル装置の表示装置で仮想３次元空間の物体が立体表示されるよう、その表示面に左目用視差画像と右目用視差画像とをずらして表示した状態を示している。
【図６】図６は、本発明の実施形態１による操作パネル装置の動作をフローチャートにより説明する図である。
【図７】図７は、本発明の実施形態２による操作パネル装置を説明する図であり、該操作パネルの構成を示している。
【図８】図８は、本発明の実施形態２による操作パネル装置を説明する図であり、この操作パネル装置の仮想３次元空間処理部で作成される仮想３次元空間内の物体が投影される２次元平面を示している。
【図９】図９は、本発明の実施形態２による操作パネル装置を説明する図であり、仮想３次元空間内で物体を、ユーザー視点と物体の中心とを結ぶ直線に垂直な２次元平面に投影して得られる２次元画像を示している。
【図１０】図１０は、本発明の実施形態３による携帯情報端末として携帯電話機を説明する図である。
【図１１】図１１は、特許文献２に開示の操作パネル装置を説明する図であり、図１１（ａ）は、全体構成を示すフロック図、図１１（ｂ）は、該操作パネル装置を構成する操作パネルの斜視図である。
【発明を実施するための形態】
【００３４】
以下、本発明の実施形態について図面を参照しながら説明する。
【００３５】
（実施形態１）
図１は、本発明の実施形態１による操作パネル装置を説明する図であり、図１（ａ）は、該操作パネルの構成を示すブロック図であり、図１（ｂ）は、該操作パネル装置を構成するタッチパネルおよび表示装置を分離して示す斜視図である。
【００３６】
この実施形態１の操作パネル装置１００は、３次元表示された物体に対するタッチ操作により、３次元表示されている物体を操作可能に構成したものであり、動作モードとして、ユーザーの利き目を判定するユーザー視点判定モードと、３次元表示された物体の操作を行うための通常表示モードとを有している。なお、この実施形態１では、３次元表示された物体という表現は、従来技術の説明で用いた、立体表示された物体という表現と同じ意味で用いており、以下、３次元表示された物体を立体画像ともいう。
【００３７】
つまり、この操作パネル装置１００は、画像を表示する表示面１０１ａを有し、該表示面１０１ａ上に画像データＩｄに基づいて画像を表示する表示装置１０１と、操作面１０２ａを有し、ユーザーが操作面１０２ａに指やペンなどの部材でタッチしたとき、該操作面１０２ａにユーザーの指やペンなどの部材が接触したことを検出して、ユーザーがタッチした位置（タッチ位置）に応じた接触検出信号Ｄｔを出力するタッチパネル１０２とを有している。
【００３８】
また、該表示装置１０１および該タッチパネル１０２は、該タッチパネル１０２に対するタッチ操作により、表示面１０１ａに表示された物体に対する操作を行うための操作パネル１００ａを構成しており、該表示装置１０１ａの表示面１０１ａにタッチパネル１０２の操作面１０２ａが重なるよう、該表示装置１０１上にタッチパネル１０２が配置されている。なお、タッチパネル１０２の操作面１０２ａはこの操作面１０２ａを介して表示装置１０１の表示面１０１ａが見えるよう透明部材により構成されている。
【００３９】
ここで、該表示装置１０１の表示面１０１ａには、図２に示すように、該表示面１０１ａ上に表示されている画像の各点を特定するための表示座標系Ｄｃｓが設定されており、また、タッチパネル１０２の操作面１０２ａには、図２に示すように、該操作面１０２ａに対してタッチされた位置を特定するための操作座標系Ｔｃｓが設定されている。これらの操作座標系Ｔｃｓおよび表示座標系Ｄｃｓはそれぞれ、図２に示すようにＸ軸およびＹ軸を有する２次元座標系である。また、表示座標系Ｄｃｓ及び操作座標系Ｔｃｓは、該タッチパネル１０２の操作面１０２ａに設定されている操作座標系Ｔｃｓの同一座標の点Ｔｐが、表示装置１０１の表示面１０１ａに設定されている表示座標系Ｄｃｓの同一座標の点Ｄｐと一致するよう定義されている。
【００４０】
このような構成の操作パネル１００ａでは、ユーザーのタッチパネル２に対するタッチ操作は、ユーザーが指やペンでタッチパネルの操作面１０２ａに触れることにより行われる。
【００４１】
上記操作パネル装置１００は、上記タッチパネル１０２からの接触検出信号Ｄｔに基づいて、タッチパネルの操作面１０２ａ上に定義されている操作座標系Ｔｃｓにおける、タッチ位置に対応するタッチ座標（接触座標）を示す接触座標データＣｄを出力する接触座標検知部１０３と、接触座標データＣｄに基づいてユーザー操作を判定し、該判定したユーザー操作に応じた命令信号ＣｒａおよびＣｒｂを出力する表示制御部１０７とを有している。
【００４２】
ここで、上記接触座標検知部１０３は、ユーザー視点算出モード時には、タッチ位置として算出されるタッチ座標は一つでなければならないが、通常動作時には、タッチ位置として算出されるタッチ座標は複数であってもよい。
【００４３】
上記操作パネル装置１００は、表示制御部１０７からの命令信号Ｃｒｂに基づいて、図３（ａ）に示す仮想３次元空間Ｔｓにおける物体ＴＢの描画、回転、移動、拡大、縮小などの仮想３次元空間Ｔｓでの画像処理を行って、３次元画像データＰｄａおよびＰｄｂを出力する仮想３次元空間処理部１０４と、図３（ｂ）に示すように、該仮想３次元空間処理部１０４からの３次元画像データＰｄａに基づいて、左目Ｌｅおよび右目Ｒｅのそれぞれを視点とする２つの２次元平面ＬｐおよびＲｐ上に、仮想３次元空間Ｔｓ上の物体ＴＢの点を投影して左目用視差画像ＬＢおよび右目用視差画像ＲＢ（図４（ａ）および図４（ｂ）参照）を生成し、これらの左目用視差画像ＬＢおよび右目用視差画像ＲＢの画像データを、仮想３次元空間内の物体を立体表示するための画像データＩｄとして出力する表示画像生成部１０６とを有している。
【００４４】
つまり、上記仮想３次元空間処理部１０４は、命令信号Ｃｒｂに基づいて、仮想３次元空間Ｔｓにて物体ＴＢの各点の位置を定義することで、該物体の描画、回転、移動、拡大、縮小などの画像処理を行うよう構成されており、また、表示画像生成部１０６は、仮想３次元空間処理部１０４で画像処理が施された物体を立体表示するための画像データＩｄを表示装置１０１に出力するよう構成されている。
【００４５】
なお、図３は、本発明の実施形態１による操作パネル装置を説明する図であり、図３（ａ）は、この操作パネル装置の仮想３次元空間処理部で作成される仮想３次元空間内の物体を示し、図３（ｂ）は、この物体を仮想３次元空間内で２次元平面に投影するときの、左目および右目の視点、物体、並びに左目および右目の視点に対応する２次元平面の位置関係を示している。
【００４６】
また、図４は、仮想３次元空間Ｔｓ内の物体ＴＢを２次元平面Ｌｐ及びＲｐに投影して得られる左目視差画像ＬＢ及び右目視差画像ＲＢを示す図であり、図４（ａ）は、該仮想３次元空間内で該物体を所定の距離だけ離れた位置からみるとき、左目が見る画像（左目視差画像）ＬＢを示し、図４（ｂ）は、該仮想３次元空間内で該物体を所定の距離だけ離れた位置からみるとき、右目が見る画像（右目視差画像）ＲＢを示している。ここでは、上記物体として野球のボールの画像を示している。
【００４７】
具体的には、図４（ａ）に示す左目Ｌｅを視点とする２次元平面Ｌｐは、仮想３次元空間Ｔｓ内で左目Ｌｅの位置と物体ＴＢの中心ＴＢｃとを結ぶ直線ＬＬｎに垂直な平面として定義され、左目用視差画像ＬＢは、この２次元平面Ｌｐに物体ＴＢを投影して得られたものであり、図４（ｂ）に示す右目Ｒｅを視点とする２次元平面Ｒｐは、仮想３次元空間Ｔｓ内で右目Ｒｅの位置と物体ＴＢの中心ＴＢｃとを結ぶ直線ＲＬｎに垂直な平面として定義され、右目用視差画像ＲＢは、この２次元平面Ｌｃに物体ＴＢを投影して得られたものである。
【００４８】
ここで、仮想３次元画像空間Ｔｓには、図３（ａ）および図３（ｂ）に示すように、この仮想３次元画像空間Ｔｓ内での位置を特定するための、３つの座標軸ＴＸ、ＴＹ、ＴＺを有する３次元座標系Ｔｃが設定されており、この仮想３次元空間Ｔｓ内の各点の位置Ｐは、３次元座標（Ｐｘ，Ｐｙ，Ｐｚ）により表される。
【００４９】
また、２次元平面Ｌｐには、図４（ａ）に示すように、この２次元平面Ｌｐ内での位置を特定するための、２つの座標軸ＬＸ、ＬＹを有する２次元座標系Ｌｃが設定されており、この２次元平面Ｌｐ内の各点Ｌの位置は、２次元座標（Ｌｘ，Ｌｙ）により表される。
【００５０】
また、２次元平面Ｒｐには、図４（ｂ）に示すように、この２次元平面Ｒｐ内での位置を特定するための、２つの座標軸ＲＸ、ＲＹを有する２次元座標系Ｒｃが設定されており、この２次元平面Ｒｐ内の各点Ｒの位置は、２次元座標（Ｒｘ，Ｒｙ）により表される。
【００５１】
また、表示画像生成部１０６から出力される画像データＩｄは、２次元平面Ｌｐ上の左目用視差画像ＬＢと２次元平面Ｒｐ上の右目用視差画像ＲＢとが、表示面１０１ａ上でインターレース表示されるよう作成された画像データである。例えば、画像データＩｄは、表示装置１０１では、この画像データＩｄに基づいて、その表示面１０１ａを構成するマトリクス状に配列された複数の画素のうちの、奇数行の画素により左目視差画像ＬＢが表示され、該複数の画素のうちの、偶数行の画素で右目視差画像ＲＢが表示されるデータ構造となっている。
【００５２】
また、表示装置１０１では、画像データＩｄに基づいて、その表示面１０１ａに、図５に示すように、上記左目視差画像ＬＢと上記右目視差画像ＲＢとが両目視差Ｅｄに相当する距離だけ左右にずれて表示される。
【００５３】
なお、図５は、本発明の実施形態１の操作パネル装置の表示装置で仮想３次元空間の物体が立体表示されるよう、その表示面１０１ａに左目用視差画像ＬＢと右目用視差画像ＲＢとをずらして表示した状態を示している。
【００５４】
つまり、表示装置１０１の表示面１０１ａに左目用視差画像ＬＢおよび右目用視差画像ＲＢを表示するとき、左目用視差画像ＬＢを定義する２次元座標系Ｌｃと右目用視差画像ＲＢを定義する２次元座標系Ｒｃとを、表示面１０１ａに設定されている表示座標系ＤｃｓのＸ軸方向（つまり表示面１０２ａでの水平方向）に人の両目の間隔に相当する距離（両目視差）Ｅｄだけずらして、表示座標系Ｄｃｓに対応付けている。
【００５５】
これにより、表示面１０１ａから、仮想３次元空間Ｔｓにおける物体と観察位置との距離に相当する距離だけ離れて位置するユーザーは、表示面１０１ａに表示された左目視差画像ＬＢおよび右目視差画像ＲＢにより、仮想３次元空間における物体を立体画像として認識することとなる。
【００５６】
また、操作パネル装置１００は、ユーザー視点算出モード時には、仮想３次元空間処理部１０４からの３次元画像データＰｄｂ及び接触座標検知部１０３からの接触座標データＣｄに基づいて、立体表示された物体に対するユーザのタッチ操作の位置を、表示面１０１ａに表示されている左目視差画像ＬＢと右目視差画像ＲＢのいずれを用いて判定するかを決定し、通常動作モード時には、ユーザー視点算出モードで決定した左目視差画像ＬＢ及び右目視差画像ＲＢの一方を用いて、ユーザーのタッチ操作した位置を判定するユーザー視点決定部（以下、ユーザー視点算出部という。）１０５を有している。
【００５７】
なお、仮想３次元空間処理部１０４からの３次元画像データＰｄｂは、仮想３次元空間内の物体の各位置を定義する位置情報のみを有するデータであり、仮想３次元空間処理部１０４から表示画像生成部１０６に出力される、該位置情報の他に色情報などを有する３次元画像データＰｄａとは異なるデータである。
【００５８】
つまり、ユーザー視点算出部１０５は、ユーザー視点算出モード時には、仮想３次元空間処理部１０４からの３次元画像データＰｄｂを用いて、左目Ｌｅおよび右目Ｒｅのそれぞれを視点とする２つの２次元平面ＬｐおよびＲｐ上に、仮想３次元空間Ｔｓ上の物体ＴＢの点を投影して左目用視差画像ＬＢおよび右目用視差画像ＲＢ（図４（ａ）および図４（ｂ）参照）を生成し、左目用視差画像ＬＢを定義する２次元座標系Ｌｃと右目用視差画像ＲＢを定義する２次元座標系Ｒｃとを、表示面１０１ａに設定されている表示座標系ＤｃｓのＸ軸方向（つまり表示面１０２ａでの水平方向）に人の両目の間隔に相当する距離（両目視差）Ｅｄだけずらして、表示座標系Ｄｃｓに対応付け、２次元座標系Ｌｃにおける左目用視差画像ＬＢの画像データおよび２次元座標系Ｒｃにおける右目用視差画像ＲＢの画像データを、表示座標系Ｄｃｓの画像データＩｄに置き換えて内部メモリ１０５ａに格納する。
【００５９】
また、ユーザー視点算出部１０５は、図５に示すように、表示面１０１ａ上に左目視差画像ＬＢと右目視差画像ＲＢとが表示された状態で、立体表示された物体の特定位置（例えば物体の中心）をタッチするよう指示されたユーザーがタッチした位置Ｕの接触座標データＣｄを接触座標検知部１０３から取得し、内部メモリ１０５ａに格納する。
【００６０】
さらに、ユーザー視点算出部１０５は、ユーザーがタッチした位置Ｕと左目視差画像ＬＢの中心Ｌｃの位置との距離ＤＬと、ユーザーがタッチした位置Ｕと右目視差画像ＲＢの中心Ｒｃの位置との距離ＤＲとを比較し、中心がユーザーのタッチ位置Ｕと近い方の視差画像を定義する２次元座標系を、ユーザー視点座標系として決定する。
【００６１】
ここで、距離ＤＬは、２次元座標系Ｌｃでの左目用視差画像ＬＢの中心を示す座標（Ｌｃｘ，Ｌｃｙ）を表示座標系の座標（Ｌｄｘ，Ｌｄｙ）に変換して、以下の（１）式で表される。
【００６２】
ＤＬ＝（（Ｌｄｘ−Ｕｘ）２＋（Ｌｄｙ−Ｕｙ）２）１／２        （１）
また、距離ＤＲは、２次元座標系Ｌｃでの右目視差画像ＲＢの中心を示す座標（Ｒｃｘ，Ｒｃｙ）を表示座標系の座標（Ｒｄｘ，Ｒｄｙ）に変換して、以下の（２）式で表される。
【００６３】
ＤＲ＝（（Ｒｄｘ−Ｕｘ）２＋（Ｒｄｙ−Ｕｙ）２）１／２        （２）
例えば、図５に示すように、距離ＤＲが距離ＤＬにより小さい場合は、ユーザー視点算出部１０５は、右目Ｒｅを視点とする２次元平面Ｒｐを定義する２次元座標系Ｒｃを、ユーザー視点座標系として決定する。
【００６４】
一方、通常動作モード時には、ユーザー視点算出部１０５は、決定したユーザー視点座標系により定義される２次元平面（つまり、２次元平面Ｒｐ）に、仮想３次元空間における物体を投影して、この２次元平面での各物体の位置座標を取得し、このユーザー視点座標系をタッチパネル１０２の操作座標系Ｔｃｓに対応付けて、ユーザー操作でタッチしたタッチ位置をこのユーザー視点座標系の位置として検出し、ユーザーのタッチ位置を示すタッチ位置座標データＶｐを表示制御部１０７に出力する。
【００６５】
なお、このユーザー視点算出部１０５は、ユーザーによる視差のバラツキを修正するために、両目視差Ｅｄを調節するために左右の視点の間隔を変更した場合には、ユーザー視点座標系の更新を行うよう構成されている。
【００６６】
従って、表示制御部１０７は、ユーザー視点算出部１０５にて算出されたタッチ位置座標データＶｐに基づいて、仮想３次元空間内の物体に対するタッチ位置を判定し、さらに、接触座標検知部１０３からの接触座標データＣｄに基づいて、表示面１０２ａ上でのタッチ操作の種類を判定し、ユーザーがタッチパネル上でどのような操作を行ったか判定を行い、その操作に応じて仮想３次元空間上の物体に対してどのような処理を行うかを決定し、仮想３次元空間処理部１０４に対して命令信号Ｃｒｂを出力する。
【００６７】
また、操作パネル装置１００は、各種データを格納する記憶部１２０と、上記各部の動作の監視および制御を行う制御部１１０とを有している。
【００６８】
この制御部１１０は、操作パネル装置１００の電源オンを検出して、初期化シーケンスを実行し、初期化シーケンスでは、ユーザー情報であるユーザー名を読み出したり、表示装置での起動画面の表示などの初期設定を行ったりするものである。
【００６９】
次に、本実施形態１の操作パネル装置の動作について説明する。
【００７０】
図６は、本発明の実施形態１による操作パネル装置の動作をフローチャートにより説明する図である。
【００７１】
最初に、操作パネル装置１００の電源がＯＮされると（ステップＳ１）、制御部１１０は、初期化シーケンスを実行する（ステップＳ２）。この初期化シーケンスでは、制御部１１０は、記憶部１２０に格納されているユーザー情報の読み出しを行い、表示制御部１０７に、表示面１０２ａに表示する画面の明るさやコントラストなど各種初期設定を行うよう指令する。ここで、ユーザー情報は、例えば、登録されているユーザー名である。
【００７２】
また、制御部１１０は、この初期化シーケンスを実行した後、表示制御部１０７およびユーザー視点算出部１０５に命令信号Ｃｒ７およびＣｒ５を出力して、ユーザー視点判定処理を行うよう指令する。なお、このユーザー視点判定処理は、ユーザーがこの操作パネル装置１００の表示装置１０１の表示面１０１ａに表示された左目用視差画像ＬＢおよび右目用視差画像ＲＢによって立体画像を認識するとき、ユーザーの視点がどこにおかれているかを検出する処理であり、ここでは、ユーザーの利き目が左右のいずれの目であるかを判定する利き目判定処理としている。
【００７３】
ユーザー視点算出部１０５は、命令信号Ｃｒ５が入力されると、ユーザー視点判定処理が完了しているか否かを判定する（ステップＳ３）。この判定は、ユーザー視点算出部１０５が、記憶部１２０にユーザー視点を示すユーザー視点情報が格納されているか否かによって行う。
【００７４】
そして、判定の結果、ユーザー視点判定処理が完了している場合は、ユーザー視点算出部１０５は、記憶部１２０に格納されているユーザー視点情報Ｒ２０を読み出して内部メモリ１０５ａに格納するとともに、通知信号Ｎｔ５を制御部１１０に送り、ユーザー視点判定処理が完了していることを制御部１１０に通知する（ステップＳ４）。
【００７５】
制御部１１０は、ユーザー視点算出部１０５からの通知信号Ｎｔ５により、ユーザー視点判定処理が完了していることが通知されると、表示制御部１０７に対して命令信号Ｃｒ７を出力して、操作パネル１００ａ上で立体表示された物体（立体画像）に対するユーザー操作が可能となるよう、表示装置にて左目視差画像ＬＢ及び右目視差画像ＲＢを表示する表示処理の実行を表示制御部１０７に命令する。
【００７６】
表示制御部１０７は、制御部１１０からの表示処理の実行命令を受けると、仮想３次元空間処理部１０４に、仮想３次元空間Ｔｃでの、物体の描画、回転、移動、拡大、縮小などの画像処理を行うよう指令信号Ｃｒｂにより指令し、さらに表示画像生成部１０６に、仮想３次元空間処理部１０４からの３次元画像データＰｄａに基づいて、立体画像を形成するための左目用視差画像ＬＢおよび右目用視差画像ＲＢを表示するための画像データＩｄを作成するよう指令信号Ｃｒａにより指令する。
【００７７】
一方、ステップＳ３にて、ユーザー視点算出部１０５が、ユーザー視点判定処理が完了していないと判定した場合は、通知信号Ｎｔ５により、ユーザー視点判定処理が完了していないことを制御部１１０に通知する（ステップＳ５）。
【００７８】
制御部１１０は、ユーザー視点算出部１０５からユーザー視点判定処理が完了していないことが通知されると、表示制御部１０７に対して命令信号Ｃｒ７を出力して、ユーザー視点判定処理を行うよう表示制御部１０７に命令する。
【００７９】
表示制御部１０７は、制御部１１０からのユーザー視点判定処理の実行命令を受けると、仮想３次元空間処理部１０４に、仮想３次元空間Ｔｓにおける物体ＴＢを定義する３次元画像データＰｄａ及びＰｄｂを作成するよう指令し、さらに、表示画像生成部１０６に、仮想３次元空間処理部１０４で作成された３次元画像データＰｄａに基づいて、仮想３次元空間における物体を立体表示するための左目用視差画像ＬＢおよび右目用視差画像ＲＢの画像データＩｄを生成するよう指令する。
【００８０】
なお、図３は、上記仮想３次元空間Ｔｓにおける物体ＴＢを示す図であり、ここでは、物体ＴＢの一例として、仮想３次元空間Ｔｃ内に位置している野球のボールを示しており、この仮想３次元空間における任意の位置Ｐは、３つの座標軸ＴＸ，ＴＹ、ＴＺを有する３次元座標Ｔｃ上の座標（Ｐｘ，Ｐｙ，Ｐｚ）により定義されている。
【００８１】
具体的には、仮想３次元空間処理部１０４は、仮想３次元空間Ｔｓにおける物体ＴＢ（図３（ａ）参照）を定義する３次元画像データ（つまり、仮想３次元空間における物体の各点の位置を示すデータ）をコンピュータグラフィック処理により作成する。表示画像生成部１０６は、図３（ｂ）に示すように、仮想３次元空間処理部１０４で作成された３次元画像データＰｄａを用いて、仮想３次元空間Ｔｓ内で物体ＴＢを所定の位置から見たときの、左目Ｌｅを視点とする２次元空間Ｌｐに、該物体ＴＢを投影して左目用視差画像ＬＢ（図４（ａ）参照）を作成し、さらに、表示画像生成部１０６は、仮想３次元空間Ｔｓ内で物体ＴＢを所定の位置から見たときの、右目Ｒｅを視点とする２次元空間Ｒｐに、該物体ＴＢを投影して右目用視差画像ＲＢ（図４（ｂ））を作成する。
【００８２】
さらに、表示画像生成部１０６は、これらの左目用視差画像ＬＢおよび右目用視差画像ＲＢを、表示面の表示座標系Ｄｃｓ上で左右両目の視差Ｅｄに相当する距離だけずれて表示されるよう重ね合わせた画像を作成し、この画像を示す画像データＩｄを出力する。
【００８３】
これにより、表示装置１０１の表示面１０１ａには、図５に示すように、仮想３次元空間Ｔｓ内の物体ＴＢを立体表示するための左目用視差画像ＬＢおよび右目用視差画像ＲＢが、表示座標系Ｄｃｓにて左右両目の視差に相当する距離ずれた状態で表示される。
【００８４】
なお、図５では、座標軸Ｘ、Ｙ、ＬＸ、ＲＸ、ＬＹ、ＲＹを説明の都合上示しているが、実際の表示面１０１ａにはこれらの座標軸は表示されるものではない。
【００８５】
このとき、ユーザー視点算出部１０５においても、仮想３次元空間処理部１０４で作成された３次元画像データＰｄｂを用いて、表示画像生成部１０６と同様に、それぞれ左目および右目を視点とする２次元平面Ｌｐ及びＲｐに該仮想３次元空間Ｔｓ内の物体ＴＢを投影して左目用視差画像ＬＢおよび右目用視差画像ＲＢを作成し、これらの視差画像を、表示面１０１ａに設定されている表示座標系Ｄｃｓにおいて重ね合わせて、図５に示す左目視差画像ＬＢ及び右目視差画像ＲＢの各点の位置Ｄｐを示す表示座標系Ｄの位置座標（Ｄｘ，Ｄｙ）を取得し、この位置座標の情報を内部メモリ１０５ａに格納する。
【００８６】
このようにユーザー視点算出部１０５にて、仮想３次元空間Ｔｓ内の物体ＴＢを立体表示するための一対の視差画像の各点の位置座標が取得された状態で、表示制御部１０７からの指令信号Ｃｒａにより、表示画像生成部１０６は表示装置１０１に、例えば『物体（野球のボール）ＴＢの中心を触ってください。』といったメッセージを表示させる。ユーザーに立体表示された物体に対するタッチを促す方法は、メッセージを表示させる方法に限るものではなく、音声で行う方法でもよい。また、ユーザーによるタッチパネルに対するタッチは、ユーザーが指で行っても、ペンで行っても良い。
【００８７】
このメッセージを見たユーザーが、表示面１０１ａ上に重なっている操作面１０２ａの、立体表示された物体ＴＢの中心位置と認識される位置をユーザーがタッチすると、タッチパネル１０２から出力されたタッチ位置を示す接触検出信号Ｄｔが接触座標検知部１０３に入力され、接触座標検知部１０３は、該接触検出信号Ｄｔに基づいてタッチ位置を示す操作座標系Ｔｃｓの位置座標（Ｔｘ，Ｔｙ）を算出し、該位置座標を示す接触座標データＣｄをユーザー視点算出部１０５に出力する。
【００８８】
ユーザー視点算出部１０５は、接触座標検知部１０３からの座標情報データＣｄが示す操作座標系Ｔｃｓの位置座標（Ｔｘ，Ｔｙ）を、表示座標系Ｄｃｓの位置座標（Ｄｘ，Ｄｙ）に変換する。ただし、この実施形態では、操作座標系Ｔｃｓと表示座標系Ｄｃｓとが一致するよう、表示装置１０１の表示面１０１ａ上にタッチパネル１０２の操作面１０２ａが重ねられているので、接触座標検知部１０３からの接触座標データＣｄが示す操作座標系Ｔｃｓの位置座標（Ｔｘ，Ｔｙ）をそのまま、表示座標系Ｄｃｓの位置座標（Ｄｘ，Ｄｙ）として用いる。
【００８９】
例えば、ユーザーのタッチ位置が、表示座標系Ｄｃｓの位置座標（Ｕｘ，Ｕｙ）により示される位置である場合、この位置座標（Ｕｘ，Ｕｙ）が、表示座標系Ｄｃｓにおける左目視差画像ＬＢの中心を示す位置座標（Ｌｃｘ，Ｌｃｙ）と、表示座標系Ｄｃｓにおける右目視差画像ＲＢの中心を示す位置座標（Ｒｃｘ，Ｒｃｙ）とを用いて、ユーザーのタッチ位置が、左目視差画像ＬＢと右目視差画像ＲＢのいずれの中心に近いかを判定する。
【００９０】
具体的には、上述したように、式（１）及び式（２）を用いて、左目視差画像ＬＢの中心位置とユーザーのタッチ位置との距離ＤＬと、右目視差画像ＲＢの中心位置とユーザーのタッチ位置との距離ＤＲとの大小関係から、ユーザーの視点位置を、左目とするか右目とするかを決定する。
【００９１】
例えば、図５に示すように、距離ＤＲが距離ＤＬにより小さい場合は、ユーザー視点算出部１０５は、右目Ｒｅを視点とする２次元平面Ｒｐを定義する２次元座標系Ｒｃを、ユーザー視点座標系として決定する。
【００９２】
ユーザー視点算出部１０５は、ユーザー視点を右目とするかあるいは左目とするかを決定すると、次回からはユーザー視点判定処理を行わないようにするために、決定した情報をユーザー視点情報Ｒ２０として記憶部１２０に記憶し（ステップＳ６）、制御部１１０にユーザー視点判定処理が完了したことを通知信号Ｎｔ５により通知する。
【００９３】
その後、表示制御部１０７が、制御部１１０から命令信号Ｃｒ５により、通常動作モードで、表示装置１０１に仮想３次元空間Ｔｓ内の物体ＴＢを立体表示させるよう指令されると、表示制御部１０７は、仮想３次元空間処理部１０４に、仮想３次元空間Ｔｃでの、物体ＴＢの描画、回転、移動、拡大、縮小などの画像処理を行うよう指令信号Ｃｒｂにより指令し、さらに表示画像生成部１０６に、仮想３次元空間処理部１０４で作成された３次元画像データＰｄａに基づいて、物体を立体表示するための左目用視差画像ＬＢおよび右目用視差画像ＲＢの画像データＩｄを作成するよう指令信号Ｃｒａにより指令する。
【００９４】
仮想３次元空間処理部１０４は、仮想３次元空間Ｔｓにおける物体ＴＢ（図３（ａ）参照）を定義する３次元画像データ（つまり、仮想３次元空間における物体の各点の位置を示すデータ）Ｐｄａ及びＰｄｂをコンピュータグラフィック処理により作成する。表示画像生成部１０６は、図３（ｂ）に示すように、仮想３次元空間処理部１０４で作成された３次元画像データＰｄａを用いて、仮想３次元空間Ｔｓ内で物体ＴＢを所定の位置から見たときの左目Ｌｅを視点とする２次元空間Ｌｐに、該物体ＴＢを投影して左目用視差画像ＬＢ（図４（ａ）参照）を作成し、さらに、表示画像生成部１０６は、仮想３次元空間Ｔｓ内で物体ＴＢを所定の位置から見たときの右目Ｒｅを視点とする２次元空間Ｒｐに、該物体ＴＢを投影して右目用視差画像ＲＢ（図４（ｂ））を作成する。
【００９５】
さらに、表示画像生成部１０６は、これらの左目用視差画像ＬＢおよび右目用視差画像ＲＢを、表示面の表示座標系Ｄｃｓ上で左右両目の視差Ｅｄに相当する距離だけずれて表示されるよう重ね合わせた画像を作成し、この画像を示す画像データＩｄを出力する。
【００９６】
これにより、表示装置１０１の表示面１０１ａには、図５に示すように、仮想３次元空間Ｔｓ内の物体ＴＢを立体表示するための左目用視差画像ＬＢおよび右目用視差画像ＲＢが、表示座標系Ｄｃｓにて左右両目の視差Ｅｄに相当する距離ずれた状態で表示される。ユーザーは、仮想３次元空間Ｔｓにおける物体ＴＢの立体画像を認識することとなる（ステップＳ７）。
【００９７】
その後、タッチパネル１０２上でのタッチ操作が行われると、タッチパネル１０２は、その操作面１０２ａにユーザーの指やペンなどの部材が接触したことを検出して、ユーザーがタッチした位置（タッチ位置）に応じた接触検出信号Ｄｔを出力する（ステップＳ８）。
【００９８】
接触座標検知部１０３は、上記タッチパネル１０２からの接触検出信号Ｄｔに基づいて、タッチパネルの操作面１０２ａ上に定義されている操作座標系Ｔｃｓにおける、タッチ位置に対応するタッチ座標（接触座標）を示す接触座標データＣｄを検出し、表示面１０１ａの表示座標系Ｄｃｓにおける位置座標を示すデータとして、ユーザー視点算出部１０５及び表示制御部１０７に出力する（ステップＳ９）。
【００９９】
ユーザー視点算出部１０５は、左目および右目のうちの利き目判定により決定された方を視点とする２次元平面（ここで、右目を視点とする２次元平面Ｒｐ）に該仮想３次元空間Ｔｓ内の物体ＴＢを投影して右目用視差画像ＲＢを作成する（ステップＳ１０）。
【０１００】
つまり、ユーザー視点算出部１０５では、既にユーザー視点判定処理が完了しているので、左目および右目を視点とする２次元平面Ｌｐ及びＲｐのうちの、ユーザーの利き目を視点とする２次元平面にのみ、例えば右目が利き目の場合は、右目を視点とする２次元平面Ｒｐにのみ、該仮想３次元空間Ｔｓ内の物体ＴＢを投影して、右目用視差画像ＲＢを作成し、この右目視差画像ＲＢの各点の位置Ｄｐを示す表示座標系Ｄの位置座標（Ｄｘ，Ｄｙ）を取得し、この位置座標の情報を、ユーザーのタッチ位置判定のための画像データとして内部メモリ１０５ａに格納する。
【０１０１】
なお、上記ステップＳ９とＳ１０の処理は必ずしも、上で説明した順番に実行される必要はなく並列で処理を行ってもよい。
【０１０２】
さらに、ユーザー視点算出部１０５は、ユーザー視点算出モードで決定した左目視差画像ＬＢ及び右目視差画像ＲＢの一方（ここでは、右目視差画像ＲＢ）を用いて、ユーザーのタッチ操作した位置を判定する。つまり、ユーザー視点算出部１０５は、表示座標系Ｄｃｓにおいて、接触座標検知部１０３から出力された接触座標データＣｄが示す位置が、右目を視点とする２次元平面Ｒｐに投影されている右目視差画像ＲＢのどの位置に該当するかを判定し、タッチ位置に該当する右目視差画像ＲＢの位置を示すタッチ位置座標データＶｐを表示制御部１０７に出力する。
【０１０３】
表示制御部１０７では、タッチ位置座標データＶｐに基づいてユーザーが立体表示された物体のどの位置にタッチしたかを判別し、さらに、接触座標検知部１０３から出力された接触座標データＣｄに基づいてどのような操作を行ったかを判定する。例えば、物体を、その中心を通る垂直な軸を回転軸として回転させる操作とか、物体を移動させる操作とか、あるいは拡大あるいは縮小させる操作であるとかを判定する（ステップＳ１１）。
【０１０４】
その後、表示制御部１０７が、判定した操作に応じた画像処理が行われるよう命令信号Ｃｒｂにより仮想３次元空間処理部１０４に指令すると、仮想３次元空間処理部１０４では、コンピュータグラフィック処理により、ユーザー操作に応じた画像処理が物体に対して施されて、表示装置１０１の表示面１０１ａには、ユーザー操作に応じて、回転する物体、移動する物体、あるいは拡大あるいは縮小された物体が立体表示される（ステップＳ１２）。
【０１０５】
この結果、利き目によってユーザー毎に視差画像の見え方が異なる問題を解決し、ユーザーが快適な操作を行うことが可能になる。
【０１０６】
このように本実施形態１では、立体表示された仮想３次元空間の物体を見るときの、ユーザーの視点を、仮想３次元空間における右目と左目の位置を基準として検出し、ユーザー視点が右目と左目のいずれに近いかに応じて、ユーザーのタッチ位置を判定するための、物体を投影して左目視差画像あるいは右目視差画像を作成するための２次元平面として、右目を視点する２次元平面と左目を視点とする２次元平面のいずれかに設定するようにしたので、ユーザーの利き目が左目であるか右目であるかに拘わらず、立体画像を表示したままで、立体画像に対してユーザーが意図した操作を精度よく行うことができ、これによりユーザーがタッチ操作を行う際に表示画像に違和感を感じたり、あるいはユーザーの利き目の違いによりタッチ操作により意図しない画像処理が行われたりするのを回避することができる。
【０１０７】
このため、操作性の向上を図るために指やタッチペンなどの押圧部材の接近を近接センサーで検知し、その検知情報に基づいて一対の視差画像と単一の平面画像との切替を行っている従来技術におけるのような押圧手段の接近を検知するためのセンサーが不要になり、デザインの向上、コストの低減が可能になる。
【０１０８】
なお、上記実施形態１では、操作パネル装置の電源がオンされ、初期化シーケンスが実行された後に、ユーザー視点を決定しているが、ユーザーの決定は、ユーザーが操作していく過程で、立体表示されている物体に対するユーザーがタッチすべき位置と、実際にユーザーがタッチしたと判定される位置とのずれに基づいて、立体表示された物体をユーザーが見ているときの視点ユーザー視点を取得してもよい。
【０１０９】
また、上記実施形態１では、ユーザー視点座標系は、右目または左目を視点とする２次元座標系に設定するようにしているが、ユーザー視点座標系は、右目または左目を視点とする２次元座標系に限定されるものではなく、右目と左目との間の位置を視点とする２次元座標系としてもよい。
【０１１０】
（実施形態２）
図７〜図９は、本発明の実施形態２による操作パネル装置を説明する図であり、図７は該操作パネルの構成を示している。図８は、この操作パネル装置の仮想３次元空間処理部で作成される仮想３次元空間内の物体が投影される２次元平面を示し、図９は、仮想３次元空間内の物体を左目と右目の間の位置を視点として２次元平面に投影して得られる２次元画像を示している。
【０１１１】
この実施形態２の操作パネル装置２００は、実施形態１におけるユーザー視点算出部１０５に代えて、仮想３次元空間におけるユーザー視点を算出し、この算出したユーザー視点から立体表示された物体を見たときの２次元画像を、タッチパネルの操作面でのタッチ操作の対象となる２次元画像として決定するユーザー視点決定部２０５を備えたものであり、その他の構成は、実施形態１の操作パネル装置１００と同一である。
【０１１２】
つまり、この実施形態２の操作パネル装置２００におけるユーザー視点算出部２０５は、図５に示すように、表示面１０１ａ上に左目視差画像ＬＢと右目視差画像ＲＢとが表示された状態で、立体表示された物体の特定位置（例えば物体の中心）をタッチするよう指示されたユーザーがタッチした位置Ｕの接触座標データＣｄを接触座標検知部１０３から取得し、内部メモリ２０５ａに格納する。
【０１１３】
さらに、ユーザー視点算出部２０５は、ユーザーがタッチした位置Ｕと左目視差画像ＬＢの中心Ｌｃの位置との距離ＤＬと、ユーザーがタッチした位置Ｕと右目視差画像ＲＢの中心Ｒｃの位置との距離ＤＲとから、ユーザーが立体表示された物体を見ている時の視点位置に相当する、３次元画像空間Ｔｓにおけるユーザー視点位置を算出する。
【０１１４】
そして、ユーザー視点算出部２０５は、図８に示すように、このように決定したユーザー視点Ｍｅと物体ＴＢの中心ＴＢｃとを結ぶ直線ＭＬｎに垂直な平面として２次元平面Ｍｐを定義し、この２次元平面Ｍｐに物体ＴＢを投影して得られたユーザー視点画像ＭＢ（図９）の画像データを作成する。
【０１１５】
そして、ユーザー視点算出部２０５は、ユーザー視点画像ＭＢを、タッチパネル１０２の操作面１０２ａでのタッチ操作の対象となる２次元画像として用いて、ユーザーのタッチ操作した位置を判定する。つまり、ユーザー視点算出部２０５は、表示座標系Ｄｃｓにおいて、接触座標検知部１０３から出力された接触座標データＣｄが示す位置が、上記ユーザー視点画像ＭＢのどの位置に該当するかを判定し、タッチ位置に該当するユーザー視点画像ＭＢの位置を示すタッチ位置座標データＶｐを表示制御部１０７に出力する。
【０１１６】
その他の動作は、実施形態１の操作パネル装置と同一である。
【０１１７】
なお、この実施形態２の操作パネル装置２００では、視差画像生成用の右目視点、左目視点、およびユーザー視点を、仮想３次元空間内で物体に対して回転あるいは移動させるとき、右目視点、左目視点およびユーザー視点の相対位置関係が崩れないよう、回転は、仮想３次元空間内に設定した同一の回転軸を使用して行い、移動は仮想３次元空間内に３つの視点を同じ方向に同じ距離だけ移動させる処理により行う。
【０１１８】
このような構成の実施形態２の操作パネル装置２００では、仮想３次元空間におけるユーザー視点を算出し、この算出したユーザー視点から立体表示された物体を見たときの２次元画像を、タッチパネルの操作面でのタッチ操作の対象となる２次元画像として決定するので、立体表示されている物体に対するユーザー操作を、実質的にユーザーが立体表示されている物体を見ている視点で行うことが可能となり、ユーザーがタッチ操作を行う際に表示画像に違和感を感じたり、あるいはユーザーの利き目の違いによりタッチ操作により意図しない画像処理が行われたりするのを確実に回避することが可能となる。
【０１１９】
さらに、上記実施形態１および２では、特に説明しなかったが、上記実施形態１および２の操作パネル装置の少なくともいずれかを情報入力装置として用いた、例えば電子情報機器について以下簡単に説明する。
（実施形態３）
図１０は、本発明の実施の形態３による携帯情報端末の一例を示す外観図である。
【０１２０】
この携帯情報端末２０は、表示装置とタッチパネルとを組み合わせた操作パネル部を備えた携帯電話機である。
【０１２１】
すなわち、この携帯電話機２０は、筐体２１と、該筐体２１に組み込まれたスピーカ１１および送信用マイクロホン１４と、該筐体２１の表面に設けられた操作キー１３と、該筐体２１に取り付けられた、表示装置とタッチパネルとを組み合わせた操作パネル部１２とを有している。
【０１２２】
この携帯電話機２０では、上記操作パネル部１２として、上記実施形態１の操作パネル装置１００あるいは実施形態２の操作パネル装置２００のいずれかの操作パネル装置が用いられている。
【０１２３】
このような携帯電話機２０においても、仮想３次元空間内の物体を立体表示した場合には、ユーザーの利き目が左目であるか右目であるかに拘わらず、物体の立体画像を表示したままで、この立体画像に対してユーザーが意図した操作を精度よく行うことができ、これによりユーザーがタッチ操作を行う際に表示画像に違和感を感じたり、あるいはユーザーの利き目の違いによりタッチ操作により意図しない画像処理が行われたりするのを回避することができる。
【０１２４】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０１２５】
本発明は、操作パネル装置、およびこのような操作パネル装置を備えた電子情報機器の分野において、ユーザーの利き目が左目であるか右目であるかに拘わらず、立体画像を表示したままで、立体画像に対してユーザーが意図したとおりの操作がより正確に行われ、これによりユーザーがタッチ操作を行う際に表示画像に違和感を感じたり、あるいはユーザーの利き目の違いによりタッチ操作により意図しない画像処理が行われたりするのを回避することができる操作パネル装置、およびこのような操作パネル装置を有する電子情報機器を得ることができる。
【符号の説明】
【０１２６】
１１  スピーカ
１２  操作パネル装置
１３  操作キー
１４  送信用マイクロホン
２０  携帯電話機
２１  筐体
１００  操作パネル装置
１００ａ  操作パネル
１０１  表示装置
１０１ａ  表示面
１０２  タッチパネル
１０２ａ  操作面
１０３  接触座標検知部
１０４  仮想３次元空間処理部
１０５  ユーザー視点算出部
１０５ａ  内部メモリ
１０６  表示画像生成部
１０７  表示制御部
１１０  制御部
１２０  記憶部
Ｃｄ  接触座標データ
Ｃｒ５，Ｃｒ７，Ｃｒａ、Ｃｒｂ  命令信号
Ｄｃｓ  表示座標系
Ｄｐ、Ｌ、Ｒ、Ｔｐ  点
Ｄｔ  接触検出信号
Ｅｄ  両目視差
Ｉｄ  画像データ
ＬＢ  左目視差画像
Ｌｃ、Ｒｃ  ２次元座標系
Ｌｐ、Ｒｐ  ２次元平面
ＬＸ、ＬＹ、ＲＸ、ＲＹ、ＴＸ、ＴＹ、ＴＺ  座標軸
Ｎｔ５  通知信号
Ｐｄａ、Ｐｄｂ  ３次元画像データ
Ｒ２０  ユーザー視点情報
ＲＢ  右目視差画像
ＴＢ  物体
Ｔｃｓ  操作座標系
Ｔｃ  ３次元座標系
Ｔｓ  仮想３次元空間
Ｖｐ  タッチ位置座標データ
【図１】
2012252663.tif 000003
【図２】
2012252663.tif 000004
【図４】
2012252663.tif 000005
【図５】
2012252663.tif 000006
【図６】
2012252663.tif 000007
【図７】
2012252663.tif 000008
【図８】
2012252663.tif 000009
【図９】
2012252663.tif 000010
【図１０】
2012252663.tif 000011
【図１１】
2012252663.tif 000012
【図３】
2012252663.tif 000013