(57)【要約】【目的】カメラを操作面の前方に配置する場合であっても、真上から見た手形状をディスプレイ画面に表示する「データ入力装置」を提供することである。【構成】手形状を保存しておき、操作面１１におけるユーザの手形状をカメラ１３で撮影し、該手形状の少なくとも2つの特定部分A,Bのディスプレイ画面上における位置A′,B′を計算し、保存してある手形状の2つの特定部分が該計算位置に来るように手形状画像を発生する。これにより、カメラが操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示できる。【選択図】図１
2008027328.tif 000002
【特許請求の範囲】
【請求項１】
操作面におけるユーザの手形状画像をディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置において、
手形状を保存する手形状保存部、
操作面におけるユーザの手形状を撮影するカメラ、
カメラで撮影した手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記手形状保存部に保存されている手形状の2つの特定部分が該計算位置に来るように手形状画像を発生する手形状画像発生部、
データ入力用の操作画像を発生す操作画像発生部、
ディスプレイ画面において該操作画像上に前記手形状画像を重ねて表示する画像合成部、
指で指示された画像に応じたデータを入力するデータ入力部、
を有することを特徴とするデータ入力装置。
【請求項２】
操作面におけるユーザの手形状画像を取り込んでディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置において、
三次元画像データを用いて道路を含む三次元画像を発生する三次元画像発生部、
操作面におけるユーザの手形状を撮影するカメラ、
手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生する手形状画像発生部、
ディスプレイ画面において前記三次元画像上に前記手形状画像を重ねて表示する画像合成部、
指で指示された画像に応じたデータを入力するデータ入力部、
を有することを特徴とするデータ入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ入力装置に係わり、特に、操作面におけるユーザの手形状画像を取り込んでディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置に関する。
【背景技術】
【０００２】
データ入力方法として、タッチパネルを使用する方法がある。このタッチパネル入力方法は透明タッチパネルをディスプレイ画面上に積層し、所定の画像部分(メニュー項目やキーなど)をペンあるいはユーザの指等で選択することにより、該選択したメニューやキーに応じたデータ、コマンドを装置に入力するものである。
しかし、タッチパネル入力方法では、タッチパネルに直接触れることによりデータ、コマンドを入力するものであるため、手をディスプレイ画面まで動かして操作する必要があり、車載機器などではデータ入力操作がしにくい問題がある。また、タッチパネルにタッチするものであるため汚れがついて画面の視認性を低下する。
そこで、図１０に示すように操作面(操作子)１を操作しやすい場所に設け、該操作面上でユーザ３が手４を移動させ、制御部５が手形状画像４′をディスプレイ画面２に表示し、ディスプレイ画面に表示されている画像（メニュー項目やキーなど)６a，６b，６c，….を指で選択してデータを入力するデータ入力方法が提案されている(特許文献１)。
【特許文献１】特開２００６−７２８５４号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術では操作面１を例えばタブレットで構成し、手が接触した位置情報を用いて手形状画像を発生する。しかし、手全体がタブレットに接触するものでないため手形状画像が実際の手形状と異なる問題がある。そこで、図１１（A）に示すように操作面４の真上にカメラ７を取り付け、該カメラで撮影した手形状をディスプレイ画面に表示することが行なわれている。なお、図１１(B)において８はカメラ撮影領域である。操作面４の真上にカメラ７を取り付けることができれば何らの問題も生じない。しかし、狭い車室空間に設けられる車載機器等では操作面４の真上にカメラ７を取り付けることができず、図１２(A)に示すように操作面４の前方に配置せざるを得ない場合がある。かかる場合、手形状画像は図１２(B)に示すように平面図（真上から見た図）とならず歪んだ形状となる問題がある。
【０００４】
また、ディスプレイ画面に三次元画像(3D画像)を表示し、該3D画像に手を重ねて表示して指で所定の画像部分を指示してデータ入力する装置がある。特に、ナビゲーション装置用の3D画像表示では、目的地点（建物）を指で指示して行き先を設定したり、指先でなぞって経路を設定したりする。かかる場合、従来は３D画像の奥行きや視点に関係なく、図１３に示すように手の大きさを同一サイズで表示する。しかし、かかる表示方法では、3D画像に遠近感はあるが、手の画像に遠近感が無く操作者に違和感を生じさせ、操作上好ましくなかった。
以上から本発明の目的は、カメラを操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示できるデータ入力装置を提供することである。
本発明の別の目的は、手の位置に応じて該手形状のスケールを制御することにより手形状に遠近感を持たせて表示することにより違和感のない手形状表示ができるデータ入力装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、操作面におけるユーザの手形状画像をディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置であり、手形状を保存する手形状保存部、操作面におけるユーザの手形状を撮影するカメラ、カメラで撮影した手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記手形状保存部に保存されている手形状の2つの特定部分が該計算位置に来るように手形状画像を発生する手形状画像発生部、データ入力用の操作画像を発生す操作画像発生部、ディスプレイ画面において該操作画像上に前記手形状画像を重ねて表示する画像合成部、指で指示された画像に応じたデータを入力するデータ入力部を備えている。
本発明の第２の態様は、操作面におけるユーザの手形状画像を取り込んでディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置であり、三次元画像データを用いて道路を含む三次元画像を発生する三次元画像発生部、操作面におけるユーザの手形状を撮影するカメラ、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生する手形状画像発生部、ディスプレイ画面において前記三次元画像上に前記手形状画像を重ねて表示する画像合成部、指で指示された画像に応じたデータを入力するデータ入力部を備えている。
【発明の効果】
【０００６】
本発明によれば、手形状を保存しておき、操作面におけるユーザの手形状をカメラで撮影し、該手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記保存してある手形状の2つの特定部分が該計算位置に来るように手形状画像を発生するようにしたから、カメラが操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示することができる。
本発明によれば、三次元画像データを用いて道路を含む三次元画像を発生し、操作面におけるユーザの手形状をカメラで撮影し、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生するようにしたから、遠近感を持たせて手形状を表示することができ、違和感のない手形状表示が可能になった。
【発明を実施するための最良の形態】
【０００７】
(A)第１実施例
図１は本発明の第１実施例の概略説明図である。
予めユーザが操作面(操作子)１１を操作するときの手形状１０（図１(B)参照）の外形(輪郭)を、例えばカメラで真上から撮影して保存しておく。手形状１０はカメラに限らず別の手段により取得することもできる。
操作時、操作面１１の前方に配置されたカメラ１３で該操作面１１におけるユーザの手１２の形状を撮影する(図１（A）)。ついで、カメラ１３で撮影した手形状１４の２つの特定部分(例えば２本の指の先端部分)A，Bのディスプレイ画面上における位置を計算する。カメラ１３と操作面１１の位置関係は固定であるからカメラで撮影した映像上の位置A，Bはディスプレイ画面１６上の位置A′，B′に容易に変換できる(図１(B),(C))。なお、図１(B)において１５はカメラ撮影範囲である。ついで、保存されている手形状１０の２つの特定部分A，Bがディスプレイ画面１６上の該計算位置A′，B′に来るように手形状画像１０を発生して表示する。
以上では手形状１４の２つの特定部分のディスプレイ画面上における位置を計算したが、手形状１４の３つの特定部分A，B，Cのディスプレイ画面上における位置を計算することもできる。
【０００８】
図２は第１実施例のデータ入力装置の構成図である。
手形状画像発生部２１において、カメラ１３は操作面１１(図１参照)上のユーザの手形状を撮影し、カメラ映像保存部２１aに保存する。指先位置算出部２１ｂはカメラで撮影した手形状における指先部分A，Bのディスプレイ画面上の位置A′，B′を計算する。
一方、手形状取得部２１ｃは予め操作面１１を操作するときのユーザの手の外形を取得して手形状保存部２１dに保存する。例えば、カメラで真上から撮影し、あるいは、赤外線発光/受光素子を用いて取得することもできる。図３は赤外線発光/受光素子を用いて取得する例であり、操作面１１の下に赤外線発光/受光素子１８をマトリックス状に配列し、各赤外線発光素子を発光し、手１２で反射した光を受光素子で受光することにより手形状１０の輪郭を取得する。図３(A)は横から見た概略図、(B)は上から見た概略図、(C)は手形状である。手形状発生部２１eは、保存されている手形状１０の２つの指先部分A，Bがディスプレイ画面１６上の該計算位置A′，B′に来るように手形状画像１０を発生する。
【０００９】
メニュー/スイッチ画像作成部２２は図示しない制御部から所定のメニュー/スイッチ画像の作成を指示され、該メニュー/スイッチ画像を発生する。画像合成部２３はこのメニュー/スイッチ画像の上に手形状画像１０が表示されるようにこれら両画像を合成してモニター２４に表示する。ユーザは操作面１１上で手を移動させて指で所望のメニュー/スイッチ画像を指示して該操作面を押下すると、タブレットで構成されている操作面１１は押下された位置を識別してデータ入力部２５に入力する。データ入力部２５は、押下された位置と表示しているメニュー/スイッチ画像とに基づいて入力データを識別して制御部に入力する。
以上第１実施例によれば、手形状を保存しておき、操作面におけるユーザの手形状をカメラで撮影し、該手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記保存してある手形状の2つの特定部分が該計算位置に来るように手形状画像を発生するようにしたから、カメラが操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示することができる。
【００１０】
（B）第２実施例
図４は第２実施例の概略説明図であり、(A)はディスプレイ画面の表示例、（B）は操作面上の手形状位置例である。
道路RDを含む三次元画像3DIMをディスプレイ画面１６に表示する。操作面１１の上で手１２を移動させて所定の画像部分を指示する際、カメラで手形状を撮影し、ディスプレイ画面１６の三次元画像3DIM上に手形状画像１０を重ねて表示する。この際、手形状１０のディスプレイ画面上の奥行き方向の位置と道路RDの消失点の位置とから手形状のスケールを決定し、該スケールで手形状画像を発生して表示する。このようにすれば、手の位置が奥のほうに行くほど小さく表示でき、遠近感を持たせて手形状を表示することができる。図５は、図４に比べて視点位置が高く、奥行き感が小さい場合の手形状表示例であり、道路の消失点は遠くにある。図５のように奥行き感が小さい場合には手形状のスケール差は小さいが、図４のように視点が低く、奥行き感が大きい場合には手形状のスケール差は大きくなる。
【００１１】
図６は奥行き感の説明図である。3D地図画像を表示をした場合、道路RDは、ディスプレイ画面上の中心点をＯとする垂直線ｖに、道路左右端が近づくほど(「ｉ」および「ｉ'」)、またディスプレイ画面上の下端に近づくほど、"奥行き"の距離(z方向)は大きくなる。換言すれば、道路の消失点が手前にあるほど奥行き感が大きくなり、消失点が遠いほど奥行き感が小さくなる。したがって、消失点の位置に基づいてディスプレイ画面上に表示する手形状の大きさを動的に変更することで、奥行き感を創出することができる。これと同時に、奥へ行くほど手形状の大きさが小さくなって見えなくなるので、結果的に深い奥行きにあるものを操作できなくなり、誤操作がなくなる。
【００１２】
図７は消失点の位置とスケールの関係説明図である。ディスプレイ画面の水平方向の寸法をXM、垂直方向の寸法をYMとし、消失点DPの垂直方向位置を(Y0，0)とすると、垂直方向の座標yにおけるスケールは
【数１】
2008027328.tif 000003
となる。
【００１３】
図８は第２実施例のデータ入力装置の構成図である。
カメラ５１は操作面上のユーザの手形状を撮影し、カメラ映像保存部５２に保存する。なお、説明を簡単にするためにカメラ５１は手形状を真上から撮影するものとする。
Y軸方向位置算出部５３は撮影された手形状を参照して所定部分(例えば薬指の指先)のY軸方向位置yを算出する。Y軸方向位置yは、操作面とディスプレイ画面の座標変換式を予め記憶しておき、この変換式を用いて算出することができる。
３Ｄ画像生成部５５は３Ｄ画像データに基づいて道路の消失点ＤＰのＹ座標(＝Y0)を計算して手形状スケール変換部５４に入力するとともに、３D画像を発生する。手形状スケール変換部５４は(１)式に基づいてスケールＳを計算し、該スケールに基づいて手形状のスケールを変換し、手形状発生部５６はスケール変換された手形状データに基づいて手形状画像を発生する。画像合成部５７は３D画像3DIMの上に手形状画像１０が表示されるように(図４(A))参照)、両画像を合成してモニター５８に表示する。
ユーザは操作面１１上で手を移動し、指で所望の画像(例えば建物)を指示して該操作面を押下すると、タブレットで構成されている操作面１１は押下された位置を識別してデータ入力部２５に入力する。データ入力部２５は、押下された位置と表示している3D画像とに基づいて入力データを識別して制御部に入力する。
なお、奥行き感をより強調するため、手形状を小さくしていくのと同時に、「手の甲」部分を強調し、「指」部分を小さく表現する。具体的には、図９に示すように、奥行きが深くなると、相対的に手の甲部分の面積を大きくし、指部分の面積が小さくなるようにする。また、3D画像表示が、左側あるいは右側へ傾いた場合も同様に制御する。たとえば、右側へ傾いた場合には、"手"の左側部分の相対面積を大きく、右側を小さく表示する。
以上第２実施例によれば、三次元画像データを用いて道路を含む三次元画像を発生し、操作面におけるユーザの手形状をカメラで撮影し、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生するようにしたから、遠近感を持たせて手形状を表示することができ、違和感のない手形状表示が可能になった。
以上の説明では、手形状として手を開いた場合について説明したが、手形状は開いた場合に限るものではない。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施例の概略説明図である。
【図２】第１実施例のデータ入力装置の構成図である。
【図３】手形状を赤外線発光/受光素子を用いて取得する例である。
【図４】第２実施例の概略説明図である。
【図５】第２実施例の概略説明図(視点位置が高い場合)である。
【図６】奥行き感の説明図である。
【図７】消失点の位置とスケールの関係説明図である。
【図８】第２実施例のデータ入力装置の構成図である。
【図９】変形例の表示例である。
【図１０】操作面を用いたデータ入力装置の説明図である。
【図１１】手形状をカメラで真上から撮影する状態説明図である。
【図１２】手形状を前方からカメラで撮影する状態説明図である。
【図１３】手形状を同一スケール表示する従来の問題点説明図である。
【符号の説明】
【００１５】
１１  操作面
１３  カメラ
２１  手形状画像発生部
２１a  カメラ映像保存部
２１b  指先位置算出部
２１c  手形状取得部
２１d  手形状保存部
２１e  手形状発生部
２２  メニュー/スイッチ画像作成部
２３  画像合成部
２４  モニター
２５  データ入力部
【図１】
2008027328.tif 000004
【図２】
2008027328.tif 000005
【図３】
2008027328.tif 000006
【図４】
2008027328.tif 000007
【図５】
2008027328.tif 000008
【図６】
2008027328.tif 000009
【図７】
2008027328.tif 000010
【図８】
2008027328.tif 000011
【図９】
2008027328.tif 000012
【図１０】
2008027328.tif 000013
【図１１】
2008027328.tif 000014
【図１２】
2008027328.tif 000015
【図１３】
2008027328.tif 000016