(57)【要約】  表示入力装置を、画像の表示および入力を行うタッチパネル１と、前記タッチパネル１への指の近接を非接触で検知する近接センサ１２と、前記タッチパネル上に点Ｏ、前記タッチパネル１の外部に点Ｃをあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記タッチパネル上に張られたｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のｘ軸とのなす偏角をθとしたときに、前記近接センサ１２により取得される前記検出対象の前記ｘｙ平面座標上における水平方向の近接座標を、前記仰角φと前記偏角θと前記検出対象の前記タッチパネル面に対する垂直方向の距離ｚに応じて補正する制御部とにより構成した。
2010113397.tif 000002
【特許請求の範囲】
【請求項１】
画像の表示および入力を行うタッチパネルと、
前記タッチパネルへの検出対象の近接を非接触で検知する近接センサと、
前記タッチパネル上に点Ｏ、前記タッチパネルの外部に点Ｃをあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記タッチパネル上に張られたｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のｘ軸とのなす偏角をθとしたときに、前記近接センサにより取得される前記検出対象の前記ｘｙ平面座標上における水平方向の近接座標を、前記仰角φと前記偏角θと前記検出対象の前記タッチパネル面に対する垂直方向の距離ｚに応じて補正する制御部と
を備えたことを特徴とする表示入力装置。
【請求項２】
画像の表示および入力を行うタッチパネルと、
前記タッチパネルへの検出対象の近接を非接触で検知する近接センサと、
前記検出対象の位置である点Ａと前記タッチパネルの外部にあらかじめ決められた点Ｃとを直線Ｌで結び、前記直線Ｌと前記タッチパネル面との交点Ｂに対する仰角をφとし、前記タッチパネル上に張られたｘｙ平面座標上に垂直方向に投影される検出対象の投影点と前記交点Ｂとを直線Ｍで結び、前記直線Ｍと前記ｘｙ平面座標上のｘ軸とのなす偏角をθとし、前記タッチパネル面に対向する前記検出対象の垂直方向の距離をｚとすると、前記近接センサにより取得される前記タッチパネルにおける検出対象の水平方向の近接座標を前記φ、前記θ、前記ｚにより補正する制御部と
を備えたことを特徴とする表示入力装置。
【請求項３】
前記制御部は、
前記タッチパネルに表示された一定範囲の表示領域における表示形態を変化させ、検出対象の補正された近接座標位置近傍に表示することを特徴とする請求項１記載の表示入力装置。
【請求項４】
前記制御部は、
前記タッチパネルに表示された一定範囲の表示領域における表示形態を変化させ、検出対象の補正された近接座標位置近傍に表示することを特徴とする請求項２記載の表示入力装置。
【請求項５】
前記制御部は、
前記タッチパネルに表示された一定範囲の表示領域における画像を拡大または縮小処理して、検出対象の補正された近接座標位置近傍に表示することを特徴とする請求項１記載の表示入力装置。
【請求項６】
前記制御部は、
前記タッチパネルに表示された一定範囲の表示領域における画像を拡大または縮小処理して、検出対象の補正された近接座標位置近傍に表示することを特徴とする請求項２記載の表示入力装置。
【請求項７】
前記制御部は、
前記タッチパネル上に張られたｘｙ平面座標上に垂直方向に投影される検出対象の水平方向の座標を（ｘ１，ｙ１）とし、補正された検出対象の水平方向の近接座標を（ｘ２，ｙ２）とするとき、前記補正された検出対象の水平方向の近接座標（ｘ２，ｙ２）を、ｘ２＝ｘ１−ｆ（ｚ）・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−ｇ（ｚ）・ｃｏｔφ・ｓｉｎθの演算式により算出することを特徴とする請求項１記載の表示入力装置。
【請求項８】
前記制御部は、
前記タッチパネル上に張られたｘｙ平面座標上に垂直方向に投影される検出対象の水平方向の座標を（ｘ１，ｙ１）とし、補正された検出対象の水平方向の近接座標を（ｘ２，ｙ２）とするとき、前記補正された検出対象の水平方向の近接座標（ｘ２，ｙ２）を、ｘ２＝ｘ１−ｆ（ｚ）・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−ｇ（ｚ）・ｃｏｔφ・ｓｉｎθの演算式により算出することを特徴とする請求項２記載の表示入力装置。
【請求項９】
前記制御部は、
前記タッチパネルとパネル面に対向する検出対象の垂直方向の距離に応じて前記補正量を変化させることを特徴とする請求項１記載の表示入力装置。
【請求項１０】
前記制御部は、
前記タッチパネルとパネル面に対向する検出対象の垂直方向の距離に応じて前記補正量を変化させることを特徴とする請求項２記載の表示入力装置。
【請求項１１】
前記制御部は、
前記タッチパネルに対するユーザの目視位置を測定し、あらかじめ定められた点Ｃの位置を補正することを特徴とする請求項１記載の表示入力装置。
【請求項１２】
前記制御部は、
前記タッチパネルに対する前記タッチパネルの中心軸から見て左右いずれの方向から検出対象が近接したかを検出し、前記検出された方向により前記補正の方向または強度を可変とすることを特徴とする請求項１記載の表示入力装置。
【請求項１３】
前記制御部は、
前記タッチパネルに対するユーザの目視位置を測定し、あらかじめ定められた点Ｃの位置を補正することを特徴とする請求項２記載の表示入力装置。
【請求項１４】
前記制御部は、
前記タッチパネルに対する前記タッチパネルの中心軸から見て左右いずれの方向から検出対象が近接したかを検出し、前記検出された方向により前記補正の方向または強度を可変とすることを特徴とする請求項２記載の表示入力装置。
【請求項１５】
前記制御部は、
前記タッチパネルの中心軸から見た傾きを検出し、前記検出された傾きに応じて前記補正の目の推定方向・強度を可変とすることを特徴とする請求項１記載の表示入力装置。
【請求項１６】
前記制御部は、
前記タッチパネルの中心軸から見た傾きを検出し、前記検出された傾きに応じて前記補正の目の推定方向・強度を可変とすることを特徴とする請求項２記載の表示入力装置。
【請求項１７】
前記制御部は、
前記補正の目の推定方向または強度を、前記タッチパネルを介して入力されるユーザ設定により可変とすることを特徴とする請求項１記載の表示入力装置。
【請求項１８】
前記制御部は、
前記補正の目の推定方向または強度を、前記タッチパネルを介して入力されるユーザ設定により可変とすることを特徴とする請求項２記載の表示入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、特に、ナビゲーションシステム等の車載情報機器に用いて好適な、表示入力装置に関するものである。
【背景技術】
【０００２】
タッチパネルは、液晶パネルのような表示装置と、タッチパッドのような座標位置入力装置とを組み合わせた電子部品であり、液晶パネルに表示されたアイコン等の画像領域を指でタッチするだけで、タッチされた画像の位置情報を感知して機器を操作することのできる表示入力装置であり、車載ナビゲーションシステム等、主に直感的に扱えることが要求される機器に組み込まれることが多い。【０００３】
上記したタッチパネルを含むマンマシン装置の操作性や使い勝手を向上させるための提案が従来から多数出願されている。
例えば、指を近づけたときに指の近傍に位置するキースイッチを拡大して表示し、選択操作を容易化した表示入力装置（例えば、特許文献１参照）、垂直方向の距離を検出し、その距離に応じた拡大率で情報を表示するＣＲＴ装置（例えば、特許文献２参照）、タッチ圧力を検知して軽いタッチで拡大表示、強いタッチで所定のキー操作を実現する入力装置（例えば、特許文献３参照）等が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１４９９号公報
【特許文献２】特開平０４−１２８８７７号公報
【特許文献３】特開平１０−１７１６００号公報
【発明の概要】
【０００５】
上記した特許文献１に開示された技術によれば、指を近づけたときに指位置近傍のアイコンが拡大表示されるため、誤操作を防止でき選択操作を容易にすることができる。図９に、この技術を用いて地名検索を行う場合のタッチパネルへの表示画面の一例が示されている。ここでは、５０音施設検索用のソフトウエアキーボードが表示されており、指位置近傍のアイコンとして、「い」、「き」、「し」、「う」、「く」、「す」、「え」、「け」、「せ」の各ソフトキーが拡大表示されている。
【０００６】
ところで、タッチパネルがユーザの目の位置に対して正面、かつ水平に設置されている場合は、拡大された一定範囲の表示領域キー（アイコン）に指を近づけると見かけ上のアイコン位置と指の位置とが一致して使い勝手が良い。
しかしながら、デザインの都合上タッチパネルが傾いて設置された場合、タッチパネルから見た真上（タッチパネルの垂直方向）と、ユーザから見たアイコンの真上（ユーザの目の位置とアイコンとを結ぶ方向）の位置が一致せず、このため、例えば、図９に示されるように、ユーザが、「せ」をタッチしようとしているのに実際の指先は「く」の位置にあり、このため使い勝手が悪くなるという不都合が発生する。
【０００７】
また、例えば、センターコンソールの中心に設置されているカーナビのタッチパネルを運転席から操作する場合や助手席から操作する場合等のように、タッチパネルの正面方向に対し、左右から操作する場合についても同様の不都合が生じていた。
この不都合は、特許文献１に開示されているように、指の位置付近に一定範囲の表示領域の画像を拡大表示する、あるいは、指位置近傍にカーソルを表示する描画の際も同様に発生し、指の近接を検知する距離が遠くなればなるほど座標のズレが拡大していた。また、上記した特許文献２、特許文献３に開示された技術も、この不都合を解消するものではない。
【０００８】
この発明は上記した課題を解決するものであり、タッチパネルの操作環境に依存することなく使い勝手の向上をはかった表示入力装置を提供することを目的とする。
【０００９】
上記した課題を解決するためにこの発明の表示入力装置は、画像の表示および入力を行うタッチパネルと、前記タッチパネルへの検出対象の近接を非接触で検知する近接センサと、前記タッチパネル上に点Ｏ、前記タッチパネルの外部に点Ｃをあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記タッチパネル上に張られたｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のｘ軸とのなす偏角をθとしたときに、前記近接センサにより取得される前記検出対象の前記ｘｙ平面座標上における水平方向の近接座標を、前記仰角φと前記偏角θと前記検出対象の前記タッチパネル面に対する垂直方向の距離ｚに応じて補正する制御部とを備えたものである。
【００１０】
この発明によれば、タッチパネルの操作環境に依存することなく使い勝手の向上をはかった表示入力装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１に係る表示入力装置の内部構成を示すブロック図である。
【図２】この発明の実施の形態１に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。
【図３】この発明の実施の形態１に係る表示入力装置が有する描画回路の内部構成を示すブロック図である。
【図４】この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。
【図５】この発明の実施の形態１に係る表示入力装置の座標位置補正の原理を示した模式図である。
【図６】この発明の実施の形態１に係る表示入力装置により表示される画面構成の一例を示す図である。
【図７】この発明の実施の形態３に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。
【図８】この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。
【図９】従来の表示入力装置により表示される画面構成の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、この発明をより詳細に説明する為に、この発明を実施する為の形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る表示入力装置の構成を示すブロック図である。図１に示されるように、この発明の実施の形態１に係る表示入力装置は、タッチパネル式表示装置（以下、タッチパネルと略称する）１と、外部センサ２と、制御部３と、車内監視カメラ４と、により構成される。
【００１３】
タッチパネル１は、情報の表示ならびに入力を行うもので、例えば、情報の表示を行うＬＣＤパネル１０上に、情報の入力を行うタッチセンサ１１が積層されて構成され、更に、タッチセンサ１１の外周に沿うように、タッチパネル１に対向して位置する指やペン等、検出対象の動きを２次元で非接触検知する近接センサ１２がセル単位で複数実装されている。
【００１４】
近接センサ１２は、検出セルとして、例えば赤外線を使用した場合、赤外線発光ＬＥＤ（Light Emitted Diode）と、受光トランジスタとが、タッチセンサ１１の外周に格子状に対向配置され、検出対象が近づいたことによる遮蔽もしくは反射光により、接近を検出するとともに、その座標位置を検出するものである。
近接センサ１２は、その検出セルが上記した赤外線に限らず、例えば、検出対象とコンデンサのように平行に配置された２枚の平板との間に生じる静電容量の変化により接近を検出する静電容量型で代替してもよい。この場合、平板は、一方の片側が検出対象に向く接地面、他方の片側がセンサ検出面となり、この２極間に形成される静電容量の変化により検出対象の接近を検出するとともにその座標位置を検出することができる。
【００１５】
一方、外部センサ２は車両の随所に実装され、少なくとも、ＧＰＳ（Global Positioning System）センサ２１と、車速センサ２２と、加速度センサ２３とを含む。
ＧＰＳセンサ２１は、ＧＰＳ衛星からの電波を受信して、制御部３が、緯度、経度を測位するための信号を生成して制御部３に出力する。車速センサ２２は、車両が走行中か否かを判定するための車速パルスを計測して制御部３に出力する。加速度センサ２３は、例えば、バネに取り付けた錘が変位する量を計測して錘にかかる加速度を推定するセンサであり、３軸加速度センサの場合、例えば、０（重力加速度のみ）から数１００Ｈｚまでの加速度変動に追従し、Ｘ、Ｙ方向の加速度ベクトルの合計から地面に対する向き（姿勢）を測定して制御部３に出力する。
【００１６】
制御部３は、ルート検索や目的地誘導等、ナビゲーション機能を実行するため基本的処理機能の他に、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示する機能を有する。
このため、制御部３は、ナビゲーション処理を主にタッチパネル１の制御を行うＣＰＵ（以下、ナビＣＰＵ３０という）と、描画回路３１と、メモリ３２と、地図ＤＢ（Data Base）３３とにより構成される。
【００１７】
ナビＣＰＵ３０は、タッチパネル１に表示されたルート検索等のナビゲーションメニューがユーザにより選択されることで、そのメニューにしたがうナビゲーション処理を行う。ナビゲーション処理を行うにあたり、ナビＣＰＵ３０は、地図ＤＢ３３に格納された地図情報を参照し、外部センサ２から取得される各種センサ信号に基づき、ルート検索、あるいは目的地誘導等のナビゲーションを行う。
また、ナビＣＰＵ３０は、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示する機能を実現するために、メモリ３２に記憶されたプログラムにしたがい画像情報を生成して描画回路３１の制御を行う。その場合のナビＣＰＵ３０が実行するプログラムの構造は図２に示されており、その詳細は後述する。
【００１８】
描画回路３１は、図3に示されるように、ナビＣＰＵ３０により生成される画像情報を一定の速度で、内蔵し、あるいは外付けされるビットマップメモリ部３１３上に展開し、同じく内蔵する表示制御部３１４によりビットマップメモリ部３１３に展開された画像情報をタッチパネル１（ＬＣＤパネル１０）の表示タイミングに同期して読み出し、タッチパネル１に表示する。上記したビットマップメモリ部３１３および表示制御部３１４の詳細は後述する。
【００１９】
なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域３２１の他に、作業領域に画像情報記憶領域３２２等が割り付けられ記憶されている。また、地図ＤＢ３３には、ルート検索、誘導等、ナビゲーションに必要な地図や施設情報等が格納されている。
【００２０】
車内監視カメラ４は、例えば、ルームミラーに装着された広角ＣＣＤ（Charge Coupled Device）カメラであり、ここでは、特に、車室内における運転席乗員ならびに助手席乗員の動きを監視し、ここで撮影され生成される映像信号は、制御部３のナビＣＰＵ３０へ出力される。
【００２１】
図２は、この発明の実施の形態１に係る表示入力装置の制御部３が有するナビＣＰＵ３０の実行プログラムの構造を機能展開して示したブロック図である。図２に示されるように、ナビＣＰＵ３０は、主制御部３００と、近接座標位置計算部３０１と、タッチ座標位置計算部３０２と、座標位置補正部３０３と、画像情報生成部３０４と、画像情報転送部３０５と、操作情報処理部３０６とを含む。
【００２２】
近接座標位置計算部３０１は、近接センサ１２によりタッチパネル１への指の接近が検出されたときに、その指のＸＹ座標位置を計算して座標位置補正部３０３に引き渡す機能を有する。近接座標位置計算部３０１により計算されるＸＹ座標は、例えば、近接センサの座標位置を０．０１秒間隔で０．０５秒間連続して入力し５点の平均値を取って補正部３０３に出力される。
【００２３】
タッチ座標位置計算部３０２は、指によるタッチパネル１への接触（タッチ）がタッチパネル１のタッチセンサ１１により検出された場合に、そのＸＹ座標位置を計算して主制御部３００に引き渡すとともに、操作情報処理部３０６を起動する機能を有する。
【００２４】
座標位置補正部３０３は、近接座標位置計算部３０１により計算されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、主制御部３００による制御の下で画像情報生成部３０４を制御する機能を有する。補正の仕方等については後述する。
【００２５】
画像情報生成部３０４は、主制御部３００による制御の下でタッチパネル１のＬＣＤパネル１０に表示する画像情報を生成し、画像情報転送部３０５に出力する機能を有する。また、画像情報生成部３０４は、タッチパネル１に表示される、例えば、ソフトキーアイコン等一定範囲の表示領域の画像を拡大処理して表示するために、既に生成済みのソフトキーアイコンの画像（画素）を一定の割合で読み出して補間し、新しい画像として上書きする。例えば、２倍に拡大する場合、元の画素のピクセルの１つを縦横方向に２×２に重ねて描画し、逆に、縮小の場合、元のビットマップのピクセルを一定の割合で間引いて画像を更新し、更新された画像を描画回路３１に転送する。ここではビット画像の拡大縮小の方法で説明したが、ビット画像ではなくベクタ画像の場合は所定の拡縮計算処理によりきれいな画像の拡大縮小ができる。
【００２６】
画像情報転送部３０５は、画像情報生成部３０４により生成される画像情報を主制御部３００によるタイミング制御に基づき描画回路３１に転送する機能を有する。
【００２７】
操作情報処理部３０６は、主制御部３００による制御の下、タッチ座標位置計算部３０２で計算されたタッチ座標位置に基づく一定の表示領域の情報に定義された操作情報、例えば、ソフトキーボードであれば各ソフトキーアイコンに基づく情報入力を行い、ボタンアイコンであれば、そのボタンアイコンに定義された目的地検索等のナビゲーション処理を実行する機能を有する。
【００２８】
なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域３２１の他に、所定量の作業領域が割り当てられており、この作業領域の中には、画像情報生成部３０４により生成される画像情報がテンポラリに記憶される画像情報記憶領域３２２が含まれる。
【００２９】
図３は、図１に示す描画回路３１の内部構成を示すブロック図である。図３に示されるように、描画回路３１は、描画制御部３１０と、画像バッファ部３１１と、描画部３１２と、ビットマップメモリ部３１３と、表示制御部３１４と、により構成され、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されるローカルバス３１５経由で共通接続されている。
【００３０】
上記構成において、図２に示したナビＣＰＵ３０（画像情報転送部３０５）から転送された画像情報は、描画制御部３１０による制御の下で画像バッファ部３１１に保持され、描画制御部３１０は、直線描画や矩形描画等の命令をデコードし、あるいは直線の傾き等についての描画の前処理を行う。そして、描画制御部３１０により起動される描画部３１２は、描画制御部３１０によりデコードされた画像情報をビットマップメモリ部３１３に高速描画し、表示制御部３１４は、ビットマップメモリ部３１３に保持された画像情報をタッチパネル１のＬＣＤパネル１０の表示タイミングに同期して読出し表示する。
【００３１】
図４は、この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。また、図５は、座標位置補正の原理を模式的に示した図であり、図６は、タッチパネル１に表示されるソフトキーボード画像の一例を示した図である。
以下、図４〜図６を参照しながら、図１〜図３に示すこの発明の実施の形態１に係る表示入力装置の動作について詳細に説明する。
【００３２】
図４において、タッチパネル１のＬＣＤパネル１０に、例えば、図６（ａ）の施設検索時に使用されるソフトキーボード画像が表示されているものとする（ステップＳＴ４１）。まず、ユーザがタッチパネル１に指を近づけると、近接センサ１２がその指の近接を検出し（ステップＳＴ４２“ＹＥＳ”）、ナビＣＰＵ３０の近接座標位置計算部３０１が動作して、指座標（ｘ１，ｙ１）を計算し、座標位置補正部３０３に入力する（ステップＳＴ４３）。
【００３３】
これをうけて座標位置補正部３０３は、近接センサ１２により取得されるタッチパネル１における指座標（ｘ１，ｙ１）を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正して（ｘ２，ｙ２）とする。
すなわち、座標位置補正部３０３は、近接座標位置計算部３０１により計算された水平方向の指座標を（ｘ１，ｙ１）、補正された水平方向の指座標を（ｘ２，ｙ２）、前記タッチパネル上の中心点Ｏとし、点Oから目の位置Ｃの方向をあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記タッチパネル上に張られたｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のＸ軸とのなす偏角をθとし、
タッチパネル１とパネル面に対向する指の垂直方向の距離をｚとした場合、補正された指の水平方向の近接座標（ｘ２，ｙ２）を、ｘ２＝ｘ１−ｆ（ｚ）・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−ｇ（ｚ）・ｃｏｔφ・ｓｉｎθの演算式により補正する（ステップＳＴ４４）。但し、ｆ（ｚ）＝ｇ（ｚ）＝ｚ／２＝１とする。
【００３４】
上記した座標位置補正部３０３による座標位置補正の原理について、図５に示した模式図を参照しながら以下に説明する。
図５では、タッチパネル１を操作する際のユーザの指の位置とアイコンの見え方を３次元で表現してある。図５において、点Ａは、タッチパネル１へ指を近づけたときに近接座標位置計算部３０１により計算され出力された指位置であり、その座標は（ｘ１，ｙ１，ｚ）（点Ｂに表示されたアイコンと思って点Ａに近づけたときの位置の検出座標）、点Ｂは、タッチパネル１のＬＣＤパネル１０面へのアイコンの表示位置であり、図９に示したソフトキーアイコンを引用すれば、「せ」の表示位置であってその座標は（ｘ２，ｙ２，０）である。φは、原点Ｏからみた目の位置Ｃの方向を示す仰角、θはｘｙ平面座標上に直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のＸ軸とのなす偏角である。
【００３５】
図５によれば、補正される指の水平方向の近接座標（ｘ２，ｙ２）は、それぞれ以下の演算式（１）（２）を実行することにより算出が可能である。
（１）ｘ２＝ｘ１−ｚ・ｃｏｔφ・ｃｏｓθ
（２）ｙ２＝ｙ１−ｚ・ｃｏｔφ・ｓｉｎθ
ここでは、センターコンソールの中心に設置されているカーナビのタッチパネル１を運転席と助手席から操作する場合を想定し、指が２ｃｍ程度近接したときに水平方向の指座標を計算できるものとし（但し、Ｚ軸方向の距離は固定値Zref＝2cmとして測定することになる）、θ、φは、システムの構成上想定される目の方向が設定される。ここでは、θは３０度、φは７５度とする。ここで、説明の都合上Zref＝2cm、θ＝３０度、φ＝７５度としたが、これに拘るものではなく、システム構成により設定が変更されるものである。
以上の説明は、タッチパネルと目の位置（点Ｃ）とは十分遠く、パネル面に対するＢ、Ａ、Ｃの偏角と仰角はパネル面に対するＯ−Ｃの偏角θと仰角φとは無視できるほどの差しかなく同一として説明したが、点Ｃの方向だけでなく３次元的な位置もあらかじめ定めておけば、幾何学的計算により、正確なパネル面に対するＢ、Ａ、Ｃの偏角と仰角が求まり、これを用いて位置補正を行っても良い。この場合、目の位置Ｃがタッチパネルに近いほど補正効果がよく、使い勝手の良い装置が提供できる。
この場合φは、点Ｃと点Ａを結ぶ直線がタッチパネルと交わる点Ｂに対して、タッチパネル面からみた直線ＢＣの仰角、θは、ｘｙ平面座標上に直線ＢＣが垂直方向に投影される直線と前記ｘｙ平面座標上のＸ軸とのなす偏角である。
また、説明の都合上極座標系を用いたが、これにこだわるものではなく直交座標系を用いても良い。
【００３６】
また、ユーザは見かけ上の座標位置ｘ２が実際はｘ１であることをタッチパネル１のＬＣＤパネル１０のガラス厚等によりある程度認知しているため、ここでは幾何学的な正確な補正は要しないものとする。
このため、座標位置補正部３０３は、近接座標位置計算部３０１から取得された指の水平方向の座標を（ｘ１，ｙ１）、補正された指の水平方向の座標を（ｘ２，ｙ２）、前記タッチパネル上の中心点Ｏとし、目の位置である点Ｃをあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記タッチパネル上に張られたｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のｘ軸とのなす偏角をθ、タッチパネル１とパネル面に対向する指の垂直方向の距離をｚとした場合に、出力される補正された指の水平方向の近接座標（ｘ２，ｙ２）を、以下の演算式（３）（４）を実行することにより算出することとする。
【００３７】
（３）ｘ２＝ｘ１−ｆ（ｚ）・ｃｏｔφ・ｃｏｓθ
（４）ｙ２＝ｙ１−ｇ（ｚ）・ｃｏｔφ・ｓｉｎθ
ここで、ｆ（ｚ）＝ｇ（ｚ）＝zとおくと補正が強すぎてユーザが違和感を覚える可能性があるので、
ｆ（ｚ）＝ｇ（ｚ）＝ｚ／２と補正をゆるめる。ここで、検出する距離は一定値Zref（2cm）としているので、ｆ（ｚ）＝ｇ（ｚ）＝ｚ／２＝１となる。
【００３８】
説明を図４のフローチャートに戻す。座標位置補正部３０３は、上記により補正した座標値（ｘ２，ｙ２）を主制御部３００および画像情報生成部３０４に出力する。画像情報生成部３０４は主制御部３００による制御の下で上記により取得した座標値に基づき、一定範囲の表示領域の画像の拡大処理を行って指位置近傍に表示するための画像情報の生成を行なう。画像情報生成部３０４は、更に、生成された画像情報を画像情報転送部３０５経由で描画回路３１へ転送することでタッチパネル１のＬＣＤパネル１０上に所望の表示を得ることができる（ステップＳＴ４５）。
すなわち、画像情報生成部３０４は、タッチパネル１に表示された一定範囲の表示領域の画像を拡大処理するために、例えば、図６（ａ）に示されるように、既に生成済みのソフトキーボード画像の一部領域（図中、円内）の画像情報をメモリ３２の画像情報記憶領域３２２から一定の割合で読み出して補間し、周辺の画像情報（拡大無し）と合成して新しい画像情報によるソフトキーボード画像として更新する。
【００３９】
ここで更新された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに画像情報転送部３０５に出力される。画像情報転送部３０５は、これをうけて更新された画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０から転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。最後に、表示制御部３１４がビットマップメモリ部３１３に描画された画像を読み出してタッチパネル１のＬＣＤパネル１０に拡大表示を行う（ステップＳＴ４５）。図６（ｂ）に、一定範囲の表示領域の画像（「つ」「て」「と」「す」「せ」「そ」「く」「け」「こ」の各キーアイコン）が拡大され指位置近傍に表示されるソフトキーボード画像の一例が示されている。
【００４０】
なお、タッチパネル１のタッチセンサ１１によりアイコンが指でタッチされたことが検出されると（ステップＳＴ４６“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算し、主制御部３００による制御の下で操作情報処理部３０６を起動する。
このことにより、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する（ステップＳＴ４７）。
【００４１】
以上説明のようにこの発明の実施の形態１に係る表示入力装置によれば、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、制御部３が、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示することにより、表示入力装置が指位置をタッチパネル１の見かけ上の位置に自動補正するため、ユーザは意識せずに入力操作が可能になり、使い勝手が向上する。本実施例では、拡大表示について応用例を示したが、画像制御の形態はこれに拘るものではなく、指の近接状態を検知してヘルプなどの詳細説明をバルーン表示する場合や、カーソル位置を補正して表示する場合に適用しても良い。この場合画像の形状までは変形しなくても良い。
【００４２】
なお、ナビＣＰＵ３０（座標位置補正部３０３）は、表示するアイコンの種類や指位置に応じて補正の強度を変更してもよい。例えば、動きを伴うカーソル表示の場合は、演算式（３）において、ｆ（ｚ）＝ｇ（ｚ）＝１／２とし、動きを伴わないキーアイコンを表示する場合は、演算式（３）において、ｆ（ｚ）＝ｇ（ｚ）＝２／３として動きを伴うカーソル表示に比較して補正の強度を高めることで、速度、表示のいずれかを優先した表示が可能になり、ユーザは利用シーンに応じてこれらを選択できるため利便性が増す。
【００４３】
また、例えば、タッチパネル１に傾斜センサを内蔵させ、タッチパネル１の中心軸から見た傾きを検出することにより補正の強度を可変にしてもよい。補正の強度の変更は、上記したアイコンの種類による変更と同様の仕組みとする。
【００４４】
また、目の方向を決めるにあたり、もしくは目の方向を補正するに当たり、例えば、車内監視カメラ４を用い画像処理することにより目視位置を検出してもよく、また、座席シートの倒れ具合等をセンサで検知することにより目視位置を推定することでも代替が可能である。
【００４５】
実施の形態２．
上記した実施の形態１では、指が近接したかどうかのみを検出しＺ軸の指の位置検出距離は一定値Zrefとして説明したが、更に、Ｚ軸方向の指の近接距離を検出できればＺ軸方向の距離に応じて補正の強度を変更することが考えられる。この場合、Ｚ軸方向の距離が遠いほど補正を弱く、近いほど補正を強く制御することが望ましい。
すなわち、これは、ユーザがＺ軸方向の距離が遠いほど座標位置が正確でないことを理解しているため、距離が遠い場合の目立った補正に違和感を無くするための配慮である。以下に、実施の形態２に係る表示入力装置による座標位置補正の動作について説明する。
【００４６】
以下に説明する実施の形態２では、この発明の表示入力装置を、タッチパネル１のパネル面と指との間のＺ方向の距離を測定可能な３次元タッチパネルに適用したものである。したがって、図１に示すＸＹ方向の指の近接のみ検出可能なタッチパネル１を、Ｚ方向の距離も測定可能な３次元タッチパネルに置換えたものとして説明する。
このため、近接座標位置計算部３０１は、指位置の３次元座標位置を計算するため、実施の形態１に比較して機能拡張されたものになっている。他の構成は、実施の形態１と同様である。なお、近接する指の３次元位置を計測する技術は、上記した特許文献２に開示されており、ここではこの技術を適用するものとして説明する。
【００４７】
通常の検索表示から近接センサ１２が指の近接を検出し、近接座標位置計算部３０１が指座標を計算して座標位置補正部３０３に入力するまでの処理は、図４に示した実施の形態１と同様である。
ここで、座標位置補正部３０３は、以下の演算式を計算することにより、近接座標位置計算部３０１から取得される指座標を補正するものとする。すなわち、ｚ＜２ｃｍの場合、ｘ２＝ｘ１−ｚ・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−ｚ・ｃｏｔφ・ｓｉｎθとし、２ｃｍ≦ｚ＜５ｃｍの場合、ｘ２＝ｘ１−（１／２）ｚ・ｃｏｔφ・ｃｏｓθ−（３／２）・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−（１／２）ｚ・ｃｏｔφ・ｓｉｎθ−（３／２）・ｃｏｔφ・ｓｉｎθとする。更に、ｚ≦５ｃｍの場合、指が近接していないと判定して補正は見合わせる。
【００４８】
続いて、画像情報生成部３０４は主制御部３００による制御の下で取得した座標値（ｘ２，ｙ２）に基づき、一定範囲の表示領域の画像の拡大処理を行って指位置近傍に表示するための画像情報の生成を行ない、生成された画像情報を画像情報転送部３０５経由で描画回路３１へ転送してタッチパネル１に所望の表示を得る。
【００４９】
以上説明のようにこの発明の実施の形態２に係る表示入力装置によれば、制御部３のナビＣＰＵ３０が、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正の強度を可変とすることにより、例えば、Ｚ軸方向の距離が遠いほど補正を弱く、近いほど補正を強く制御することができ、距離が遠い場合の目立った補正に違和感を無くすることができる。
また、この発明の実施の形態２に係る表示入力装置によれば、実施の形態１に比較して精度の高い座標位置補正を実現でき、実施の形態１同様、表示入力装置が指位置をタッチパネル１の見かけ上の位置に自動補正するため、ユーザは意識せずに入力操作が可能になるため、使い勝手が向上する。
【００５０】
なお、ナビＣＰＵ３０（座標位置補正部３０３）は、補正の強度を変化させるにあたり、上記したＺ軸の距離毎に定義される演算式に制限されるものではなく、例えば、Ｚ軸の距離によって曲線的に補正値を変えても良い。
また、目の方向を決めるにあたり、もしくは目の方向を補正するに当たり、例えば、車内監視カメラ４を用い画像処理することにより目視位置を検出してもよく、また、座席シートの倒れ具合等をセンサで検知することにより目視位置を推定することでも代替が可能である。
また、FA（Factory Automation）用などでタッチパネルを操作するにあたり操作者がタッチパネルに対する位置を自由に変更できる場合などは、画像処理により操作者の目の方向、または、位置を測定することで、θ、φの値を動的に変更することができる。
【００５１】
実施の形態３．
上記したこの発明の実施の形態１、実施の形態２に係る表示入力装置では、操作者の目の位置をある程度想定して座標位置補正を行ったが、以下に説明する実施の形態３では、操作者が複数存在することにより操作者の目の位置が変化する、例えば、センターコンソールの中心に設置されているカーナビのタッチパネルを運転席から操作する場合や助手席から操作する場合を想定して座標位置補正を行う場合について説明する。
ここでは、画像処理によりタッチパネル１を運転席乗員が操作したか助手席乗員が操作したかを検出し、このことにより補正の強度を変更するものとして説明する。
運転者から操作したか助手席から操作したかどうかの検出は、画像処理による方法だけに限定するものではなく、操作者とタッチパネルとの静電容量の変化を使って行うなど種々存在することはいうまでもない。
【００５２】
図７は、この発明の実施の形態３に係る表示入力装置が有する制御部３（ナビＣＰＵ３０）のプログラム構造を機能展開して示したブロック図である。
この発明の実施の形態３に係る表示入力装置において、実施の形態１、実施の形態２の制御部３（ナビＣＰＵ３０）との構成上の差異は、実施の形態１が有するプログラム構造に、更に、カメラ画像入力部３０７と、画像処理部３０８と、ＵＩ（User Interface）提供部３０９とを付加したことにある。
【００５３】
カメラ画像入力部３０７は、車内監視カメラ４により出力される信号を取得して主制御部３００に引き渡す機能を有する。このうち、車内監視カメラ４から取得される映像信号は画像処理部３０８にも供給される。
画像処理部３０８は、車内監視カメラ４から取得される映像信号を画像処理して左右どちらのユーザが操作したかを認識し、あるいは、タッチパネル１への指の近接による入力操作が左右いずれの方向から行われたかを検出して座標位置補正部３０３による補正の方向および強度を制御する機能を有する。
【００５４】
ＵＩ提供部３０９は、環境設定時、あるいはユーザの要求に基づき動的にタッチパネル１のＬＣＤパネル１０に補正の強度を定義する設定画面を表示し、タッチパネル１を介して入力されるユーザ設定により上記した演算式を可変とする機能を有する。
【００５５】
図８は、この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。
以下、図８のフローチャートを参照しながら、図７に示すこの発明の実施の形態３に係る表示入力装置の動作について、実施の形態１との差異に着目して説明する。
【００５６】
図８のフローチャートにおいて、通常の検索表示から近接センサ１２が指の近接を検出し、近接座標位置計算部３０１が指座標を計算して座標位置補正部３０３に入力するまでの処理（ステップＳＴ８１〜ＳＴ８３）は、図４に示した実施の形態１のステップＳＴ４１〜ＳＴ４３のそれぞれのステップにおける処理と同様である。
以下に説明する実施の形態３では、座標位置補正部３０３は、近接座標位置計算部３０１から指座標を取得後、主制御部３００による制御の下で指の近接は運転席乗員によるものか否かを判定する（ステップＳＴ８４）。指の近接がいずれの方向からのものであるかは、カメラ画像入力部３０７より取得される車内監視カメラ４からの映像信号を画像処理部３０８が画像処理した結果を、座標位置補正部３０３が取得することにより判定可能である。
【００５７】
ステップＳＴ８４で、運転者による操作、すなわち、タッチパネル１に向かって右方向からの指の近接であると判定された場合（ステップＳＴ８４“ＹＥＳ”）、座標位置補正部３０３は、ｘ１、ｙ１、θ１、φ１、ｚを用いて（ｘ２、ｙ２）を求め、（θ１，φ１）とする補正を行う（ステップＳＴ８５）。また、助手席乗員による操作、すなわち、タッチパネル１に向かって左方向からの指の近接であると判定された場合（ステップＳＴ８４“ＮＯ”）、座標位置補正部３０３は、ｘ１、ｙ１、θ２、φ２、ｚを用いて（ｘ２、ｙ２）を求め、（θ２，φ２）とした補正を行う（ステップＳＴ８６）。実施例１では、θ＝３０度、φ＝７５度としたが、ここではθ１＝３０度、φ１＝７５度、θ２＝１５０度、φ２＝７５度とする。
【００５８】
続いて、画像情報生成部３０４は主制御部３００による制御の下で取得した座標値（ｘ２，ｙ２）に基づき、一定範囲の表示領域の画像の拡大処理を行って指位置近傍に表示するための画像情報の生成を行ない、生成された画像情報を画像情報転送部３０５経由で描画回路３１へ転送してタッチパネル１に所望の表示を得る（ステップＳＴ８７）。
【００５９】
以降、タッチパネル１のタッチセンサ１１によりアイコンが指でタッチされたことが検出されると（ステップＳＴ８８“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算し、主制御部３００による制御の下で操作情報処理部３０６を起動し、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する（ステップＳＴ８９）。このことにより、利用シーンに応じて補正方向及び強度の変更が可能になる。
【００６０】
なお、図８のフローチャートには図示省略しているが、環境設定時、あるいはユーザの要求に基づき動的にＵＩ提供部３０９が動作し、ＵＩ提供部３０９がタッチパネル１に設定画面を表示して位置補正の方向及び強度に関するユーザの設定入力を取り込み、主制御部３００経由で座標位置補正部３０３による座標位置補正に反映させてもよい。
【００６１】
以上説明のようにこの発明の実施の形態３に係る表示入力装置によれば、制御部３が、タッチパネル１に対するユーザの目視位置を測定し、測定した結果に基づきタッチパネル１の中心軸から見て左右いずれの方向から指が近接したかを検出し、検出された方向により補正の強度を可変とすることにより、例えば、運転席乗員による操作と助手席乗員による操作に差をつけ、助手席乗員は車両走行中にも自由に動けるため比較的弱めに補正をかけ、運転席乗員は動きが制限されるため比較的強めに補正をかける等の柔軟な制御が可能になる。
また、この発明の実施の形態３に係る表示入力装置によれば、補正の強度を設定するユーザインタフェースを提供することにより、利用シーンに応じた補正が可能となりユーザに利便性を提供することができる。
【００６２】
以上説明のように、この発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、表示入力装置を、画像の表示および入力を行うタッチパネル１と、タッチパネル１への指の近接を非接触で検知する近接センサ１２と、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示する制御部３と、により構成することで、タッチパネル１の操作環境に依存することなく使い勝手の向上がはかれる。
【００６３】
なお、上記したこの発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、一定範囲の表示領域の画像としてソフトキーボードを構成する各キーアイコンを例示して説明したが、カーソル、あるいはナビゲーションを行うために入力操作されるアイコン等の特定の画像であってもよい。また、検出対象として指のみ例示したが、指に代わるペン等の検出物であっても同様の効果が得られる。
また、この発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、表示入力装置をナビゲーションシステム等の車載情報機器に適用した場合についてのみ説明したが、車載情報機器以外に、パソコン、ＦＡ（Factory Automation）コンピュータの入出力手段として、あるいは公共機関やイベント会場等の案内システムに適用してもよい。上記実施例では、ナビＣＰＵ側で補正を掛けたが表示装置上にＣＰＵを持ちここで補正を掛けても同様の効果を生じる。
【００６４】
なお、図２、図７に示す制御部３（ナビＣＰＵ３０）が有する機能は、全てをハードウェアによって実現しても、あるいはその少なくとも一部をソフトウェアで実現してもよい。
例えば、制御部３が、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示するデータ処理は、１または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。
【産業上の利用可能性】
【００６５】
この発明に係る表示入力装置は、タッチパネルの操作環境に依存することなく使い勝手を向上させることができるため、ナビゲーションシステム等の車載情報機器等に用いるのに適している。
【図１】
2010113397.tif 000003
【図２】
2010113397.tif 000004
【図３】
2010113397.tif 000005
【図４】
2010113397.tif 000006
【図５】
2010113397.tif 000007
【図６】
2010113397.tif 000008
【図７】
2010113397.tif 000009
【図８】
2010113397.tif 000010
【図９】
2010113397.tif 000011
【手続補正書】
【提出日】平成23年4月15日(2011.4.15)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、特に、ナビゲーションシステム等の車載情報機器に用いて好適な、表示入力装置および車載情報機器に関するものである。
【背景技術】
【０００２】
タッチパネルは、液晶パネルのような表示装置と、タッチパッドのような座標位置入力装置とを組み合わせた電子部品であり、液晶パネルに表示されたアイコン等の画像領域を指でタッチするだけで、タッチされた画像の位置情報を感知して機器を操作することのできる表示入力装置であり、車載ナビゲーションシステム等、主に直感的に扱えることが要求される機器に組み込まれることが多い。
【０００３】
上記したタッチパネルを含むマンマシン装置の操作性や使い勝手を向上させるための提案が従来から多数出願されている。
例えば、指を近づけたときに指の近傍に位置するキースイッチを拡大して表示し、選択操作を容易化した表示入力装置（例えば、特許文献１参照）、垂直方向の距離を検出し、その距離に応じた拡大率で情報を表示するＣＲＴ装置（例えば、特許文献２参照）、タッチ圧力を検知して軽いタッチで拡大表示、強いタッチで所定のキー操作を実現する入力装置（例えば、特許文献３参照）等が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１４９９号公報
【特許文献２】特開平０４−１２８８７７号公報
【特許文献３】特開平１０−１７１６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記した特許文献１に開示された技術によれば、指を近づけたときに指位置近傍のアイコンが拡大表示されるため、誤操作を防止でき選択操作を容易にすることができる。図９に、この技術を用いて地名検索を行う場合のタッチパネルへの表示画面の一例が示されている。ここでは、５０音施設検索用のソフトウエアキーボードが表示されており、指位置近傍のアイコンとして、「い」、「き」、「し」、「う」、「く」、「す」、「え」、「け」、「せ」の各ソフトキーが拡大表示されている。
【０００６】
ところで、タッチパネルがユーザの目の位置に対して正面、かつ水平に設置されている場合は、拡大された一定範囲の表示領域キー（アイコン）に指を近づけると見かけ上のアイコン位置と指の位置とが一致して使い勝手が良い。
しかしながら、デザインの都合上タッチパネルが傾いて設置された場合、タッチパネルから見た真上（タッチパネルの垂直方向）と、ユーザから見たアイコンの真上（ユーザの目の位置とアイコンとを結ぶ方向）の位置が一致せず、このため、例えば、図９に示されるように、ユーザが、「せ」をタッチしようとしているのに実際の指先は「く」の位置にあり、このため使い勝手が悪くなるという不都合が発生する。
【０００７】
また、例えば、センターコンソールの中心に設置されているカーナビのタッチパネルを運転席から操作する場合や助手席から操作する場合等のように、タッチパネルの正面方向に対し、左右から操作する場合についても同様の不都合が生じていた。
この不都合は、特許文献１に開示されているように、指の位置付近に一定範囲の表示領域の画像を拡大表示する、あるいは、指位置近傍にカーソルを表示する描画の際も同様に発生し、指の近接を検知する距離が遠くなればなるほど座標のズレが拡大していた。また、上記した特許文献２、特許文献３に開示された技術も、この不都合を解消するものではない。
【０００８】
この発明は上記した課題を解決するものであり、タッチパネルの操作環境に依存することなく使い勝手の向上をはかった表示入力装置および車載情報機器を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するためにこの発明の表示入力装置は、接近する検出対象の座標を非接触で検知する近接センサを有し、画像の表示および入力を行うタッチパネルと、前記タッチパネル面上をｘｙ平面とし前記タッチパネル面に対する垂直方向をｚ軸として、前記タッチパネル上に点Ｏ、前記タッチパネルの外部に点Ｃをあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記ｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のｘ軸とのなす偏角をθとしたときに、前記近接センサにより取得される前記検出対象の前記ｘｙ座標を、前記仰角φ、前記偏角θおよびｚ座標を変数とするあらかじめ定められた関数に応じて補正する制御部とを備えたものである。
【００１０】
また、この発明の車載情報機器は、接近する検出対象の座標を非接触で検知する近接センサを有し、画像の表示および入力を行うタッチパネルと接続可能に構成され、近接センサから検出対象の座標が入力され、タッチパネル面上をｘｙ平面としタッチパネル面に対する垂直方向をｚ軸として、タッチパネル上に点Ｏ、タッチパネルの外部に点Ｃをあらかじめ定め、直線ＯＣのタッチパネル面に対する仰角をφ、ｘｙ平面座標上に直線ＯＣが垂直方向に投影される直線とｘｙ平面座標上のｘ軸とのなす偏角をθとしたときに、近接センサにより取得される検出対象のｘｙ座標を、仰角φ、偏角θおよびｚ座標を変数とするあらかじめ定められた関数に応じて補正する制御部を備えたものである。
【発明の効果】
【００１１】
この発明によれば、タッチパネルの操作環境に依存することなく使い勝手の向上をはかった表示入力装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１に係る表示入力装置の内部構成を示すブロック図である。
【図２】この発明の実施の形態１に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。
【図３】この発明の実施の形態１に係る表示入力装置が有する描画回路の内部構成を示すブロック図である。
【図４】この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。
【図５】この発明の実施の形態１に係る表示入力装置の座標位置補正の原理を示した模式図である。
【図６】この発明の実施の形態１に係る表示入力装置により表示される画面構成の一例を示す図である。
【図７】この発明の実施の形態３に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。
【図８】この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。
【図９】従来の表示入力装置により表示される画面構成の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、この発明をより詳細に説明する為に、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る表示入力装置の構成を示すブロック図である。図１に示されるように、この発明の実施の形態１に係る表示入力装置は、タッチパネル式表示装置（以下、タッチパネルと略称する）１と、外部センサ２と、制御部３と、車内監視カメラ４と、により構成される。
【００１４】
タッチパネル１は、情報の表示ならびに入力を行うもので、例えば、情報の表示を行うＬＣＤパネル１０上に、情報の入力を行うタッチセンサ１１が積層されて構成され、更に、タッチセンサ１１の外周に沿うように、タッチパネル１に対向して位置する指やペン等、検出対象の動きを２次元で非接触検知する近接センサ１２がセル単位で複数実装されている。
【００１５】
近接センサ１２は、検出セルとして、例えば赤外線を使用した場合、赤外線発光ＬＥＤ（Light Emitted Diode）と、受光トランジスタとが、タッチセンサ１１の外周に格子状に対向配置され、検出対象が近づいたことによる遮蔽もしくは反射光により、接近を検出するとともに、その座標位置を検出するものである。
近接センサ１２は、その検出セルが上記した赤外線に限らず、例えば、検出対象とコンデンサのように平行に配置された２枚の平板との間に生じる静電容量の変化により接近を検出する静電容量型で代替してもよい。この場合、平板は、一方の片側が検出対象に向く接地面、他方の片側がセンサ検出面となり、この２極間に形成される静電容量の変化により検出対象の接近を検出するとともにその座標位置を検出することができる。
【００１６】
一方、外部センサ２は車両の随所に実装され、少なくとも、ＧＰＳ（Global Positioning System）センサ２１と、車速センサ２２と、加速度センサ２３とを含む。
ＧＰＳセンサ２１は、ＧＰＳ衛星からの電波を受信して、制御部３が、緯度、経度を測位するための信号を生成して制御部３に出力する。車速センサ２２は、車両が走行中か否かを判定するための車速パルスを計測して制御部３に出力する。加速度センサ２３は、例えば、バネに取り付けた錘が変位する量を計測して錘にかかる加速度を推定するセンサであり、３軸加速度センサの場合、例えば、０（重力加速度のみ）から数１００Ｈｚまでの加速度変動に追従し、Ｘ、Ｙ方向の加速度ベクトルの合計から地面に対する向き（姿勢）を測定して制御部３に出力する。
【００１７】
制御部３は、ルート検索や目的地誘導等、ナビゲーション機能を実行するため基本的処理機能の他に、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示する機能を有する。
このため、制御部３は、ナビゲーション処理を主にタッチパネル１の制御を行うＣＰＵ（以下、ナビＣＰＵ３０という）と、描画回路３１と、メモリ３２と、地図ＤＢ（Data Base）３３とにより構成される。
【００１８】
ナビＣＰＵ３０は、タッチパネル１に表示されたルート検索等のナビゲーションメニューがユーザにより選択されることで、そのメニューにしたがうナビゲーション処理を行う。ナビゲーション処理を行うにあたり、ナビＣＰＵ３０は、地図ＤＢ３３に格納された地図情報を参照し、外部センサ２から取得される各種センサ信号に基づき、ルート検索、あるいは目的地誘導等のナビゲーションを行う。
また、ナビＣＰＵ３０は、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示する機能を実現するために、メモリ３２に記憶されたプログラムにしたがい画像情報を生成して描画回路３１の制御を行う。その場合のナビＣＰＵ３０が実行するプログラムの構造は図２に示されており、その詳細は後述する。
【００１９】
描画回路３１は、図３に示されるように、ナビＣＰＵ３０により生成される画像情報を一定の速度で、内蔵し、あるいは外付けされるビットマップメモリ部３１３上に展開し、同じく内蔵する表示制御部３１４によりビットマップメモリ部３１３に展開された画像情報をタッチパネル１（ＬＣＤパネル１０）の表示タイミングに同期して読み出し、タッチパネル１に表示する。上記したビットマップメモリ部３１３および表示制御部３１４の詳細は後述する。
【００２０】
なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域３２１の他に、作業領域に画像情報記憶領域３２２等が割り付けられ記憶されている。また、地図ＤＢ３３には、ルート検索、誘導等、ナビゲーションに必要な地図や施設情報等が格納されている。
【００２１】
車内監視カメラ４は、例えば、ルームミラーに装着された広角ＣＣＤ（Charge Coupled Device）カメラであり、ここでは、特に、車室内における運転席乗員ならびに助手席乗員の動きを監視し、ここで撮影され生成される映像信号は、制御部３のナビＣＰＵ３０へ出力される。
【００２２】
図２は、この発明の実施の形態１に係る表示入力装置の制御部３が有するナビＣＰＵ３０の実行プログラムの構造を機能展開して示したブロック図である。図２に示されるように、ナビＣＰＵ３０は、主制御部３００と、近接座標位置計算部３０１と、タッチ座標位置計算部３０２と、座標位置補正部３０３と、画像情報生成部３０４と、画像情報転送部３０５と、操作情報処理部３０６とを含む。
【００２３】
近接座標位置計算部３０１は、近接センサ１２によりタッチパネル１への指の接近が検出されたときに、その指のＸＹ座標位置を計算して座標位置補正部３０３に引き渡す機能を有する。近接座標位置計算部３０１により計算されるＸＹ座標は、例えば、近接センサの座標位置を０．０１秒間隔で０．０５秒間連続して入力し５点の平均値を取って補正部３０３に出力される。
【００２４】
タッチ座標位置計算部３０２は、指によるタッチパネル１への接触（タッチ）がタッチパネル１のタッチセンサ１１により検出された場合に、そのＸＹ座標位置を計算して主制御部３００に引き渡すとともに、操作情報処理部３０６を起動する機能を有する。
【００２５】
座標位置補正部３０３は、近接座標位置計算部３０１により計算されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、主制御部３００による制御の下で画像情報生成部３０４を制御する機能を有する。補正の仕方等については後述する。
【００２６】
画像情報生成部３０４は、主制御部３００による制御の下でタッチパネル１のＬＣＤパネル１０に表示する画像情報を生成し、画像情報転送部３０５に出力する機能を有する。また、画像情報生成部３０４は、タッチパネル１に表示される、例えば、ソフトキーアイコン等一定範囲の表示領域の画像を拡大処理して表示するために、既に生成済みのソフトキーアイコンの画像（画素）を一定の割合で読み出して補間し、新しい画像として上書きする。例えば、２倍に拡大する場合、元の画素のピクセルの１つを縦横方向に２×２に重ねて描画し、逆に、縮小の場合、元のビットマップのピクセルを一定の割合で間引いて画像を更新し、更新された画像を描画回路３１に転送する。ここではビット画像の拡大縮小の方法で説明したが、ビット画像ではなくベクタ画像の場合は所定の拡縮計算処理によりきれいな画像の拡大縮小ができる。
【００２７】
画像情報転送部３０５は、画像情報生成部３０４により生成される画像情報を主制御部３００によるタイミング制御に基づき描画回路３１に転送する機能を有する。
【００２８】
操作情報処理部３０６は、主制御部３００による制御の下、タッチ座標位置計算部３０２で計算されたタッチ座標位置に基づく一定の表示領域の情報に定義された操作情報、例えば、ソフトキーボードであれば各ソフトキーアイコンに基づく情報入力を行い、ボタンアイコンであれば、そのボタンアイコンに定義された目的地検索等のナビゲーション処理を実行する機能を有する。
【００２９】
なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域３２１の他に、所定量の作業領域が割り当てられており、この作業領域の中には、画像情報生成部３０４により生成される画像情報がテンポラリに記憶される画像情報記憶領域３２２が含まれる。
【００３０】
図３は、図１に示す描画回路３１の内部構成を示すブロック図である。図３に示されるように、描画回路３１は、描画制御部３１０と、画像バッファ部３１１と、描画部３１２と、ビットマップメモリ部３１３と、表示制御部３１４と、により構成され、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されるローカルバス３１５経由で共通接続されている。
【００３１】
上記構成において、図２に示したナビＣＰＵ３０（画像情報転送部３０５）から転送された画像情報は、描画制御部３１０による制御の下で画像バッファ部３１１に保持され、描画制御部３１０は、直線描画や矩形描画等の命令をデコードし、あるいは直線の傾き等についての描画の前処理を行う。そして、描画制御部３１０により起動される描画部３１２は、描画制御部３１０によりデコードされた画像情報をビットマップメモリ部３１３に高速描画し、表示制御部３１４は、ビットマップメモリ部３１３に保持された画像情報をタッチパネル１のＬＣＤパネル１０の表示タイミングに同期して読出し表示する。
【００３２】
図４は、この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。また、図５は、座標位置補正の原理を模式的に示した図であり、図６は、タッチパネル１に表示されるソフトキーボード画像の一例を示した図である。
以下、図４〜図６を参照しながら、図１〜図３に示すこの発明の実施の形態１に係る表示入力装置の動作について詳細に説明する。
【００３３】
図４において、タッチパネル１のＬＣＤパネル１０に、例えば、図６（ａ）の施設検索時に使用されるソフトキーボード画像が表示されているものとする（ステップＳＴ４１）。まず、ユーザがタッチパネル１に指を近づけると、近接センサ１２がその指の近接を検出し（ステップＳＴ４２“ＹＥＳ”）、ナビＣＰＵ３０の近接座標位置計算部３０１が動作して、指座標（ｘ１，ｙ１）を計算し、座標位置補正部３０３に入力する（ステップＳＴ４３）。
【００３４】
これをうけて座標位置補正部３０３は、近接センサ１２により取得されるタッチパネル１における指座標（ｘ１，ｙ１）を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正して（ｘ２，ｙ２）とする。
すなわち、座標位置補正部３０３は、近接座標位置計算部３０１により計算された水平方向の指座標を（ｘ１，ｙ１）、補正された水平方向の指座標を（ｘ２，ｙ２）、前記タッチパネル上の中心点Ｏとし、点Oから目の位置Ｃの方向をあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記タッチパネル上に張られたｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のＸ軸とのなす偏角をθとし、
タッチパネル１とパネル面に対向する指の垂直方向の距離をｚとした場合、補正された指の水平方向の近接座標（ｘ２，ｙ２）を、ｘ２＝ｘ１−ｆ（ｚ）・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−ｇ（ｚ）・ｃｏｔφ・ｓｉｎθの演算式により補正する（ステップＳＴ４４）。但し、ｆ（ｚ）＝ｇ（ｚ）＝ｚ／２＝１とする。
【００３５】
上記した座標位置補正部３０３による座標位置補正の原理について、図５に示した模式図を参照しながら以下に説明する。
図５では、タッチパネル１を操作する際のユーザの指の位置とアイコンの見え方を３次元で表現してある。図５において、点Ａは、タッチパネル１へ指を近づけたときに近接座標位置計算部３０１により計算され出力された指位置であり、その座標は（ｘ１，ｙ１，ｚ）（点Ｂに表示されたアイコンと思って点Ａに近づけたときの位置の検出座標）、点Ｂは、タッチパネル１のＬＣＤパネル１０面へのアイコンの表示位置であり、図９に示したソフトキーアイコンを引用すれば、「せ」の表示位置であってその座標は（ｘ２，ｙ２，０）である。φは、原点Ｏからみた目の位置Ｃの方向を示す仰角、θはｘｙ平面座標上に直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のＸ軸とのなす偏角である。
【００３６】
図５によれば、補正される指の水平方向の近接座標（ｘ２，ｙ２）は、それぞれ以下の演算式（１）（２）を実行することにより算出が可能である。
（１）ｘ２＝ｘ１−ｚ・ｃｏｔφ・ｃｏｓθ
（２）ｙ２＝ｙ１−ｚ・ｃｏｔφ・ｓｉｎθ
ここでは、センターコンソールの中心に設置されているカーナビのタッチパネル１を運転席と助手席から操作する場合を想定し、指が２ｃｍ程度近接したときに水平方向の指座標を計算できるものとし（但し、Ｚ軸方向の距離は固定値Zref＝2cmとして測定することになる）、θ、φは、システムの構成上想定される目の方向が設定される。ここでは、θは３０度、φは７５度とする。ここで、説明の都合上Zref＝2cm、θ＝３０度、φ＝７５度としたが、これに拘るものではなく、システム構成により設定が変更されるものである。
以上の説明は、タッチパネルと目の位置（点Ｃ）とは十分遠く、パネル面に対するＢ、Ａ、Ｃの偏角と仰角はパネル面に対するＯ−Ｃの偏角θと仰角φとは無視できるほどの差しかなく同一として説明したが、点Ｃの方向だけでなく３次元的な位置もあらかじめ定めておけば、幾何学的計算により、正確なパネル面に対するＢ、Ａ、Ｃの偏角と仰角が求まり、これを用いて位置補正を行っても良い。この場合、目の位置Ｃがタッチパネルに近いほど補正効果がよく、使い勝手の良い装置が提供できる。
この場合φは、点Ｃと点Ａを結ぶ直線がタッチパネルと交わる点Ｂに対して、タッチパネル面からみた直線ＢＣの仰角、θは、ｘｙ平面座標上に直線ＢＣが垂直方向に投影される直線と前記ｘｙ平面座標上のＸ軸とのなす偏角である。
また、説明の都合上極座標系を用いたが、これにこだわるものではなく直交座標系を用いても良い。
【００３７】
また、ユーザは見かけ上の座標位置ｘ２が実際はｘ１であることをタッチパネル１のＬＣＤパネル１０のガラス厚等によりある程度認知しているため、ここでは幾何学的な正確な補正は要しないものとする。
このため、座標位置補正部３０３は、近接座標位置計算部３０１から取得された指の水平方向の座標を（ｘ１，ｙ１）、補正された指の水平方向の座標を（ｘ２，ｙ２）、前記タッチパネル上の中心点Ｏとし、目の位置である点Ｃをあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記タッチパネル上に張られたｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のｘ軸とのなす偏角をθ、タッチパネル１とパネル面に対向する指の垂直方向の距離をｚとした場合に、出力される補正された指の水平方向の近接座標（ｘ２，ｙ２）を、以下の演算式（３）（４）を実行することにより算出することとする。
【００３８】
（３）ｘ２＝ｘ１−ｆ（ｚ）・ｃｏｔφ・ｃｏｓθ
（４）ｙ２＝ｙ１−ｇ（ｚ）・ｃｏｔφ・ｓｉｎθ
ここで、ｆ（ｚ）＝ｇ（ｚ）＝zとおくと補正が強すぎてユーザが違和感を覚える可能性があるので、
ｆ（ｚ）＝ｇ（ｚ）＝ｚ／２と補正をゆるめる。ここで、検出する距離は一定値Zref（2cm）としているので、ｆ（ｚ）＝ｇ（ｚ）＝ｚ／２＝１となる。
【００３９】
説明を図４のフローチャートに戻す。座標位置補正部３０３は、上記により補正した座標値（ｘ２，ｙ２）を主制御部３００および画像情報生成部３０４に出力する。画像情報生成部３０４は主制御部３００による制御の下で上記により取得した座標値に基づき、一定範囲の表示領域の画像の拡大処理を行って指位置近傍に表示するための画像情報の生成を行なう。画像情報生成部３０４は、更に、生成された画像情報を画像情報転送部３０５経由で描画回路３１へ転送することでタッチパネル１のＬＣＤパネル１０上に所望の表示を得ることができる（ステップＳＴ４５）。
すなわち、画像情報生成部３０４は、タッチパネル１に表示された一定範囲の表示領域の画像を拡大処理するために、例えば、図６（ａ）に示されるように、既に生成済みのソフトキーボード画像の一部領域（図中、円内）の画像情報をメモリ３２の画像情報記憶領域３２２から一定の割合で読み出して補間し、周辺の画像情報（拡大無し）と合成して新しい画像情報によるソフトキーボード画像として更新する。
【００４０】
ここで更新された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに画像情報転送部３０５に出力される。画像情報転送部３０５は、これをうけて更新された画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０から転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。最後に、表示制御部３１４がビットマップメモリ部３１３に描画された画像を読み出してタッチパネル１のＬＣＤパネル１０に拡大表示を行う（ステップＳＴ４５）。図６（ｂ）に、一定範囲の表示領域の画像（「つ」「て」「と」「す」「せ」「そ」「く」「け」「こ」の各キーアイコン）が拡大され指位置近傍に表示されるソフトキーボード画像の一例が示されている。
【００４１】
なお、タッチパネル１のタッチセンサ１１によりアイコンが指でタッチされたことが検出されると（ステップＳＴ４６“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算し、主制御部３００による制御の下で操作情報処理部３０６を起動する。
このことにより、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する（ステップＳＴ４７）。
【００４２】
以上説明のようにこの発明の実施の形態１に係る表示入力装置によれば、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、制御部３が、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示することにより、表示入力装置が指位置をタッチパネル１の見かけ上の位置に自動補正するため、ユーザは意識せずに入力操作が可能になり、使い勝手が向上する。本実施例では、拡大表示について応用例を示したが、画像制御の形態はこれに拘るものではなく、指の近接状態を検知してヘルプなどの詳細説明をバルーン表示する場合や、カーソル位置を補正して表示する場合に適用しても良い。この場合画像の形状までは変形しなくても良い。
【００４３】
なお、ナビＣＰＵ３０（座標位置補正部３０３）は、表示するアイコンの種類や指位置に応じて補正の強度を変更してもよい。例えば、動きを伴うカーソル表示の場合は、演算式（３）において、ｆ（ｚ）＝ｇ（ｚ）＝１／２とし、動きを伴わないキーアイコンを表示する場合は、演算式（３）において、ｆ（ｚ）＝ｇ（ｚ）＝２／３として動きを伴うカーソル表示に比較して補正の強度を高めることで、速度、表示のいずれかを優先した表示が可能になり、ユーザは利用シーンに応じてこれらを選択できるため利便性が増す。
【００４４】
また、例えば、タッチパネル１に傾斜センサを内蔵させ、タッチパネル１の中心軸から見た傾きを検出することにより補正の強度を可変にしてもよい。補正の強度の変更は、上記したアイコンの種類による変更と同様の仕組みとする。
【００４５】
また、目の方向を決めるにあたり、もしくは目の方向を補正するに当たり、例えば、車内監視カメラ４を用い画像処理することにより目視位置を検出してもよく、また、座席シートの倒れ具合等をセンサで検知することにより目視位置を推定することでも代替が可能である。
【００４６】
実施の形態２．
上記した実施の形態１では、指が近接したかどうかのみを検出しＺ軸の指の位置検出距離は一定値Zrefとして説明したが、更に、Ｚ軸方向の指の近接距離を検出できればＺ軸方向の距離に応じて補正の強度を変更することが考えられる。この場合、Ｚ軸方向の距離が遠いほど補正を弱く、近いほど補正を強く制御することが望ましい。
すなわち、これは、ユーザがＺ軸方向の距離が遠いほど座標位置が正確でないことを理解しているため、距離が遠い場合の目立った補正に違和感を無くするための配慮である。以下に、実施の形態２に係る表示入力装置による座標位置補正の動作について説明する。
【００４７】
以下に説明する実施の形態２では、この発明の表示入力装置を、タッチパネル１のパネル面と指との間のＺ方向の距離を測定可能な３次元タッチパネルに適用したものである。したがって、図１に示すＸＹ方向の指の近接のみ検出可能なタッチパネル１を、Ｚ方向の距離も測定可能な３次元タッチパネルに置換えたものとして説明する。
このため、近接座標位置計算部３０１は、指位置の３次元座標位置を計算するため、実施の形態１に比較して機能拡張されたものになっている。他の構成は、実施の形態１と同様である。なお、近接する指の３次元位置を計測する技術は、上記した特許文献２に開示されており、ここではこの技術を適用するものとして説明する。
【００４８】
通常の検索表示から近接センサ１２が指の近接を検出し、近接座標位置計算部３０１が指座標を計算して座標位置補正部３０３に入力するまでの処理は、図４に示した実施の形態１と同様である。
ここで、座標位置補正部３０３は、以下の演算式を計算することにより、近接座標位置計算部３０１から取得される指座標を補正するものとする。すなわち、ｚ＜２ｃｍの場合、ｘ２＝ｘ１−ｚ・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−ｚ・ｃｏｔφ・ｓｉｎθとし、２ｃｍ≦ｚ＜５ｃｍの場合、ｘ２＝ｘ１−（１／２）ｚ・ｃｏｔφ・ｃｏｓθ−（３／２）・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−（１／２）ｚ・ｃｏｔφ・ｓｉｎθ−（３／２）・ｃｏｔφ・ｓｉｎθとする。更に、ｚ≦５ｃｍの場合、指が近接していないと判定して補正は見合わせる。
【００４９】
続いて、画像情報生成部３０４は主制御部３００による制御の下で取得した座標値（ｘ２，ｙ２）に基づき、一定範囲の表示領域の画像の拡大処理を行って指位置近傍に表示するための画像情報の生成を行ない、生成された画像情報を画像情報転送部３０５経由で描画回路３１へ転送してタッチパネル１に所望の表示を得る。
【００５０】
以上説明のようにこの発明の実施の形態２に係る表示入力装置によれば、制御部３のナビＣＰＵ３０が、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正の強度を可変とすることにより、例えば、Ｚ軸方向の距離が遠いほど補正を弱く、近いほど補正を強く制御することができ、距離が遠い場合の目立った補正に違和感を無くすることができる。
また、この発明の実施の形態２に係る表示入力装置によれば、実施の形態１に比較して精度の高い座標位置補正を実現でき、実施の形態１同様、表示入力装置が指位置をタッチパネル１の見かけ上の位置に自動補正するため、ユーザは意識せずに入力操作が可能になるため、使い勝手が向上する。
【００５１】
なお、ナビＣＰＵ３０（座標位置補正部３０３）は、補正の強度を変化させるにあたり、上記したＺ軸の距離毎に定義される演算式に制限されるものではなく、例えば、Ｚ軸の距離によって曲線的に補正値を変えても良い。
また、目の方向を決めるにあたり、もしくは目の方向を補正するに当たり、例えば、車内監視カメラ４を用い画像処理することにより目視位置を検出してもよく、また、座席シートの倒れ具合等をセンサで検知することにより目視位置を推定することでも代替が可能である。
また、FA（Factory Automation）用などでタッチパネルを操作するにあたり操作者がタッチパネルに対する位置を自由に変更できる場合などは、画像処理により操作者の目の方向、または、位置を測定することで、θ、φの値を動的に変更することができる。
【００５２】
実施の形態３．
上記したこの発明の実施の形態１、実施の形態２に係る表示入力装置では、操作者の目の位置をある程度想定して座標位置補正を行ったが、以下に説明する実施の形態３では、操作者が複数存在することにより操作者の目の位置が変化する、例えば、センターコンソールの中心に設置されているカーナビのタッチパネルを運転席から操作する場合や助手席から操作する場合を想定して座標位置補正を行う場合について説明する。
ここでは、画像処理によりタッチパネル１を運転席乗員が操作したか助手席乗員が操作したかを検出し、このことにより補正の強度を変更するものとして説明する。
運転者から操作したか助手席から操作したかどうかの検出は、画像処理による方法だけに限定するものではなく、操作者とタッチパネルとの静電容量の変化を使って行うなど種々存在することはいうまでもない。
【００５３】
図７は、この発明の実施の形態３に係る表示入力装置が有する制御部３（ナビＣＰＵ３０）のプログラム構造を機能展開して示したブロック図である。
この発明の実施の形態３に係る表示入力装置において、実施の形態１、実施の形態２の制御部３（ナビＣＰＵ３０）との構成上の差異は、実施の形態１が有するプログラム構造に、更に、カメラ画像入力部３０７と、画像処理部３０８と、ＵＩ（User Interface）提供部３０９とを付加したことにある。
【００５４】
カメラ画像入力部３０７は、車内監視カメラ４により出力される信号を取得して主制御部３００に引き渡す機能を有する。このうち、車内監視カメラ４から取得される映像信号は画像処理部３０８にも供給される。
画像処理部３０８は、車内監視カメラ４から取得される映像信号を画像処理して左右どちらのユーザが操作したかを認識し、あるいは、タッチパネル１への指の近接による入力操作が左右いずれの方向から行われたかを検出して座標位置補正部３０３による補正の方向および強度を制御する機能を有する。
【００５５】
ＵＩ提供部３０９は、環境設定時、あるいはユーザの要求に基づき動的にタッチパネル１のＬＣＤパネル１０に補正の強度を定義する設定画面を表示し、タッチパネル１を介して入力されるユーザ設定により上記した演算式を可変とする機能を有する。
【００５６】
図８は、この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。
以下、図８のフローチャートを参照しながら、図７に示すこの発明の実施の形態３に係る表示入力装置の動作について、実施の形態１との差異に着目して説明する。
【００５７】
図８のフローチャートにおいて、通常の検索表示から近接センサ１２が指の近接を検出し、近接座標位置計算部３０１が指座標を計算して座標位置補正部３０３に入力するまでの処理（ステップＳＴ８１〜ＳＴ８３）は、図４に示した実施の形態１のステップＳＴ４１〜ＳＴ４３のそれぞれのステップにおける処理と同様である。
以下に説明する実施の形態３では、座標位置補正部３０３は、近接座標位置計算部３０１から指座標を取得後、主制御部３００による制御の下で指の近接は運転席乗員によるものか否かを判定する（ステップＳＴ８４）。指の近接がいずれの方向からのものであるかは、カメラ画像入力部３０７より取得される車内監視カメラ４からの映像信号を画像処理部３０８が画像処理した結果を、座標位置補正部３０３が取得することにより判定可能である。
【００５８】
ステップＳＴ８４で、運転者による操作、すなわち、タッチパネル１に向かって右方向からの指の近接であると判定された場合（ステップＳＴ８４“ＹＥＳ”）、座標位置補正部３０３は、ｘ１、ｙ１、θ１、φ１、ｚを用いて（ｘ２、ｙ２）を求め、（θ１，φ１）とする補正を行う（ステップＳＴ８５）。また、助手席乗員による操作、すなわち、タッチパネル１に向かって左方向からの指の近接であると判定された場合（ステップＳＴ８４“ＮＯ”）、座標位置補正部３０３は、ｘ１、ｙ１、θ２、φ２、ｚを用いて（ｘ２、ｙ２）を求め、（θ２，φ２）とした補正を行う（ステップＳＴ８６）。実施例１では、θ＝３０度、φ＝７５度としたが、ここではθ１＝３０度、φ１＝７５度、θ２＝１５０度、φ２＝７５度とする。
【００５９】
続いて、画像情報生成部３０４は主制御部３００による制御の下で取得した座標値（ｘ２，ｙ２）に基づき、一定範囲の表示領域の画像の拡大処理を行って指位置近傍に表示するための画像情報の生成を行ない、生成された画像情報を画像情報転送部３０５経由で描画回路３１へ転送してタッチパネル１に所望の表示を得る（ステップＳＴ８７）。
【００６０】
以降、タッチパネル１のタッチセンサ１１によりアイコンが指でタッチされたことが検出されると（ステップＳＴ８８“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算し、主制御部３００による制御の下で操作情報処理部３０６を起動し、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する（ステップＳＴ８９）。このことにより、利用シーンに応じて補正方向及び強度の変更が可能になる。
【００６１】
なお、図８のフローチャートには図示省略しているが、環境設定時、あるいはユーザの要求に基づき動的にＵＩ提供部３０９が動作し、ＵＩ提供部３０９がタッチパネル１に設定画面を表示して位置補正の方向及び強度に関するユーザの設定入力を取り込み、主制御部３００経由で座標位置補正部３０３による座標位置補正に反映させてもよい。
【００６２】
以上説明のようにこの発明の実施の形態３に係る表示入力装置によれば、制御部３が、タッチパネル１に対するユーザの目視位置を測定し、測定した結果に基づきタッチパネル１の中心軸から見て左右いずれの方向から指が近接したかを検出し、検出された方向により補正の強度を可変とすることにより、例えば、運転席乗員による操作と助手席乗員による操作に差をつけ、助手席乗員は車両走行中にも自由に動けるため比較的弱めに補正をかけ、運転席乗員は動きが制限されるため比較的強めに補正をかける等の柔軟な制御が可能になる。
また、この発明の実施の形態３に係る表示入力装置によれば、補正の強度を設定するユーザインタフェースを提供することにより、利用シーンに応じた補正が可能となりユーザに利便性を提供することができる。
【００６３】
以上説明のように、この発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、表示入力装置を、画像の表示および入力を行うタッチパネル１と、タッチパネル１への指の近接を非接触で検知する近接センサ１２と、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示する制御部３と、により構成することで、タッチパネル１の操作環境に依存することなく使い勝手の向上がはかれる。
【００６４】
なお、上記したこの発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、一定範囲の表示領域の画像としてソフトキーボードを構成する各キーアイコンを例示して説明したが、カーソル、あるいはナビゲーションを行うために入力操作されるアイコン等の特定の画像であってもよい。また、検出対象として指のみ例示したが、指に代わるペン等の検出物であっても同様の効果が得られる。
また、この発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、表示入力装置をナビゲーションシステム等の車載情報機器に適用した場合についてのみ説明したが、車載情報機器以外に、パソコン、ＦＡ（Factory Automation）コンピュータの入出力手段として、あるいは公共機関やイベント会場等の案内システムに適用してもよい。上記実施例では、ナビＣＰＵ側で補正を掛けたが表示装置上にＣＰＵを持ちここで補正を掛けても同様の効果を生じる。
【００６５】
なお、図２、図７に示す制御部３（ナビＣＰＵ３０）が有する機能は、全てをハードウェアによって実現しても、あるいはその少なくとも一部をソフトウェアで実現してもよい。
例えば、制御部３が、近接センサ１２により取得されるタッチパネル１における指の水平方向の近接座標を、タッチパネル１とパネル面に対向する指の垂直方向の距離に応じて補正し、タッチパネル１に表示された一定範囲の表示領域における画像を拡大処理して指位置近傍に表示するデータ処理は、１または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。
【００６６】
この発明に係る表示入力装置は、タッチパネルの操作環境に依存することなく使い勝手を向上させることができるため、ナビゲーションシステム等の車載情報機器等に用いるのに適している。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
接近する検出対象の座標を非接触で検知する近接センサを有し、画像の表示および入力を行うタッチパネルと、
前記タッチパネル面上をｘｙ平面とし前記タッチパネル面に対する垂直方向をｚ軸として、前記タッチパネル上に点Ｏ、前記タッチパネルの外部に点Ｃをあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記ｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のｘ軸とのなす偏角をθとしたときに、前記近接センサにより取得される前記検出対象の前記ｘｙ座標を、前記仰角φ、前記偏角θおよびｚ座標を変数とするあらかじめ定められた関数に応じて補正する制御部と
を備えたことを特徴とする表示入力装置。
【請求項２】
接近する検出対象の座標を非接触で検知する近接センサを有し、画像の表示および入力を行うタッチパネルと、
前記タッチパネル面上をｘｙ平面とし前記タッチパネル面に対する垂直方向をｚ軸として、前記検出対象の位置である点Ａと前記タッチパネルの外部にあらかじめ決められた点Ｃとを直線Ｌで結び、前記直線Ｌと前記タッチパネル面との交点Ｂに対する仰角をφとし、前記ｘｙ平面座標上に垂直方向に投影される検出対象の投影点と前記交点Ｂとを直線Ｍで結び、前記直線Ｍと前記ｘｙ平面座標上のｘ軸とのなす偏角をθとし、前記タッチパネル面に対向する前記検出対象の垂直方向の距離をｚとすると、前記近接センサにより取得される前記検出対象のｘｙ座標を前記φ、前記θおよびｚ座標を変数とするあらかじめ定められた関数により補正する制御部と
を備えたことを特徴とする表示入力装置。
【請求項３】
前記制御部は、
前記タッチパネルに表示された一定範囲の表示領域における表示形態を変化させ、検出対象の補正されたｘｙ座標位置近傍に表示することを特徴とする請求項１記載の表示入力装置。
【請求項４】
前記制御部は、
前記タッチパネルに表示された一定範囲の表示領域における表示形態を変化させ、検出対象の補正されたｘｙ座標位置近傍に表示することを特徴とする請求項２記載の表示入力装置。
【請求項５】
前記制御部は、
前記タッチパネルに表示された一定範囲の表示領域における画像を拡大または縮小処理して、検出対象の補正されたｘｙ座標位置近傍に表示することを特徴とする請求項１記載の表示入力装置。
【請求項６】
前記制御部は、
前記タッチパネルに表示された一定範囲の表示領域における画像を拡大または縮小処理して、検出対象の補正されたｘｙ座標位置近傍に表示することを特徴とする請求項２記載の表示入力装置。
【請求項７】
前記制御部は、
前記ｘｙ平面座標上に垂直方向に投影される検出対象のｘｙ座標を（ｘ１，ｙ１）とし、補正された検出対象のｘｙ座標を（ｘ２，ｙ２）とするとき、前記補正された検出対象のｘｙ座標（ｘ２，ｙ２）を、ｘ２＝ｘ１−ｆ（ｚ）・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−ｇ（ｚ）・ｃｏｔφ・ｓｉｎθの演算式により算出することを特徴とする請求項１記載の表示入力装置。
【請求項８】
前記制御部は、
前記ｘｙ平面座標上に垂直方向に投影される検出対象のｘｙ座標を（ｘ１，ｙ１）とし、補正された検出対象のｘｙ座標を（ｘ２，ｙ２）とするとき、前記補正された検出対象のｘｙ座標（ｘ２，ｙ２）を、ｘ２＝ｘ１−ｆ（ｚ）・ｃｏｔφ・ｃｏｓθ、ｙ２＝ｙ１−ｇ（ｚ）・ｃｏｔφ・ｓｉｎθの演算式により算出することを特徴とする請求項２記載の表示入力装置。
【請求項９】
前記制御部は、
前記ｚ座標に応じて前記補正量を変化させることを特徴とする請求項１記載の表示入力装置。
【請求項１０】
前記制御部は、
前記ｚ座標に応じて前記補正量を変化させることを特徴とする請求項２記載の表示入力装置。
【請求項１１】
前記制御部は、
前記タッチパネルに対するユーザの目視位置を測定し、あらかじめ定められた点Ｃの位置を補正することを特徴とする請求項１記載の表示入力装置。
【請求項１２】
前記制御部は、
前記タッチパネルに対する前記タッチパネルの中心軸から見て左右いずれの方向から検出対象が近接したかを検出し、前記検出された方向により前記補正の方向または強度を可変とすることを特徴とする請求項１記載の表示入力装置。
【請求項１３】
前記制御部は、
前記タッチパネルに対するユーザの目視位置を測定し、あらかじめ定められた点Ｃの位置を補正することを特徴とする請求項２記載の表示入力装置。
【請求項１４】
前記制御部は、
前記タッチパネルに対する前記タッチパネルの中心軸から見て左右いずれの方向から検出対象が近接したかを検出し、前記検出された方向により前記補正の方向または強度を可変とすることを特徴とする請求項２記載の表示入力装置。
【請求項１５】
前記制御部は、
前記タッチパネルの中心軸から見た傾きを検出し、前記検出された傾きに応じて前記補正の目の推定方向・強度を可変とすることを特徴とする請求項１記載の表示入力装置。
【請求項１６】
前記制御部は、
前記タッチパネルの中心軸から見た傾きを検出し、前記検出された傾きに応じて前記補正の目の推定方向・強度を可変とすることを特徴とする請求項２記載の表示入力装置。
【請求項１７】
前記制御部は、
前記補正の目の推定方向または強度を、前記タッチパネルを介して入力されるユーザ設定により可変とすることを特徴とする請求項１記載の表示入力装置。
【請求項１８】
前記制御部は、
前記補正の目の推定方向または強度を、前記タッチパネルを介して入力されるユーザ設定により可変とすることを特徴とする請求項２記載の表示入力装置。
【請求項１９】
接近する検出対象の座標を非接触で検知する近接センサを有し、画像の表示および入力を行うタッチパネルと接続可能に構成され、
前記近接センサから前記検出対象の座標が入力され、前記タッチパネル面上をｘｙ平面とし前記タッチパネル面に対する垂直方向をｚ軸として、前記タッチパネル上に点Ｏ、前記タッチパネルの外部に点Ｃをあらかじめ定め、直線ＯＣの前記タッチパネル面に対する仰角をφ、前記ｘｙ平面座標上に前記直線ＯＣが垂直方向に投影される直線と前記ｘｙ平面座標上のｘ軸とのなす偏角をθとしたときに、前記近接センサにより取得される前記検出対象の前記ｘｙ座標を、前記仰角φ、前記偏角θおよびｚ座標を変数とするあらかじめ定められた関数に応じて補正する制御部を備えたことを特徴とする車載情報機器。
【請求項２０】
接近する検出対象の座標を非接触で検知する近接センサを有し、画像の表示および入力を行うタッチパネルと接続可能に構成され、
前記近接センサから前記検出対象の座標が入力され、前記タッチパネル面上をｘｙ平面とし前記タッチパネル面に対する垂直方向をｚ軸として、前記検出対象の位置である点Ａと前記タッチパネルの外部にあらかじめ決められた点Ｃとを直線Ｌで結び、前記直線Ｌと前記タッチパネル面との交点Ｂに対する仰角をφとし、前記ｘｙ平面座標上に垂直方向に投影される検出対象の投影点と前記交点Ｂとを直線Ｍで結び、前記直線Ｍと前記ｘｙ平面座標上のｘ軸とのなす偏角をθとし、前記タッチパネル面に対向する前記検出対象の垂直方向の距離をｚとすると、前記近接センサにより取得される前記検出対象のｘｙ座標を前記φ、前記θおよびｚ座標を変数とするあらかじめ定められた関数により補正する制御部を備えたことを特徴とする車載情報機器。
【請求項２１】
前記タッチパネルは、接触する検出対象の座標を検知するタッチセンサを有し、
前記制御部は、前記タッチセンサから入力された座標に基づいてナビゲーション処理を実行することを特徴とする請求項１９または請求項２０に記載の車載情報機器。
【国際調査報告】
2010113397.tif 000012
2010113397.tif 000013