(57)【特許請求の範囲】
【請求項１】
カメラ及び表示部を有する文字入力・機能操作装置において、
文字一覧画面を保存するメモリと、
前記メモリから文字一覧画面を取り出し前記表示部に表示する文字一覧表示部と、
前記カメラで取得した１つの指又は２つの指の画像を監視する指動作監視部と、
前記指動作監視部で監視された１つの指の画像に基づき文字入力を行う文字入力部と、
前記指動作監視部で監視された２つの指の画像に基づき機能操作を行う機能操作部とを備え、
前記文字入力部は、前記指動作監視部で監視された１つの指が前記表示部の画面に平行に移動する画像の場合には移動方向に文字一覧画面上のカーソルを移動し、１つの指が前記表示部の画面に接近する画像の場合には文字一覧画面上にカーソルが位置する文字を入力文字として確定し、前記機能操作部は、前記指動作監視部で監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容をスクロールし、２つの指が接触して前記表示部の画面に接近する画像の場合には前記表示部に表示された表示内容を縮小し、離反する画像の場合には前記表示内容を拡大することを特徴とする文字入力・機能操作装置。
【請求項２】
前記文字一覧画面はＱＷＥＲＴＹキーボードの画面であることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項３】
前記文字一覧画面はひらがな文字の画面であることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項４】
前記文字一覧画面はカタカナ文字の画面であることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項５】
前記表示部に表示される表示内容は画像、文書を含むことを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項６】
前記文字入力・機能操作装置がキーボードを有する場合、キーボードの任意のキーを押すと、前記カメラが起動し、前記文字入力・機能操作装置が動作を開始することを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項７】
前記文字入力・機能操作装置に指が近づいたことを検出する消費電力の小さいセンサーを設け、前記センサーが指の接近を検出した場合に前記カメラを起動し、前記文字入力・機能操作装置が動作を開始することを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項８】
前記カメラはレンズとして魚眼レンズを有することを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項９】
前記指動作監視部は、超音波センサー、赤外線センサーを含む入力デバイスで指の画像を取得することを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１０】
前記文字入力・機能操作装置では文字入力のモードに設定されている場合、前記文字一覧表示部は、１つの指が前記カメラの前に出され、前記指動作監視部が、前記カメラで１つの指の画像を取得した際に、前記メモリから文字一覧画面を取り出し前記表示部に表示することを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１１】
前記文字入力部は、前記指動作監視部で監視された１つの指が一定速度以上で動いた画像の場合、又は、一定時間以上静止した画像の場合には文字一覧画面上にカーソルが位置する文字を入力文字として確定することを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１２】
前記文字入力部は、前記指動作監視部で監視された１つの指が前記表示部の画面に平行に移動する画像の場合には１つの指の画像が動く速度に依存してカーソルの移動量を変化させ移動方向に文字一覧画面上のカーソルを移動することを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１３】
前記機能操作部は、前記指動作監視部で監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には接触した２つの指が動く速度に依存して前記表示部に表示される表示内容のスクロール量を変化させ移動方向に前記表示部に表示された表示内容をスクロールすることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１４】
前記機能操作部は、前記指動作監視部で監視された接触した２つの指が一定速度以上で動いた画像の場合前記表示部に表示された表示内容をメニュー画像にし、一定時間以上静止した画像の場合に前記表示内容をサムネイル画像にすることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１５】
前記文字入力部は、前記表示部に表示される文字一覧画面上のカーソルが位置する文字に対して、文字の枠全体にカーソルを表示し、又は、矢印、指の画像、アイコンを含む画像をカーソルとして表示することを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１６】
前記機能操作部は、前記指動作監視部で監視された１つの指が前記表示部の画面に接近してから平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容をスクロールし、スクロール後に離れる画像の場合にはスクロールを停止させることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１７】
前記機能操作部は、前記表示部に表示された表示内容のスクロールを開始した後に、接触した２つの指が離れた画像の場合、又は、１つの指がすばやく動いた画像の場合にはスクロール動作が継続し、その後、２つの指が再び接触した画像の場合、又は１つの指が前記表示部の画面に接近した画像の場合には、スクロールを停止させることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１８】
前記機能操作部は、前記表示部に表示された表示内容のスクロールを開始した後に、接触した２つの指が移動する画像から接触した２つの指の移動速度、接触した２つの指の画像から接触した２つの指と前記表示部の画面の間の距離、又は、１つの指の画像から１つの指と前記表示部の画面の間の距離に依存してスクロール速度の減少率を変化させることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項１９】
前記機能操作部は、接触した２つの指が上方向に移動する画像の場合表示内容のページが進む方向にめくれ、下方向に移動すると画像の場合ページが戻る方向にめくれることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項２０】
前記機能操作部は、接触した２つの指が斜め上方向に移動した画像の場合には前記表示部に表示される表示内容を横表示にし、接触した２つの指が斜め下方向に移動した画像の場合には前記表示内容を縦表示にすることを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項２１】
前記機能操作部は３つ以上の指の状態の観測に依存して文字入力した文書、既存の文書、画像を含む表示内容の画面操作を行うことを特徴とする、請求項１に記載の文字入力・機能操作装置。
【請求項２２】
カメラ及び表示部を有する携帯電話機の文字入力・機能操作方法において、
保存された文字一覧画面が取り出され前記表示部に表示される工程と、
前記カメラで１つの指又は２つの指の画像が取得される工程と、
前記カメラで取得した１つの指又は２つの指の画像が監視される工程と、
監視された１つの指が前記表示部の画面に平行に移動する画像の場合には移動方向に文字一覧画面上のカーソルが移動され、監視された１つの指が前記表示部の画面に接近する画像の場合には文字一覧画面上にカーソルが位置する文字が入力文字として確定される工程と、
監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容がスクロールされ、監視された２つの指が接触して前記表示部の画面に接近する画像の場合には前記表示部に表示された表示内容が縮小され、離反する画像の場合には前記表示内容が拡大される工程とを備えることを特徴とする文字入力・機能操作方法。
【請求項２３】
カメラ及び表示部を有する携帯電話機の文字入力・機能操作プログラムにおいて、
保存された文字一覧画面が取り出され前記表示部に表示される手順と、
前記カメラで１つの指又は２つの指の画像が取得される手順と、
前記カメラで取得した１つの指又は２つの指の画像が監視される手順と、
監視された１つの指が前記表示部の画面に平行に移動する画像の場合には移動方向に文字一覧画面上のカーソルが移動され、監視された１つの指が前記表示部の画面に接近する画像の場合には文字一覧画面上にカーソルが位置する文字が入力文字として確定される手順と、
監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容がスクロールされ、監視された２つの指が接触して前記表示部の画面に接近する画像の場合には前記表示部に表示された表示内容が縮小され、離反する画像の場合には前記表示内容が拡大される手順とを備えることを特徴とする文字入力・機能操作プログラム。
【請求項２４】
カメラ及び表示部を有する携帯電話機において、
文字一覧画面を保存するメモリと、
前記メモリから文字一覧画面を取り出し前記表示部に表示する文字一覧表示部と、
前記カメラで取得した１つの指又は２つの指の画像を監視する指動作監視部と、
前記指動作監視部により監視された１つの指が前記表示部の画面に平行に移動する画像の場合には移動方向に文字一覧画面上のカーソルを移動し、前記指動作監視部により監視された１つの指が前記表示部の画面に接近する画像の場合には文字一覧画面上にカーソルが位置する文字を入力文字として確定する文字入力部と、
前記指動作監視部により監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容をスクロールし、前記指動作監視部により監視された２つの指が接触して前記表示部の画面に接近する画像の場合には前記表示部に表示された表示内容を縮小し、離反する画像の場合には前記表示内容を拡大する機能操作部とを備えることを特徴とする携帯電話機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は携帯端末装置の文字入力・機能操作装置に関する。特に、本発明は、文字入力、機能操作を容易にする文字入力・機能操作装置、方法、プログラム及び携帯端末装置に関する。
【背景技術】
【０００２】
本発明の前提となる携帯端末装置に文字をキー入力する場合、キーの数が少ないと、１つの文字を入力するのに複数回キー操作をする必要があり、さらに、画面の表示内容をスクロール・拡大・縮小させる機能操作を行う場合、個数の限られたキーで入力すると、何度もキーを押す必要があり、表示内容を直感的に操作できない問題があった。
また、ＱＷＥＲＴＹキーボードのような多くのキーを装備する場合、多くの携帯端末装置では、キーの個数が限られたキーボート、キーのサイズが小さいＱＷＥＲＴＹキーボード、タッチパネルなどにより、文字入力、機能操作を行っており、ＱＷＥＲＴＹキーボードでは、指の大きさに比べて各キーの間隔が小さく、押しにくく、キーのサイズが小さいと操作性が損なわれるという問題があった。
【０００３】
一方、携帯端末装置のサイズを大きくすると、携帯性、デザインの自由度が損なわれるという問題がある。
また、表示内容を操作する際に、キーによる入力ではパーソナルコンピュータ用のマウス等に比較して、直感的にすばやく操作することが困難であった。
さらに、タッチパネルによる入力では、ペンを使用する場合にはペンを取り出す手間がかかるだけでなく、ペンを紛失する可能性がある。また、タッチパネルに直接指を触れると、汚れが付着して画面が見えにくくなり、見た目も悪くなるという問題があった。
【０００４】
このように、本発明の前提となる携帯端末装置に対する問題点に関連して以下のような従来技術がある。
従来、移動体電話機のような多くの入力を要する電話機において入力操作を楽にするため、電話機への文字入力、入力の方式を改善するため、文字入力に用いるボタンに複数の文字が割り当てられていて、そのボタンを押してから離すまでの時間に応じて、どの文字の入力かを決め、ユーザが電話機を動かす動作を検知する動作検知装置を備え、その動作の内容に応じて画面をスクロールさせ、ユーザの指の動作を非接触で検知する指動作検知手段を備え、その動作の内容に応じて、操作が指示されるものがある（例えば、特許文献１参照）。
【０００５】
しかしながら、上記特許文献１では、文字入力に用いるボタンに複数の文字が割り当てられているので、前述のように、何度もキーを押す必要があり、表示内容を直感的に操作できないという問題がある。
また、従来、省スペースで簡易な文字入力法と情報選択法を提供する情報端末装置を提供するため、手で持ち自由に動かせる情報端末機器のカメラで操作者の頭部を捕らえ、デジタル画像処理でもとめたカメラ画面内での頭部の位置から、情報端末の動きを操作者と相対的に検出し、その数値化データーで端末に表示した仮想キーボードのキーあるいは情報群を仮選択し、情報端末機器に具備した一つのキー、あるいはディスプレイ上の一つの仮想キーを打つことにより確定することで、１キーでの文字入力と情報選択を可能にしたものもある（例えば、特許文献２参照）。
【０００６】
しかしながら、上記特許文献２では、カメラ画面内での頭部の位置から、情報端末の動きを操作者と相対的に検出し、端末に表示した仮想キーボードのキーを選択しているが、情報端末を持っている手を動かしたり、頭部を動かしたりしてキーの選択をするので、長い時間の操作に対して手、頭が疲れるという問題がある。
また、従来、操作者微小部分を基準に簡易な文字入力と情報選択法を提供する情報端末装置を提供するため、手で持ち自由に動かせる情報端末機器のカメラで操作者の一部を捕らえ、撮像した濃淡パターンの移動具合でデジタルシグナルプロセッサーが数値化した操作者の動きから、情報端末の動きを操作者と相対的に検出し、その数値化データーで端末に表示した仮想キーボードのキーあるいは情報選択キーを仮選択し、情報端末機器に具備した一つのキー、あるいはディスプレイ上の一つの仮想キーを打つことにより確定することで、１キーでの文字入力と情報選択を可能にしたものもある（例えば、特許文献３参照）。
【０００７】
しかしながら、上記特許文献３では、カメラで操作者の一部を捕らえ、情報端末の動きを操作者と相対的に検出し、端末に表示した仮想キーボードのキーあるいは情報選択キーを選択しているが、情報端末を持っている手を動かしたり、操作者の一部（顔、服装）を動かしたりしてキーの選択をするので、長い時間の操作に対して手、頭が疲れるという問題がある。
【０００８】
また、従来、手書き入力パネルなどの平面的な実体のない状況でも、手軽に、しかも操作性が良く、文字や図形を入力できることを目的とし、この発明の空間手書き文字図形入力装置は、指先に装着される磁気センサの移動に伴う空間位置に対応する空間座標を順次検出し、この順次検出される空間座標により、上記磁気センサの移動速度と加速度とを測定し、この測定された移動速度と加速度とにより、上記磁気センサにより描かれるトレース像を抽出し、この抽出されたトレース像を記憶するようにしたものもある（例えば、特許文献４参照）。
【０００９】
しかしながら、上記特許文献４では、指先に装着される磁気センサの移動に伴う空間位置に対応する空間座標を順次検出し空間手書き文字図形入力を行うが、磁気センサを必須要件にするという問題がある。
また、従来、操作者の手の動きを、入力すべき文字の軌跡として直接入力することができ、しかも、入力文字の確認、訂正や変換等、入力された文字情報に対する処理を容易に行うことができる文字入力装置を提供するため、操作者がその手指で文字を空中に書いたときの軌跡をＣＣＤカメラで取り込み、その取り込まれ軌跡を、画像処理装置によって文字として認識し、その取り込まれた軌跡及び認識された文字等を表示装置に表示し、操作者による文字入力は、表示装置上に表示された軌跡を確認しながら行えるので、容易かつ確実に入力可能であるものもある（例えば、特許文献５参照）。
【００１０】
しかしながら、上記特許文献５では、操作者による文字入力を容易かつ確実に可能とするものであるが、操作者がその手指で文字を空中に書いたときの軌跡をＣＣＤカメラで取り込み、その取り込まれ軌跡を、画像処理装置によって文字として認識することを必須要件にするという問題がある。
また、従来、複雑な操作をすることなく、簡易な方法で、操作者の手の動きを、入力すべき文字の軌跡として直接入力することができ、入力文字の確認、訂正や変換等、入力された文字情報に対する処理を容易に行うことができる文字入力方法、及び、その文字入力方法を実施する文字入力装置を提供するため、操作者が文字に倣ってその手指を空中で動かしたときの位置情報をＣＣＤカメラで取り込みながら、画像処理装置によって、その手指が移動状態であるか停止状態であるかを検知し、停止状態が検知される毎に、その手指の描く軌跡が有効であるか無効であるかを交互に切換え、有効とされた軌跡のみを、入力すべき文字の形に倣った軌跡の一部として、ＲＡＭに取り込むものもある（例えば、特許文献６参照）。
【００１１】
しかしながら、上記特許文献６では、入力された文字情報に対する処理を容易に行うことができる文字入力方法として操作者の手の動きを、入力すべき文字の軌跡として直接入力することを必須要件にするという問題がある。
【００１２】
【特許文献１】国際公開Ｗ２００３−０２４０６４号公報
【特許文献２】特開２００４−３１８７９３号公報
【特許文献３】特開２００５−０９２８３９号公報
【特許文献４】特開平０６−０２８０９６号公報
【特許文献５】特開平１０−０９７３６１号公報
【特許文献６】特開平１０−１５４０３６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
したがって、本発明は上記問題点に鑑みて、文字入力、機能操作を容易にする文字入力・機能操作装置、方法、プログラム及び携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は前記問題点を解決するために、カメラ及び表示部を有する文字入力・機能操作装置において、文字一覧画面を保存するメモリと、前記メモリから文字一覧画面を取り出し前記表示部に表示する文字一覧表示部と、前記カメラで取得した１つの指又は２つの指の画像を監視する指動作監視部と、前記指動作監視部で監視された１つの指の画像に基づき文字入力を行う文字入力部と、前記指動作監視部で監視された２つの指の画像に基づき機能操作を行う機能操作部とを備え、前記文字入力部は、前記指動作監視部で監視された１つの指が前記表示部の画面に平行に移動する画像の場合には移動方向に文字一覧画面上のカーソルを移動し、１つの指が前記表示部の画面に接近する画像の場合には文字一覧画面上にカーソルが位置する文字を入力文字として確定し、前記機能操作部は、前記指動作監視部で監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容をスクロールし、２つの指が接触して前記表示部の画面に接近する画像の場合には前記表示部に表示された表示内容を縮小し、離反する画像の場合には前記表示内容を拡大することを特徴とする文字入力・機能操作装置を提供する。
【００１５】
さらに、前記文字一覧画面はＱＷＥＲＴＹキーボードの画面である。
さらに、前記文字一覧画面はひらがな文字の画面である。
さらに、前記文字一覧画面はカタカナ文字の画面である。
【００１７】
さらに、前記表示部に表示される表示内容は画像、文書を含む。
さらに、前記文字入力・機能操作装置がキーボードを有する場合、キーボードの任意のキーを押すと、前記カメラが起動し、前記文字入力・機能操作装置が動作を開始する。
さらに、前記文字入力・機能操作装置に指が近づいたことを検出する消費電力の小さいセンサーを設け、前記センサーが指の接近を検出した場合に前記カメラを起動し、前記文字入力・機能操作装置が動作を開始する。
【００１８】
さらに、前記カメラはレンズとして魚眼レンズを有する。
さらに、前記指動作監視部は、超音波センサー、赤外線センサーを含む入力デバイスで指の画像を取得する。
さらに、前記文字入力・機能操作装置では文字入力のモードに設定されている場合、前記文字一覧表示部は、１つの指が前記カメラの前に出され、前記指動作監視部が、前記カメラで１つの指の画像を取得した際に、前記メモリから文字一覧画面を取り出し前記表示部に表示する。
【００１９】
さらに、前記文字入力部は、前記指動作監視部で監視された１つの指が一定速度以上で動いた画像の場合、又は、一定時間以上静止した画像の場合には文字一覧画面上にカーソルが位置する文字を入力文字として確定する。
さらに、前記文字入力部は、前記指動作監視部で監視された１つの指が前記表示部の画面に平行に移動する画像の場合には１つの指の画像が動く速度に依存してカーソルの移動量を変化させ移動方向に文字一覧画面上のカーソルを移動する。
【００２０】
さらに、前記機能操作部は、前記指動作監視部で監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には接触した２つの指が動く速度に依存して前記表示部に表示される表示内容のスクロール量を変化させ移動方向に前記表示部に表示された表示内容をスクロールする。
さらに、前記機能操作部は、前記指動作監視部で監視された接触した２つの指が一定速度以上で動いた画像の場合前記表示部に表示された表示内容をメニュー画像にし、一定時間以上静止した画像の場合に前記表示内容をサムネイル画像にする。
【００２１】
さらに、前記文字入力部は、前記表示部に表示される文字一覧画面上のカーソルが位置する文字に対して、文字の枠全体にカーソルを表示し、又は、矢印、指の画像、アイコンを含む画像をカーソルとして表示する。
さらに、前記機能操作部は、前記指動作監視部で監視された１つの指が前記表示部の画面に接近してから平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容をスクロールし、スクロール後に離れる画像の場合にはスクロールを停止させる。
【００２２】
さらに、前記機能操作部は、前記表示部に表示された表示内容のスクロールを開始した後に、接触した２つの指が離れた画像の場合、又は、１つの指がすばやく動いた画像の場合にはスクロール動作が継続し、その後、２つの指が再び接触した画像の場合、又は１つの指が前記表示部の画面に接近した画像の場合には、スクロールを停止させる。
さらに、前記機能操作部は、前記表示部に表示された表示内容のスクロールを開始した後に、接触した２つの指が移動する画像から接触した２つの指の移動速度、接触した２つの指の画像から接触した２つの指と前記表示部の画面の間の距離、又は、１つの指と前記表示部の画像から１つの指の画面の間の距離に依存してスクロール速度の減少率を変化させる。
【００２３】
さらに、前記機能操作部は、接触した２つの指が上方向に移動する画像の場合表示内容のページが進む方向にめくれ、下方向に移動する画像の場合ページが戻る方向にめくれる。
さらに、前記機能操作部は、接触した２つの指が斜め上方向に移動した画像の場合には前記表示部に表示される表示内容を横表示にし、接触した２つの指が斜め下方向に移動した画像の場合には前記表示内容を縦表示にする。
【００２４】
さらに、前記機能操作部は３つ以上の指の状態の観測に依存して文字入力した文書、既存の文書、画像を含む表示内容の画面操作を行う。
さらに、本発明は、カメラ及び表示部を有する携帯電話機の文字入力・機能操作方法において、保存された文字一覧画面が取り出され前記表示部に表示される工程と、前記カメラで１つの指又は２つの指の画像が取得される工程と、前記カメラで取得した１つの指又は２つの指の画像が監視される工程と、監視された１つの指が前記表示部の画面に平行に移動する画像の場合には移動方向に文字一覧画面上のカーソルが移動され、監視された１つの指が前記表示部の画面に接近する画像の場合には文字一覧画面上にカーソルが位置する文字が入力文字として確定される工程と、監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容がスクロールされ、監視された２つの指が接触して前記表示部の画面に接近する画像の場合には前記表示部に表示された表示内容が縮小され、離反する画像の場合には前記表示内容が拡大される工程とを備えることを特徴とする文字入力・機能操作方法を提供する。
【００２５】
さらに、本発明は、カメラ及び表示部を有する携帯電話機の文字入力・機能操作プログラムにおいて、保存された文字一覧画面が取り出され前記表示部に表示される手順と、前記カメラで１つの指又は２つの指の画像が取得される手順と、前記カメラで取得した１つの指又は２つの指の画像が監視される手順と、監視された１つの指が前記表示部の画面に平行に移動する画像の場合には移動方向に文字一覧画面上のカーソルが移動され、監視された１つの指が前記表示部の画面に接近する画像の場合には文字一覧画面上にカーソルが位置する文字が入力文字として確定される手順と、監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容がスクロールされ、監視された２つの指が接触して前記表示部の画面に接近する画像の場合には前記表示部に表示された表示内容が縮小され、離反する画像の場合には前記表示内容が拡大される手順とを備えることを特徴とする文字入力・機能操作プログラムを提供する。
【００２６】
さらに、本発明は、カメラ及び表示部を有する携帯電話機において、文字一覧画面を保存するメモリと、前記メモリから文字一覧画面を取り出し前記表示部に表示する文字一覧表示部と、前記カメラで取得した１つの指又は２つの指の画像を監視する指動作監視部と、前記指動作監視部により監視された１つの指が前記表示部の画面に平行に移動する画像の場合には移動方向に文字一覧画面上のカーソルを移動し、前記指動作監視部により監視された１つの指が前記表示部の画面に接近する画像の場合には文字一覧画面上にカーソルが位置する文字を入力文字として確定する文字入力部と、前記指動作監視部により監視された２つの指が接触して前記表示部の画面に平行に移動する画像の場合には移動方向に前記表示部に表示された表示内容をスクロールし、前記指動作監視部により監視された２つの指が接触して前記表示部の画面に接近する画像の場合には前記表示部に表示された表示内容を縮小し、離反する画像の場合には前記表示内容を拡大する機能操作部とを備えることを特徴とする携帯電話機を提供する。
【発明の効果】
【００２７】
以上説明したように、本発明によれば、保存された文字一覧画面を取り出し表示部に表示し、カメラで１つの指又は２つの指の画像を取得し、カメラで取得した１つの指又は２つの指の画像を監視し、監視された１つの指が表示部の画面に平行に移動する画像の場合には移動方向に文字一覧画面上のカーソルを移動し、監視された１つの指が表示部の画面に接近する画像の場合には文字一覧画面上にカーソルが位置する文字を入力文字として確定し、監視された２つの指が接触して表示部の画面に平行に移動する画像の場合には移動方向に表示部に表示された表示内容をスクロールし、監視された２つの指が接触して表示部の画面に接近する画像の場合には表示部に表示された表示内容を縮小し、離反する画像の場合には表示内容を拡大するようにしたので、利用者は１文字入力するのに何度もキーを押す必要がなく、画面上に表示された文字の一覧から、直感的にカーソルを動かし、文字を選択することができる。
【００２８】
また、文字を書いて認識させるのではなく、カーソルを移動させて文字を選択する方式であるため、少ない指の操作で入力できるだけでなく、誤認識する可能性が少ない。
また、仮想的なキーボードの範囲を画面サイズに比べて大きく設定することにより、タッチパネルに表示されたソフトウエアキーボードから入力するよりも、隣のキーを誤って押す頻度を少なくすることができる。
【００２９】
さらに、画像、文書等の表示内容の操作では、キーを何度も押して操作するのに比べて、直感的にすばやく操作できるので、携帯端末装置の限られた画面サイズの中で、より効率的に表示内容を閲覧することができる。
さらに、画面に直接指を触れないので、画面を汚し、傷つけたりする恐れがない。
また、従来のキーボードを押したときの応力、タッチパネルを指でなぞるときの摩擦抵抗がないため、指に負担をかけることなく円滑な操作が可能である。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明に係る携帯端末装置の外観を示す斜視図である。本図に示すように、携帯端末装置１０１はキーボード１１６、表示部１１８及びカメラ１２０を有する。
キーボード１１６は情報の入力、携帯端末装置１０１の操作を行う機能を有する。
表示部１１８は白黒若しくはカラーの液晶パネル又は有機ＥＬ（電子蛍光）からなる。
【００３１】
カメラ１２０はＣＣＤ（電荷結合素子）等のセンサーであり、画像の取得を行う機能を有し、本図（ａ）、（ｂ）に示すように、ユーザの指を撮像し、後述するように、指の撮像結果に基づき、１つの指又は２つの指を認識し、表示部１１８の画面に対して指の平行な移動、接近、離反を判断するのに使用される。
図２は図１における携帯端末装置１０１の回路構成の要部を表した図である。本図に示すように、携帯端末装置１０１の回路１０１Ａにはキー入力部１１５が設けられ、キー入力部１１５はキーボード１１６からの入力を受け付ける入力回路である。
【００３２】
さらに、回路１０１Ａには表示制御部１１７が設けられ、表示制御部１１７は表示部１１８の制御回路である。
さらに、回路１０１Ａにはカメラ制御部１１９が設けられ、カメラ制御部１１９はカメラ１２０の制御回路である。
さらに、回路１０１Ａには制御部１１１が搭載され、制御部１１１はＣＰＵ（中央処理装置）からなり、バス１１２を介して、回路１０１Ａ内の各部と接続され、各部の制御を行い、後述するように、文字入力・機能操作制御部１１１Ａが設けられる。
【００３３】
さらに、回路１０１ＡにはＲＯＭ（リード・オンリ・メモリ）１１３が設けられ、ＲＯＭ１１３は、制御部１１１が実行するための各種の制御用プログラム、固定的なデータを格納し、後述するように、文字一覧画面保存部１１３Ａを有する。
さらに、回路１０１ＡにはＲＡＭ（ランダム・アクセス・メモリ）１１４が設けられ、ＲＡＭ１１４は作業用メモリであり、ＣＰＵがプログラムを実行する上で一時的に必要とされるデータを格納する。
【００３４】
図３は図２におけるＲＯＭ１１３の文字一覧画面保存部１１３Ａに保存される文字の一覧例を示す図である。本図に示すように、文字一覧画面保存部１１３Ａに保存される文字一覧画面１１８Ａは、ＱＷＥＲＴＹキーボードの画面、すなわち、アルファベット、数字等の画面である。文字一覧画面１１８Ａを構成する文字、記号の表示に対して後述するように入力の操作が行われる。なお、入力した文字に対しては、文字一覧画面１１８Ａの「変換」、「確定」、「スペース」、「バックスペース」、「削除」キーにより文書の作成が行われる。
【００３５】
図４は図２におけるＲＯＭ１１３の文字一覧画面保存部１１３Ａに保存される文字の別の一覧例を示す図である。本図に示すように、文字一覧画面保存部１１３Ａに保存される文字一覧画面１１８Ｂは５０音のひらがな文字等の画面であり、カタカナ文字等の画面（図示しない）も含む。文字一覧画面１１８Ｂを構成する文字、記号の表示に対して後述するように入力の操作が行われる。なお、入力した文字に対しては、文字一覧画面１１８Ｂの「変換」、「確定」、「スペース」、「バックスペース」、「削除」キーにより文書の作成が行われる。
【００３６】
図５は図３又は図４で文字一覧画面保存部１１３Ａに保存される文字の一覧が表示部１１８に表示される配置を説明する図である。本図に示すように、表示部１１８には、例えば、画面の下部に文字一覧画面１１８Ａ又は１１８Ｂが表示され、画面の上部には入力した文字が表示される。
図６は図２における制御部１１１の文字入力・機能操作制御部１１１Ａの概略構成を示すブロック図である。
【００３７】
本図に示すように、文字入力・機能操作制御部１１１Ａは、文字一覧表示部２０１、指動作監視部２０２、文字入力部２０３及び機能操作部２０４からなる。
文字一覧表示部２０１は、携帯端末装置１０１に文字を入力する場合にＲＯＭ１１３から図３又は図４に示す文字一覧画面１１８Ａ又は１１８Ｂを取り出し、表示部１１８に表示する。
【００３８】
指動作監視部２０２は携帯端末装置１０１の表示部１１８に文字一覧画面１１８Ａ又は１１８Ｂが表示された画面に利用者が１つの指又は２つの指を近づけると、カメラ１２０により取得した１つの指又は接触した２つの指の画像を解析し認識し、１つの指又は接触した２つの指が画面に平行に移動し、画面に接近又は離反する動作を監視する。
例えば、指動作監視部２０２には１つの指又は２つの指の代表的な画像が保存されており、保存されている１つの指又は２つの指の画像と比較してカメラ１２０により取得された画像を認識する。
２つの指の画像で接触している状態と接触していない状態についても代表的な画像を保存しておき、保存された画像と比較してカメラ１２０により取得された画像を認識する。
さらに、指動作監視部２０２では、カメラ１２０により取得された１つの指又は２つの指の画像について、前回と今回の画像を連続して比較して左右に移動する動作に基づき、画面に平行に移動する移動方向を監視する。
さらに、指動作監視部２０２では、カメラ１２０により取得された１つの指又は２つの指の画像について前回と今回の画像を連続的に比較して画像が大となり、小となる状態に基づき、接近、離反をそれぞれ監視する。
文字入力部２０３は、指動作監視部２０２の監視に基づき、携帯端末装置１０１に表示部１１８に文字一覧画面１１８Ａ又は１１８Ｂが表示される画面に平行な方向に１つの指が動いた場合は文字一覧画面１１８Ａ又は１１８Ｂに表示された文字の一覧上にあるカーソルを１つの指の移動方向にスクロールし、画面に接近する方向に１つの指が動いた場合にはカーソルが位置する文字を入力文字として確定する。
【００３９】
機能操作部２０４は携帯端末装置１０１に表示部１１８に表示されている表示内容に対して指動作監視部２０２の監視に基づき、接触した２つの指が画面に平行に動いた場合には移動方向に表示内容をスクロールし、接触した２つの指が画面に接近する方向に動いた場合には表示内容を縮小しより広い範囲の内容を表示し、２つの指が画面に離反する方向に動いた場合には表示内容を拡大し詳細な内容を大きく表示する。
【００４０】
図７は図１における制御部１１１の文字入力・機能操作制御部１１１Ａの一連の動作例を説明するフローチャートである。本図に示すように、ステップＳ３０１において、文字入力・機能操作制御部１１１Ａの文字一覧表示部２０１は、表示部１１８に文字一覧画面１１８Ａ又は１１８Ｂを表示する。
ステップＳ３０２において、指動作監視部２０２はカメラ１２０の画像により利用者の指の動作を監視する。
【００４１】
ステップＳ３０３において、指動作監視部２０２は利用者の１つの指の存在を確認する。確認できない場合にはステップＳ３０９に進む。
ステップＳ３０４において、１つの指の存在を確認できた場合、文字入力部２０３は指の動きを確認する。確認できない場合にはステップＳ３０２に戻り、以上の処理を繰り返す。
【００４２】
ステップＳ３０５において、文字入力部２０３は指が動いた場合には１つの指の移動方向が表示部１１８の画面と平行か否かを判断する。平行でない場合にはステップＳ３０７に進む。
ステップＳ３０６において、文字入力部２０３は、平行である場合には、移動方向にカーソルを移動し、処理を終了する。
【００４３】
ステップＳ３０７において、文字入力部２０３は指の移動方向が表示部１１８の画面に接近しているか否かを判断する。接近していない場合には処理を終了する。
ステップＳ３０８において、文字入力部２０３は接近している場合にはカーソル位置の文字を入力文字と確定し、処理を終了する。
このような処理を行うことにより、文字を入力することが可能になり、入力した文字に対してスペースを空けたり、入力文字を削除し文字入力をやり直し、入力文字の変換が可能になる。
【００４４】
ステップＳ３０９において、指動作監視部２０２は利用者の２つの指の存在を確認する。確認できない場合には処理を終了する。
ステップＳ３１０において、指動作監視部２０２は２つの指の位置関係を認識し、２つの指が接触しているか否かを判断する。接触していない場合にはステップＳ３０９に戻り、上記処理を繰り返す。
【００４５】
ステップＳ３１１において、２つの指が接触している場合には機能操作部２０４は２つの指の移動方向は表示部１１８の画面と平行か否かを判断する。平行でない場合にはステップＳ３１３に進む。
ステップＳ３１２において、機能操作部２０４は２つの指の移動方向に表示部１１８の表示内容をスクロールし、処理を終了する。
【００４６】
ステップＳ３１３において、機能操作部２０４は２つの指の移動方向が表示部１１８の画面に接近しているか又は離反しているかを判断する。離反している場合にはステップＳ３１５に進む。
ステップＳ３１４において、機能操作部２０４は２つの指の移動方向が画面に接近している場合には表示部１１８に表示されている画面の表示内容を縮小表示し、処理を終了する。
【００４７】
ステップＳ３１５において、機能操作部２０４は２つの指の移動方向が画面に離反している場合には表示部１１８に表示されている画面の表示内容を拡大表示し、処理を終了する。
したがって、本発明によれば、利用者は１文字入力するのに何度もキーを押す必要がなく、画面上に表示された文字の一覧から、直感的にカーソルを動かし、文字を選択することができる。また、文字を書いて認識させるのではなく、カーソルを移動させて文字を選択する方式であるため、少ない指の操作で入力できるだけでなく、誤認識する可能性が少ない。また、仮想的なキーボードの範囲を画面サイズに比べて大きく設定することにより、タッチパネルに表示されたソフトウエアキーボードから入力するよりも、隣のキーを誤って押す頻度を少なくすることができる。
【００４８】
さらに、画像、文書等の表示内容の操作では、キーを何度も押して操作するのに比べて、直感的にすばやく操作できるので、携帯端末装置の限られた画面サイズの中で、より効率的に表示内容を閲覧することができる。
さらに、画面に直接指を触れないので、画面を汚し、傷つけたりする恐れがない。また、従来のキーボードを押したときの応力、タッチパネルを指でなぞるときの摩擦抵抗がないため、指に負担をかけることなく円滑な操作が可能である。
【実施例１】
【００４９】
なお、消費電力の抑制のため、携帯端末装置のキーボードを押すとカメラを起動し、入力操作を開始するようにしてもよい。また、消費電力が小さいセンサーとして超音波センサー、赤外線センサーを含むセンサーにより指が近づいたことを検出すると、カメラを起動するようにしてもよい。
【実施例２】
【００５０】
さらに、本発明では、指の画像をカメラで取得したが、超音波センサー、赤外線センサー、その他の入力デバイスよって指の動作を認識することもあり得る。また、カメラのレンズとして魚眼レンズを装備し、より広範囲の指の動きを観測できるようにしてもよい。
【実施例３】
【００５１】
携帯端末装置が文字入力のモード時に、指を携帯端末装置の前に出すと、文字一覧を画面に表示するようにしてもよい。
【実施例４】
【００５２】
本発明では、文字一覧上でカーソルが指定している文字を確定するのに、指を携帯端末装置に接近させたときに確定するようにしたが、ある一定速度以上で指を動かしたとき、または、一定時間以上指を静止したときに、確定するようにしてもよい。また、指を動かす速度によって、カーソルの移動量を変化させてもよい。さらに、文字入力だけでなく、メニュー、サムネイル画像の選択に、本発明による入力方法を適用することもあり得る。
【実施例５】
【００５３】
選択されている文字を表すのに、１つの文字の枠全体にカーソルを表示すること、文字を強調表示すること等が考えられる。また、画面内のどの位置が指定されているかを示すために、矢印、指の画像、その他アイコンの画像をカーソルとして表示する場合もある。
【実施例６】
【００５４】
画像、文書等の表示内容を操作するのに、１つの指を携帯端末装置に接近させてから画面に平行な方向に動かすと、表示内容がスクロールし、離れる場合にはスクロールを停止させるようにしてもよい。
【実施例７】
【００５５】
本発明の操作により表示内容のスクロールを開始後、２つの指を離したり、スクロール中の方向に１つの指をすばやく動かしたりすると、スクロール動作が継続するようにしてもよい。その後、２つの指を再び接触させる操作をしたり、指を携帯端末装置に近づける操作をしたりすると、スクロールが停止するようにしてもよい。その際、その操作の速さや、指と携帯端末装置との間の距離によって、スクロール速度の減少率が変わるようにすることもあり得る。
【実施例８】
【００５６】
さらに、接触した２つの指の画像が上方向に移動すると表示内容のページが進む方向にめくれ、下方向に移動するとページが戻る方向にめくれるようにしてもよい。
【実施例９】
【００５７】
さらに、２つの指を接触させた状態で斜め上方向移動させると画面が横表示に変換し、斜め下方向に移動させると縦表示に変換する。
【実施例１０】
【００５８】
また、文字入力、及び、画像、文書等の表示内容の操作において、２つの指だけでなく、３つ以上の指の状態を観測して画面操作を行ってもよい。
【実施例１１】
【００５９】
画面に立体空間を表示し、利用者が指を動かすことによって、その空間内でカーソルを操作させるようにすることもあり得る。また、２つの指でつまむ動作、手で掴む動作をすると、画面に表示された空間内の対象物を、カーソルが擬似的に掴むようにしてもよい。さらに、手の指を移動させると、空間内の対象物を動かすことができる。その後２つの指を離すか、手を開く動作をすると、画面内の対象物をカーソルから放すようにしてもよい。
【産業上の利用可能性】
【００６０】
以上、携帯端末装置について説明したが、これに限らず、携帯電話機、ＰＨＳ（簡易型携帯電話機）、ＰＤＡ（携帯端末装置）を含み、文字入力機能、ビューア、エディタ、ブラウザ等の画像、文書等を表示する機能を持つ装置にも本発明の利用が可能である。
【図面の簡単な説明】
【００６１】
【図１】本発明に係る携帯端末装置の外観を示す斜視図である。
【図２】図１における携帯端末装置１０１の回路構成の要部を表した図である。
【図３】図２におけるＲＯＭ１１３の文字一覧画面保存部１１３Ａに保存される文字の一覧例を示す図である。
【図４】図２におけるＲＯＭ１１３の文字一覧画面保存部１１３Ａに保存される文字の別の一覧例を示す図である。
【図５】図３又は図４で文字一覧画面保存部１１３Ａに保存される文字の一覧が表示部１１８に表示される配置を説明する図である。
【図６】図２における制御部１１１の文字入力・機能操作制御部１１１Ａの概略構成を示すブロック図である。
【図７】図１における制御部１１１の文字入力・機能操作制御部１１１Ａの一連の動作例を説明するフローチャートである。
【符号の説明】
【００６２】
１０１…携帯端末装置
１０１Ａ…回路
１１１…制御部
１１１Ａ…文字入力・機能操作制御部
１１２…バス
１１３…ＲＯＭ
１１４…ＲＡＭ
１１５…キー入力部
１１６…キーボード
１１７…表示制御部
１１８…表示部
１１８Ａ、１１８Ｂ…文字一覧画面
１１８Ｃ…文字入力画面
１１９…カメラ制御部
１２０…カメラ
２０１…文字一覧表示部
２０２…指動作監視部
２０３…文字入力部
２０４…機能操作部
【図１】
0005152639.tif 000002
【図２】
0005152639.tif 000003
【図３】
0005152639.tif 000004
【図４】
0005152639.tif 000005
【図５】
0005152639.tif 000006
【図６】
0005152639.tif 000007
【図７】
0005152639.tif 000008