(57)【要約】【課題】カメラからの画像を元にしてポインティングを行ない、文字入力時のカーソル移動を行なう携帯端末装置を提供することを課題とする。【解決手段】携帯端末装置１０は表示部１２と操作部１４が連結部１８で開閉可能に連結された構造となっている。連結部１８にはカメラ１６が設けられ、撮影して取りこんだ画像の特定箇所は座標基準として設定する。使用者がカメラ１６ごと携帯端末装置１０を上下左右に振ると、撮影画像も同時に動き、前記座標基準となった画像からズレが発生する。このズレを画像解析回路にて解析し、座標基準からの移動量としてＣＰＵに送る。ＣＰＵではメモリに記憶された基準値と前記移動量を比較し、カーソル移動量に換算する。得られたカーソル移動量はディスプレイ回路に送られ、ディスプレイ２６上でカーソルの移動として表示される。【選択図】　図１
2004120514.tif 000002
【特許請求の範囲】
【請求項１】
外部の映像を撮影して取り込むことのできる撮影手段と、
前記映像を表示する表示部と、
前記表示部に表示された映像内の特定の２箇所を座標基準として設定可能な設定手段と、
前記撮影手段で撮影され基準として設定された前記特定箇所の前記座標基準に対する移動量を検出する検出手段と、
前記表示部にソフトウェアキーボードを表示し表示されたキーをＸ方向成分とＹ方向成分に基づいて移動するカーソルで選択し決定することで入力が可能な入力画面に切替え可能な切替え手段と
前記移動量を前記入力画面上のＸ方向成分とＹ方向成分とに数値化する解析手段と、
を備えたことを特徴とする携帯端末装置。
【請求項２】
前記座標基準に対する前記特定箇所の移動に対応する前記カーソルの移動方向をＸ方向、Ｙ方向とも独立して切替え可能であることを特徴とする請求項１に記載の携帯端末装置。
【請求項３】
前記カーソルの移動量が映像内での前記特定箇所の移動速度に対応することを特徴とする請求項１に記載の携帯端末装置。
【請求項４】
カーソルリターンは装置本体に設けられたリターンキーで行なわれることを特徴とする請求項１に記載の携帯端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は携帯端末装置に関するものである。
【０００２】
【従来の技術】
携帯端末装置（ＰＤＡ）において、マウスカーソルを動かす信号を生成する方法として操作者の画像を取りこみ、視線の動きや瞬きでクリック、頷きや首振りなどでカーソル移動を行なうアイデアは従来から存在する。これらはマウスカーソルの動作に手指の動きを必要としないのでキー入力に集中できる利点がある。（例えば、特許文献１、２参照）
しかし同時に、マウスカーソルの操作に顔面の動きなどを必要とし、手の動きだけではマウスカーソルを操作できないので操作がどうしても遅くなる欠点がある。また、手指以外の場所でマウスカーソル操作を行なうので意図せず瞬きや首振りをした結果、誤操作となることもある。
【０００３】
文字入力にタッチパネルを使用した例もあるが、携帯端末装置では表示板が小さいため、五十音表などを使用すると表示が非常に細かくなり、押し間違いをしやすくなる。
【０００４】
【特許文献１】
特開平１１−３４５０７３号公報（第２〜３頁、第３図）
【特許文献２】
特開平７−２３２６３号公報（第２〜３頁、第６頁）
【０００５】
【発明が解決しようとする課題】
本発明は上記事実を考慮し、カメラからの画像を元にしてポインティングを行ない、文字入力時のカーソル移動を行なう携帯端末装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の携帯端末装置は、外部の映像を撮影して取り込むことのできる撮影手段と、前記映像を表示する表示部と、前記表示部に表示された映像内の特定の２箇所を座標基準として設定可能な設定手段と、前記撮影手段で撮影され基準として設定された前記特定箇所の前記座標基準に対する移動量を検出する検出手段と、前記表示部にソフトウェアキーボードを表示し表示された文字をＸ方向成分とＹ方向成分に基づいて移動するカーソルで選択し決定することで入力が可能な入力画面に切替え可能な切替え手段と前記移動量を前記入力画面上のＸ方向成分とＹ方向成分とに数値化する解析手段と、を備えたことを特徴とする。
【０００７】
上記構成の発明では、撮影した画像のうち特定の２箇所をそれぞれＸ方向の座標基準及びＹ方向の座標基準とした時に、撮影手段から随時取り込まれる画像の特定箇所のＸ方向およびＹ方向の移動量を表示部に表示されたソフトウェアキーボード上のＸ成分とＹ成分に換算し、このＸ成分とＹ成分に基づいてカーソルを動かし、決定する。
【０００８】
請求項２に記載の携帯端末装置は、座標基準に対する前記特定箇所の移動に対応する前記カーソルの移動方向をＸ方向、Ｙ方向とも独立して切替え可能であることを特徴とする。
【０００９】
上記構成の発明では、例えば携帯端末装置を上に向けるとカーソルが下に動く所謂リバース操作と、カーソルが上に動く所謂ノーマル操作とを使用者が使い分けることができる。左右方向に関しても同様である。
【００１０】
請求項３に記載の携帯端末装置は、カーソルの移動量が映像内での前記特定箇所の移動速度に対応することを特徴とする。
【００１１】
上記構成の発明では、携帯端末装置をゆっくり振った時にはカーソルが少し動き、素早く振った時にはカーソルが大きく動くため、操作が迅速に行なえる。
【００１２】
請求項４に記載の携帯端末装置は、カーソルリターンは装置本体に設けられたリターンキーで行なわれることを特徴とする。
【００１３】
上記構成の発明では、カーソルリターンを装置本体に設けられたリターンキーで行なうことができるため、決定するために再度装置を動かす必要がない。
【００１４】
【発明の実施の形態】
図１には、第１形態に係る携帯端末装置の斜視図が示されている。
【００１５】
図１に示すように、携帯端末装置１０は表示部１２と操作部１４が連結部１８で開閉可能に連結された構造となっている。
【００１６】
表示部１２の表示面２０にはディスプレイ２６が設けられ、電話帳やＷＥＢブラウザなどの他に文字入力のための五十音表を含む入力画面や、文字入力用のカーソル移動の基準箇所を決定する初期設定画面などを表示する。
【００１７】
連結部１８にはカメラ１６が設けられ、使用時には光軸がディスプレイ２６と直交する。カメラ１６で撮影し、取りこんだ画像の特定箇所は座標基準として設定することができる。
【００１８】
操作部１４の操作面２２には操作ボタン２４が設けられ、電話のダイヤル等の他に、文字入力時の決定、取り消しなどの操作を行なう。
【００１９】
図２には、第１形態に係る携帯端末装置のブロック図が示されている。
【００２０】
図２に示すように、カメラ１６でカーソル移動のための座標基準となる外部の映像を撮影し、画像処理回路３２で後述する白黒の二値化を行なう。基準値はメモリ３６上に記憶され、次いでカーソル移動のための画像解析が開始される。
【００２１】
カーソル移動のために使用者がカメラ１６ごと携帯端末装置１０を上下左右に振ると、撮影画像も同時に動き、前記座標基準となった画像からズレが発生する。このズレを画像解析回路３４にて解析し、座標基準からの移動量としてＣＰＵ３０に送る。ＣＰＵ３０ではメモリ３６に記憶された基準値と前記移動量を比較し、カーソル移動量に換算する。得られたカーソル移動量はディスプレイ回路３８に送られ、ディスプレイ２６上でカーソルの移動として表示される。
【００２２】
図３には、第１形態に係る携帯端末装置の動作説明図が示されている。
【００２３】
図３に示すように、カーソル移動のための座標基準を設定するためには、使用者はまずカメラ１６で何らかの画像を撮影する（ａ）。ここでは使用者自身を背景ごと撮影している（ｂ）。撮影された画像は表示部１６のディスプレイ２６に表示画面４０として表示される。表示画面４０を確認した使用者が操作ボタン２４で決定すれば、撮影された画像は初期値設定画像として記憶される。
【００２４】
次に撮影した画像を解析し、白黒の二値に分離する。各画素の明るさを求め、ある一定の値すなわち閾値を越えたものを白、閾値に達しないものを黒として区分する。屋外であれば空、室内であれば明るい窓などを背景として使用者自身を撮影し、二値化すれば撮影者のシルエットとなり、ディスプレイ２６に表示される（ｃ）。このシルエットの顔部分を、ポインティングの基準となるエリア４２とする。
【００２５】
ここで、表示画面に記されたｘおよびｙ座標の規準線２８ｘおよび２８ｙと、エリア４２の交点が１箇所づつ選択され、それぞれｘ１およびｙ１として記憶される。輪郭が明瞭でない、背景との明暗差が足りないなどの理由で明確なエリア４２が定義できない場合は、エラーメッセージがディスプレイ２６に表示され、（ａ）に戻る。
【００２６】
エリア４２が正しく定義され、２８ｘおよび２８ｙとの交点ｘ１およびｙ１が操作キーの操作により確定し、記憶されたのち文字入力モードとなる。
【００２７】
図４に示すようなソフトウェアキーボード４４が表示され、カーソル４６により選択された文字が画面上方に表示される。この実施例では１０行×７段の表示となる。
【００２８】
ここで図３（ｄ）のようにディスプレイ２６の表示画面４０上で左端からｘ１までをｄｘ、上端からｙ１までをｄｙとし、左右長をＨ、上下長をＶとすると、カーソル４６の初期位置はｘ＝１０ｄｘ／Ｈ（行目）、ｙ＝７ｄｙ／Ｖ（段目）となる。（端数切捨て、原点は画面左上）
ここからカーソル４６を上下左右に移動させるためには、図５のように携帯端末装置１０全体を上下左右に振る。これによって図６のようにカメラ１６で撮影されているエリア４２が上下左右に動き、ｄｘおよびｄｙが変化する。
【００２９】
このとき図３（ｃ）で記憶されたｘ１、ｙ１におけるｄｘ、ｄｙを基準として、携帯端末装置１０を振ったことによるｄｘ、ｄｙの変位量をソフトウェアキーボード４４上のカーソル４６の移動量に換算し、カーソル４６を移動させる。
【００３０】
たとえば図７のように「通信」と入力する場合はカーソル４６を「つ」に移動させ操作ボタン２４で決定、同様に「う」「し」「ん」と入力して操作ボタン２４で変換を選択すると図７のような変換候補一覧４８が表示される。
【００３１】
変換候補一覧４８の中から、携帯端末装置１０を上下に振ることによりカーソル５０を移動させて希望する候補を選択し、操作ボタン２４で決定する。以上の操作、すなわちボタン操作６回で「通信」と入力することができる。
【００３２】
ここでカーソル４６の移動量は本実施例のように１０行×７段の場合、縦Ｖドット、横Ｈドットとして、ｄｘがＨ／１０ドット移動すればカーソル４６が横に１マス移動するように設定してもよいが、ディスプレイ２６がＬＣＤ表示板の場合は、余り正面から外れた位置から角度を付けて見ると明暗が識別しにくくなるため、携帯端末装置１０の振れ量とカーソル４６の移動量に適宜係数を設定し、少しの振れ量でカーソル４６が移動するようにしてもよい。
【００３３】
しかし、カーソル４６をソフトウェアキーボード４４の端から端へ移動させたい場合など、ディスプレイ２６を目視しながら携帯端末装置１０を傾けるのは操作性が悪い。さらに、カーソル４６を１マスだけ移動させる際には移動量が敏感過ぎても操作性が悪い。そこで携帯端末装置１０をゆっくり振ったとき、カーソル４６は振れ量よりも少なく移動し、素早く振ったときはカーソル４６は大きく移動するようにすれば、カーソル４６を迅速かつ正確に移動できる。この場合、エリア４２の移動量とカーソル４６の移動量をカーソル移動後に補正する必要がある。
【００３４】
さらに本実施例では、図６のように携帯端末装置１０を上に向ければカーソル４６が下へ移動する、所謂リバース操作が基本となるが、使用者の好みで適宜変更できる機能を持たせ、携帯端末装置１０を上に向けるとカーソル４６も上に移動する、所謂ノーマル操作と切替えられるようにすれば更に使い易くなる。
【００３５】
さらに、本願のｘ、ｙ方向に加えて斜め方向の動きも検出できるようにすることで更に複雑な処理も可能となる。
【００３６】
すなわち、ｚ１（ｘ１、ｙ１）からｚ２（ｘ２、ｙ２）への移動量Δｚを
Δｚ＝ｚ１−ｚ２＝√（（ｘ１−ｘ２）＾２　＋　　（ｙ１−ｙ２）＾２）
として検出し、目や鼻などの座標をピンポイントで基準に設定することで、より高速にカーソルを制御できる。
【００３７】
なお、本実施例では操作ボタン２４で決定を行なっているが、ソフトウェアキーボード４４上のリターンキーにより決定を行なってもよい。この場合、リターンキー上にカーソル４６を１秒以上置けばリターンとなる等の設定を行なう。
【００３８】
また、カメラ１６による撮影映像ではなく、水準器や速度センサを本体に内蔵させ、携帯端末装置１０のｘｙ方向の傾きを検知することでカーソル４６を移動させてもよい。
【００３９】
【発明の効果】
本発明は上記構成としたので、カメラからの画像を元にしてポインティングを行ない、文字入力時のカーソル移動を行なう携帯端末装置を提供することができた。
【図面の簡単な説明】
【図１】本実施形態１に係る携帯端末装置の斜視図である。
【図２】本実施形態１に係る携帯端末装置のブロック図である。
【図３】本実施形態１に係る携帯端末装置の使用説明図である。
【図４】本実施形態１に係る携帯端末装置の文字入力画面である。
【図５】本実施形態１に係る携帯端末装置の使用説明図である。
【図６】本実施形態１に係る携帯端末装置の文字入力概念図である。
【図７】本実施形態１に係る携帯端末装置の漢字変換画面である。
【符号の説明】
１０　　携帯端末装置
１２　　表示部
１４　　操作部
１６　　カメラ
１８　　連結部
２０　　表示面
２２　　操作面
２４　　操作ボタン
２６　　ディスプレイ
３０　　ＣＰＵ
４０　　表示画面
４４　　五十音表
４６　　カーソル
４８　　変換候補一覧
【図１】
2004120514.tif 000003
【図２】
2004120514.tif 000004
【図３】
2004120514.tif 000005
【図４】
2004120514.tif 000006
【図５】
2004120514.tif 000007
【図６】
2004120514.tif 000008
【図７】
2004120514.tif 000009