(57)【要約】【課題】複雑かつ多数の動作パターンでキャラクタを表示制御する。【解決手段】携帯電話機の表示部１２に透明部材で形成されたタッチパッド２０を設ける。ユーザ入力動作判定部２４は、タッチパッド２０上のユーザの指の動きに対応するＸＹ座標データに基づいて、ユーザの指の移動方向及び移動距離を判定する。キャラクタ動作選択部２５は、キャラクタデータ保存部２７に記憶されたキャラクタの頭，腕等の各部位の現在の表示位置と、上記ユーザ入力動作判定部２４からの判定結果に基づいて、複数記憶されている制御パターンの中から、対応する制御パターンを選択する。キャラクタデータ処理部２６及びキャラクタ描画部１１は、この選択パターンに対応する動作を行うキャラクタを表示部１２に表示制御する。タッチパッド２０で複雑な入力を検出することができるため、複雑かつ多数の動作パターンでキャラクタを表示制御することができる。【選択図】　　　図９
2004102719.tif 000002
【特許請求の範囲】
【請求項１】
表示手段に表示される表示物を目視可能なように設けられ、ユーザの入力位置及び入力距離を検出する二次元入力手段と、
上記表示手段に表示されている表示物の現在の表示位置を記憶する表示位置記憶手段と、
上記表示位置記憶手段に記憶されている上記表示物の現在位置と、上記二次元入力手段により検出された入力位置及び入力距離に基づいて決定した表示手段上の表示位置に、該表示物を表示制御する制御手段と
を有する情報処理装置。
【請求項２】
上記二次元入力手段は、位置センサ、或いは位置センサ及び圧力センサが設けられ、上記表示手段に表示される表示物を目視可能なように、該表示手段の表面に設けられたタッチパッドであること
を特徴とする請求項１記載の情報処理装置。
【請求項３】
複数のセンサと、
上記各センサからの出力に基づいて、総合的に現在の状況を判断する現状判断手段と、
上記現状判断手段からの判断結果に基づいて、少なくとも表示手段に表示されている表示物を可変して表示制御する制御手段と
を有する情報処理装置。
【請求項４】
上記センサとして、時刻を計時するタイマ、光を感知する光センサ、音を感知する音センサ、ユーザの予定が記憶されたスケジュール帳から所定時間以内のスケジュールを検出するスケジュールセンサ、ユーザの通話履歴が記憶された通話履歴メモリから所定時間以内の通話履歴を検出する通話履歴センサ、位置センサ、或いは位置センサ及び圧力センサが設けられた二次元入力手段が設けられており、或いは該各センサのうち２つ以上のセンサが設けられていること
を特徴とする請求項３記載の情報処理装置。
【請求項５】
所定の音声を発声する音声発声手段と有し、
上記制御手段は、上記表示制御と共に、所定の音声を発声するように上記音声発声手段を制御すること
を特徴とする請求項１から請求項４のうち、いずれか一項記載の情報処理装置。
【請求項６】
振動機能を有し、
上記制御手段は、上記表示制御と共に、上記振動機能を駆動制御すること
を特徴とする請求項１から請求項５のうち、いずれか一項記載の情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば携帯電話機，ＰＨＳ電話機（ＰＨＳ：Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ），通信機能を有するＰＤＡ装置（ＰＤＡ：Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、或いは通信機能を備えたパーソナルコンピュータ装置等の端末装置に用いて好適な情報処理装置に関し、特にセンサに基づいて現状を判断して端末装置の動作制御を行う情報処理装置に関する。
【０００２】
【従来の技術】
今日において、携帯電話機やパーソナルコンピュータ装置等の端末装置の表示画面に所定のキャラクタを表示し、このキャラクタを、ユーザのキー操作に応じてインタラクション表示するアプリケーションプログラム（インタラクションプログラム）が知られている。
【０００３】
このインタラクションプログラムは、例えば携帯電話機に設けられているテンキーのうち「１」のキーが押圧操作されると、表示画面内のキャラクタが右手を上げるように該キャラクタの表示制御を行い、「２」のキーが押圧操作されると、表示画面内のキャラクタが右足を上げるように該キャラクタの表示制御を行う。
【０００４】
これにより、ユーザは、携帯電話機の待ち受け画面やパーソナルコンピュータ装置のデスクトップに表示されたキャラクタを、所望のキー操作を介してインタラクティブに（対話的に）操作することができる。
【０００５】
携帯電話機の待ち受け画面やデスクトップは、単にキャラクタ等の画像を表示するだけの場合が多いのであるが、このように表示されているキャラクタの操作を可能とすることで、面白味や楽しみのある待ち受け画像やデスクトップ画像を提供することができる。
【０００６】
【発明が解決しようとする課題】
しかし、従来のインタラクションプログラムは、「操作キー」に対して「キャラクタの動作」が割り付けられている。このため、携帯電話機やパーソナルコンピュータ装置等の端末装置に設ける操作キーの数には限りがあることから、キャラクタの動作パターンが少なくかつ単純化する問題があった。
【０００７】
また、上記操作キーの「押圧する」という操作は、実世界では「押す」という動作である。そして、この実世界の「押す」という動作に対してユーザは、該キャラクタが指で押されて後退りする動作等を感覚的に期待するものである。
【０００８】
しかし、端末装置に設けられている操作キーは、「押圧」という操作方法しか存在せず、この「押圧」という一つの操作に対してキャラクタが複数パターンの動作を行うようになっていたため、仮想世界のキャラクタのリアクションとして、実世界のアクションに対して懸け離れたリアクションが存在する問題があった。
【０００９】
また、従来のインタラクションプログラムは、ユーザのキー操作を待ってキャラクタを表示制御するものであったため、受動的な表示制御しか行うことができない問題があった。
【００１０】
本発明は、上述の課題に鑑みてなされたものであり、実世界のアクションに対応するリアクションとなるように、複雑かつ多数の動作パターンでキャラクタを表示制御することができ、さらにキャラクタ等を能動的に動作させることができるような情報処理装置の提供を目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る情報処理装置は、少なくともユーザの入力位置及び入力距離を検出する二次元入力手段を設けることで、ユーザからの複雑な入力操作を検出可能とする。そして、この複雑な入力にそれぞれ対応する多数の動作パターンでキャラクタを表示制御する。
【００１２】
また、本発明に係る情報処理装置は、複数のセンサからの出力に基づいて、総合的に現在の状況を判断し、この判断結果に基づいて、少なくとも表示手段に表示されている表示物を可変して表示制御することで、該表示物を能動的に動作させる。
【００１３】
【発明の実施の形態】
以下、第１の実施の形態として、キャラクタ等を能動的に動作させる端末装置の一例を、第２の実施の形態として実世界のアクションに対応するリアクションとなるように、複雑かつ多数の動作パターンでキャラクタを表示制御する端末装置の一例を説明する。
【００１４】
〔第１の実施の形態〕
［第１の実施の形態の構成］
図１は、本発明を適用した第１の実施の形態となる端末装置の、主となる構成を示すブロック図である。なお、この図１に示す端末装置は携帯電話機である。ブロック図が煩雑化するため、通信系等の図示は省略している。
【００１５】
この図１において、携帯電話機は、計時を行うタイマ１（＝時刻センサ）と、当該携帯電話機が置かれている場所の明るさを検出する光センサ２と、当該携帯電話機が置かれている場所の周囲の音を検出する音センサ３とを有している。
【００１６】
また、この携帯電話機は、日付，開始時間，終了時間等の各データからなるユーザのスケジュールが記憶されたスケジュール帳４と、通話日，通話時刻，通話先の電話番号，通話先名等の各データからなる通話履歴が記憶された通話履歴メモリ５と、上記タイマ１〜通話履歴メモリ５の各情報に基づいて当該携帯電話機を動作させるための、複数の制御パターンの情報が記憶された制御パターンテーブルとを有している。
【００１７】
また、この携帯電話機は、当該携帯電話機を振動させるバイブレーション機能７と、上記制御パターンに対応する所定の音声をスピーカ部９を介して発音制御する音声制御部８と、キャラクタの複数の音声パターンが記憶されたキャラクタ音声メモリ１０と、上記制御パターンに基づいて、表示部１２に表示するキャラクタを描画処理するキャラクタ描画部１１と、当該携帯電話機全体を制御する制御部１３（ＣＰＵ）とを有している。
【００１８】
［第１の実施の形態の動作］
図２のフローチャートに、この携帯電話機がキャラクタ等を能動的に動作させるまでの流れを示す。この図２のフローチャートは、携帯電話機のメイン電源がオンされることでスタートとなる。
【００１９】
まず、ステップＳ１及びステップＳ２では、ＣＰＵ１３が、タイマ１から時刻情報を取得し、この時刻情報に応じて「１」或いは「０」の１ビットのデータを保持する。
【００２０】
具体的には、ＣＰＵ１３は、図３に示すように、例えば午前４：００〜午後１６：００までの間を「昼間」と判断し、現在時刻がこの昼間に相当する場合は「１」のデータを保持する。これに対して、ＣＰＵ１３は、午後１６：００〜午前４：００までの間を「夜間」と判断し、現在時刻がこの夜間に相当する場合は「０」のデータを保持する。
【００２１】
次に、スケジュール帳４には、例えば今後のスケジュールの日付，開始時間，終了時間等の各データが記憶されている。ステップＳ３及びステップＳ４では、ＣＰＵ１３が、このスケジュール帳４から、例えば当日等のように所定時間内のスケジュール情報を取得し、このスケジュール情報に応じて上記１ビットのデータを保持する。
【００２２】
具体的には、この場合、ＣＰＵ１３は、いわばスケジュールセンサとして動作し、スケジュール帳４に、例えば当日のスケジュールが記憶されている場合は、図４に示すようにスケジュール「有り」と判断し「１」のデータを保持する。これに対して、スケジュール帳４に、当日のスケジュールが記憶されていない場合は、スケジュール「無し」と判断し「０」のデータを保持する。
【００２３】
次に、通話履歴メモリ５には、ユーザが電話した際に、通話日，通話時刻，通話先の電話番号，通話先名等の各データが履歴として記憶される。ステップＳ５及びステップＳ６では、ＣＰＵ１３が、この通話履歴メモリ５から通話履歴を取得し、この中から現在時刻から例えば３時間以内等の、所定時間内の通話履歴情報を検出する。そして、この所定時間内の通話履歴情報の有無に応じて、上記１ビットのデータを保持する。
【００２４】
具体的には、この場合、ＣＰＵ１３は、いわば通話履歴センサとして動作し、通話履歴メモリ５に、上記所定時間内の通話履歴が存在する場合、図５に示すように通話履歴「有り」と判断し「１」のデータを保持する。これに対して、通話履歴メモリ５に上記所定時間内の通話履歴が存在しない場合、ＣＰＵ１３は、通話履歴「無し」と判断し「０」のデータを保持する。
【００２５】
なお、この例では、ユーザが電話した際に記憶される、通話日，通話時刻，通話先の電話番号，通話先名等の通話履歴を用いることとしたが、これは、ユーザが電話を受けた際に記憶される、着信日，着信時刻，送信先の電話番号，送信者名等の着信履歴を用いてもよい。或いは、上記通話履歴及び着信履歴を併用するようにしてもよい。
【００２６】
次に、光センサ２は、当該携帯電話機が置かれている場所の照度（明るさ）を検出している。ステップＳ７及びステップＳ８では、ＣＰＵ１３が、この光センサ２により検出された照度情報を取得し、この照度情報に応じた上記１ビットのデータを保持する。
【００２７】
具体的には、ＣＰＵ１３は、図６に示すように、照度が例えば０．０〜０．４までの間を「暗い」と判断し、現在の照度がこの範囲に相当する場合は「１」のデータを保持する。これに対して、ＣＰＵ１３は、照度が例えば０．４〜１．０までの間を「明るい」と判断し、現在の照度がこの範囲に相当する場合は「０」のデータを保持する。
【００２８】
なお、この例では、「暗い」或いは「明るい」との２通りの判断を行うようにしているが、これは、「暗い」，「薄暗い」，「やや明るい」，「明るい」等の複数の段階に分けた判断を行うようにしてもよい。これは、ＣＰＵ１３が、この明るさの判断で保持するビット数を２ビットにし、「暗い」＝「００」，「薄暗い」＝「０１」，「やや明るい」＝「１０」，「明るい」＝「１１」とすれば実現可能である。
【００２９】
次に、音センサ３は、当該携帯電話機が置かれている場所の周囲の音の大きさ（音圧レベル）を検出している。ステップＳ９では、ＣＰＵ１３が、この音センサ３により検出された音圧レベルを示す情報（音圧情報）を取得し、この音圧情報に対応する１ビットのデータを保持する。
【００３０】
具体的には、ＣＰＵ１３は、図７に示すように、音圧レベルが例えば４０ｄＢ未満の場合、周囲は「静か」であると判断し、現在の音圧レベルがこの４０ｄＢ未満の場合に「１」のデータを保持する。これに対して、ＣＰＵ１３は、音圧レベルが例えば４０ｄＢ以上の場合、周囲は「騒がしい」と判断し、現在の音圧レベルがこの４０ｄＢ以上の場合に「０」のデータを保持する。
【００３１】
なお、この例では「静か」或いは「騒がしい」との２通りの判断を行うようにしているが、これは、「静か」，「普通」，「やや騒がしい」，「騒がしい」等の複数の段階に分けた判断を行うようにしてもよい。これは、上記照度の場合と同様に、ＣＰＵ１３が、この音圧情報に基づいて保持するデータのビット数を２ビットにすれば実現可能である。
【００３２】
次に、ステップＳ１０において、ＣＰＵ１３は、上記ステップＳ２，ステップＳ４，ステップＳ６，ステップＳ８及びステップＳ９で保持した上記各１ビットのデータの組み合わせである「現在データパターン」と、上記制御パターンテーブル６に記憶されている各制御パターンの「データパターン」とを比較する。そして、ステップＳ１１において、動作パターンテーブル６に記憶されている各「データパターン」の中から、上記「現在データパターン」と一致する「データパターン」を検出することで、「現在データパターン」に対応する「制御パターン」を検出する。
【００３３】
次に、ＣＰＵ１３は、ステップＳ１２において、上記検出した制御パターンに基づいて、当該携帯電話機の各部を制御する。これにより、この図２のフローチャートに示す一通りの制御行程が終了する。
【００３４】
なお、この図２のフローチャートに示す制御行程は、携帯電話機のメイン電源がオンされている間は繰り返し実行される。
【００３５】
［制御の具体例］
一例として、図８に、各制御パターンと各部の制御例の関係を示す。
【００３６】
［第１の制御パターン］
この図８において、上記「現在データパターン」が「１１０１１」となった場合、ＣＰＵ１３により、制御パターンテーブル６から第１の制御パターンが選択される。
【００３７】
この第１の制御パターンは、現在、昼間（１）であり、当日のスケジュールが存在し（１）、３時間内の通話履歴が無く（０）、携帯電話機の周囲は暗く（１）、携帯電話機の周囲は静か（１）な場合である。
【００３８】
このような場合は、朝であり、ユーザは、スケジュールが入っているにも関わらず就寝中であり、また、毎朝かけている電話も未だ使用していない状態である。換言すれば、ユーザが朝寝坊をしている状態である。
【００３９】
このため、ＣＰＵ１３は、「着信音→オン」、「音量→最大レベル」に音声制御部８を設定制御すると共に、キャラクタ音声メモリ１０から例えば「起きろー」との起床用のキャラクタ音声情報を読み出し制御する。このキャラクタ音声情報は、音声制御部８に供給される。
【００４０】
また、ＣＰＵ１３は、叫ぶ動作を行うキャラクタを描画処理するように、キャラクタ描画部１１を制御すると共に、バイブレーション機能を駆動制御する。
【００４１】
これにより、携帯電話機の表示部１２には、叫ぶ動作を行うキャラクタが表示され、また、スピーカ部９を介して、キャラクタの声で「起きろー」との音声が発声制御され、さらに携帯電話機が振動駆動する。
【００４２】
なお、この場合ＣＰＵ１３は、ユーザにより停止操作がなされるまで、上記音声の発声制御及びバイブレーション機能の駆動制御を継続して実行する。
【００４３】
これにより、この場合、携帯電話機が目覚まし時計として機能することとなる。ユーザは、表示部１２に表示される「起きろー」と叫ぶキャラクタを見ることで、自分がキャラクタにより起こされたことを認識するであろう。また、当日のスケジュールを思い出し、予定通りスケジュールを履行するであろう。これにより、このように起床させてくれたキャラクタに対して親密感等の感情を憶えることであろう。
【００４４】
［第２の制御パターン］
次に、上記「現在データパターン」が「１００１１」となった場合、ＣＰＵ１３により、制御パターンテーブル６から第２の制御パターンが選択される。
【００４５】
この第２の制御パターンは、現在、昼間（１）であり、当日のスケジュールが無く（０）、３時間内の通話履歴が無く（０）、携帯電話機の周囲は暗く（１）、携帯電話機の周囲は静か（１）な場合である。
【００４６】
このような場合は、朝であり、ユーザは、未だ就寝中であり、また、毎朝かけている電話も未だ使用していない状態である。換言すれば、ユーザは、スケジュールが無いため、のんびりと寝ている状態である。
【００４７】
このため、ＣＰＵ１３は、普段設定されている音量を変更することなく着信音をオンするように音声制御部８を設定制御すると共に、キャラクタ音声メモリ１０から例えば「そろそろ起きたら？」との起床用のキャラクタ音声情報を読み出し制御する。
【００４８】
また、ＣＰＵ１３は、やさしく訪ねる動作を行うキャラクタを描画処理するように、キャラクタ描画部１１を制御すると共に、バイブレーション機能をオフ制御する。
【００４９】
これにより、携帯電話機の表示部１２には、やさしく訪ねる動作を行うキャラクタが表示され、また、スピーカ部９を介して、キャラクタの声で「そろそろ起きたら？」との音声が発声制御される。
【００５０】
なお、この場合ＣＰＵ１３は、ユーザにより停止操作がなされるまで、上記音声の発声制御を継続して実行する。
【００５１】
これにより、この場合、第１の制御パターンと同様に、携帯電話機が目覚まし時計として機能することとなるが、いわば携帯電話機が目覚まし時計代わりとなってユーザを優しく起こすこととなる。
【００５２】
このように、スケジュールの有無により、上記第１の制御パターンと第２の制御パターンとで、ユーザの起こし方に違いが出る。複数のセンサ出力に基づいて各部の動作制御を行うことで、このように状況に応じた制御を行うことが可能となる。
【００５３】
［第３の制御パターン］
次に、上記「現在データパターン」が「１０１０１」となった場合、ＣＰＵ１３により、制御パターンテーブル６から第３の制御パターンが選択される。
【００５４】
この第３の制御パターンは、現在、昼間（１）であり、当日のスケジュールが無く（０）、３時間内の通話履歴が有り（１）、携帯電話機の周囲は明るく（０）、携帯電話機の周囲は静か（１）な場合である。
【００５５】
このような場合は、朝であり、通話履歴があることからユーザは起床しており、また、周囲は静かな状態である。換言すれば、ユーザは、起きてはいるが何をしているがわからない状態である。
【００５６】
このため、ＣＰＵ１３は、「着信音→オン」、「音量→最小レベル」に音声制御部８を設定制御すると共に、ユーザの気を引くために、例えば２秒間だけ着信音を鳴らすように音声制御部８を制御する。
【００５７】
また、ＣＰＵ１３は、キャラクタ音声メモリ１０から例えば「ねえねえ、何しているの？」とのキャラクタ音声情報を読み出し制御する。
【００５８】
また、ＣＰＵ１３は、このような訪ねる動作を行うキャラクタを描画処理するように、キャラクタ描画部１１を制御すると共に、バイブレーション機能をオフ制御する。
【００５９】
これにより、携帯電話機の着信音が２秒だけ鳴った後、表示部１２には、訪ねる動作を行うキャラクタが表示され、また、スピーカ部９を介して、キャラクタの声で「ねえねえ、何しているの？」との音声が発声制御される。
【００６０】
これにより、ユーザは、携帯電話機の着信音が鳴ったため、携帯電話機を見てみると、表示部１２に表示されているキャラクタから「ねえねえ、何しているの？」と訪ねられることとなる。このため、このようなキャラクタに対してユーザは、より親密感を抱くことであろう。
【００６１】
［第４の制御パターン］
次に、上記「現在データパターン」が「１０１００」となった場合、ＣＰＵ１３により、制御パターンテーブル６から第４の制御パターンが選択される。
【００６２】
この第４の制御パターンは、現在、昼間（１）であり、当日のスケジュールが無く（０）、３時間内の通話履歴が有り（１）、携帯電話機の周囲は明るく（０）、携帯電話機の周囲が騒がしい（０）場合である。
【００６３】
このような場合は、朝であり、通話履歴があることからユーザは起床しており、また、周囲が騒がしい状態であるため、ユーザは、街中や電車の中等の騒がしい場所におり、或いはテレビジョン放送の視聴、音楽の聴取を行っている状態である。この場合、いずれにしても、ユーザは、現在、キャラクタに構うことができない状態である。
【００６４】
このため、ＣＰＵ１３は、着信音をオフするように音声制御部８を設定制御すると共に、このような状況用の所定の動作を行うキャラクタを描画処理するように、キャラクタ描画部１１を制御する。また、バイブレーション機能もオフ制御する。
【００６５】
これは、いわゆる「マナーモード」と同じ状態である。このため、不意な着信音により、街中や電車内の人々に迷惑を掛ける不都合を防止することができる。或いは、テレビジョン放送や音楽に集中しているユーザの邪魔をしてしまう不都合を防止することができる。
【００６６】
なお、説明が長くなるため、制御パターンの説明は以上の４パターンの説明に止めるが、この他の制御パターンにおいても、各センサ出力に応じて判断される現状に即した制御がなされるものと理解されたい。
【００６７】
［第１の実施の形態の効果］
以上の説明から明かなように、この第１の実施の形態の携帯電話機は、タイマ１，光センサ２，音センサ３からの各センサ出力、スケジュール帳４に登録されたスケジュール、及び通話履歴メモリ５に記憶された通話履歴に基づいて携帯電話機が置かれている現状を判断し、この判断結果に即した動作を行うように該携帯電話機の各部を制御する。
【００６８】
これにより、ユーザの入力を待って各部を制御するような受動的な制御ではなく、自発的に現状を判断して携帯電話機（キャラクタ等を含む）を動作させるような能動的な制御を行うことができる。
【００６９】
〔第２の実施の形態〕
［第２の実施の形態の構成］
次に、図９に、本発明を適用した第２の実施の形態となる端末装置のブロック図を示す。なお、この図９に示す端末装置も、上述の第１の実施の形態と同様に携帯電話機であり、主となる構成のみ図示してある。
【００７０】
この図９において、携帯電話機は、圧力センサ及び位置センサが内蔵されたタッチパッド２０と、ＣＰＵ１３と、表示部１２と、表示部１２に表示されたキャラクタの各部位の位置情報を記憶するキャラクタデータ保持部２７と、例えば通信系等の携帯電話機の他の構成要素２８とを有している。
【００７１】
上記タッチパッド２０は、透明電極がマトリクス状に配された透明の板状部材で形成されており、表示部１２の表面全体（或いは表面の一部でもよい）を覆うかたちで設けられている。このため、ユーザがこのタッチパッド２０を操作する場合は、表示部１２の表面を指（或いは入力ペン）で走査するかたちで操作することとなる。
【００７２】
ＣＰＵ１３は、上述の第１の実施の形態のＣＰＵ１３に相当する。この第２の実施の形態の携帯電話機の場合、ＣＰＵ１３は、上記タッチパッド２０の位置センサからの位置情報を、表示部１２の表示画面のＸＹ座標データに変換する入力情報変換部２１と、タッチパッド２０の圧力センサからの検出出力に基づいて、ユーザの押圧力の有無を検出する圧力検出部２２とを有している。
【００７３】
また、ＣＰＵ１３は、上記入力情報変換部２１からのＸＹ座標データに基づいて、ユーザの指の動く方向（タッチパッド２０の操作方向）を解析する入力情報解析部２３と、該入力情報解析部２３からの解析出力に基づいてユーザの指の動きを判定するユーザ入力動作判定部２４とを有している。
【００７４】
また、ＣＰＵ１３は、上記ユーザ入力動作判定部２４からの判定出力と上記圧力検出部２２からの圧力検出出力に基づいて、表示部１２に表示するキャラクタの動作パターンを選択するキャラクタ動作選択部２５と、上記キャラクタデータ保存部２７に保存されているキャラクタの各部位の位置情報を参照して、上記キャラクタ動作選択部２５で選択された動作を示すキャラクタ画像をキャラクタ描画部１１で描画処理するための、描画処理データを形成するキャラクタデータ処理部２６とを有している。
【００７５】
［第２の実施の形態の動作］
［圧力が検出されない場合］
まず、上記ＣＰＵ１３の圧力検出部２２は、所定の閾値以上の押圧力を示す圧力検出出力がタッチパッド２０の圧力センサから供給された場合に、ユーザがタッチパッド２０を押圧したものと検出するようになっている。このため、上記圧力検出出力が、上記所定の閾値以下の押圧力を示す場合、ＣＰＵ１３は、ユーザがタッチパッド２０を押圧していないものとして、以下に説明するユーザの指の動きのみでキャラクタの表示制御を行う。
【００７６】
まず、ユーザがタッチパッド２０上を指で走査すると、位置センサがこの走査に対応する指の位置情報をそれぞれ形成し、これらを入力情報変換部２１に供給する。入力情報変換部２１は、各位置情報を所定間隔でサンプリングすることで取り込み、この取り込んだ各位置情報を、表示部１２の表示画面上のＸＹ座標データに変換する。
【００７７】
図１０に、タッチパッド２０を指で走査した際の軌跡と、この軌跡に対応する位置情報をサンプリングしてＸＹ座標変換処理することで形成されたＸＹ座標データと、入力情報変換部２１から入力情報解析部２３に供給されるＸＹ座標データを示す。
【００７８】
この図１０は、タッチパッド２０の上下方向に略ジグザグ状に指を動かした場合の例である。そして、このような走査に対して、（Ｘ，Ｙ）＝（３０，５０）→（Ｘ，Ｙ）＝（３０，４０）→（Ｘ，Ｙ）＝（３０，３０）→（Ｘ，Ｙ）＝（３０，２０）・・・・のＸＹ座標データが順次形成され、このＸＹ座標データの前後を一組とした状態で、「（３０，５０），（３０，４０）」→「（３０，４０），（３０，３０）」→「（３０，３０），（３０，２０）」・・・・等のように入力情報解析部２３に供給されることを示している。
【００７９】
なお、上記（Ｘ，Ｙ）＝（３０，５０）等の表記は、Ｘ座標が表示部１２の横方向３０ドットの位置、Ｙ座標が表示部１２の縦方向５０ドットの位置であることを意味している。
【００８０】
次に、入力情報解析部２３は、上記前後を一組とした状態で供給されるＸＹ座標データに基づいて、ユーザが指を動かした方向と距離を解析する。具体的には、入力情報解析部２３は、上記一組のＸＹ座標データを「（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）」とした場合に、「Ｘ２−Ｘ１」及び「Ｙ２−Ｙ１」の演算を行い、この演算により得られたＸ座標の数値、及びＹ座標の数値に基づいてユーザが指を動かした方向と距離を解析する。
【００８１】
図１１に、この解析動作の一例を示す。この図１１において、例えば上記前後を一組とした状態で供給されたＸＹ座標データが「（５０，４０），（５０，６０）」であったとすると、入力情報解析部２３は、「５０−５０」及び「６０−４０」の演算を行うこととなる。なお、上記「５０−５０」の演算は上記「Ｘ２−Ｘ１」の演算に相当し、「６０−４０」の演算は上記「Ｙ２−Ｙ１」の演算に相当する。この例の場合、「Ｘ２−Ｘ１」の演算値は「０」となり、「Ｙ２−Ｙ１」の演算値は「＋２０」となる。
【００８２】
次に、ユーザ入力動作判定部２４は、上記入力情報解析部２３からの解析結果（＝上記演算値）に基づいて、ユーザが指を移動させた方向と距離を検出する。
【００８３】
具体的には、ユーザ入力動作判定部２４は、上記「Ｘ２−Ｘ１」の演算値の符号が「＋」の場合は表示部１２の右方向への移動、該演算値の符号が「−」の場合は表示部１２の左方向への移動として検出するようになっており、また、「Ｙ２−Ｙ１」の演算値の符号が「＋」の場合は表示部１２の上方向への移動、該演算値の符号が「−」の場合は表示部１２の下方向への移動として検出するようになっている。
【００８４】
前述の演算値の場合、上記「Ｘ２−Ｘ１」の演算値が「０」、「Ｙ２−Ｙ１」の演算値が「＋２０」である。これは、Ｘ方向である表示部１２の横方向に対する移動は無いが、Ｙ方向である表示部１２の縦方向に対しては＋２０ドット分の移動が発生したことを示す。このため、この場合、ユーザ入力動作判定部２４は、ユーザは表示部１２の上方向に２０ドット分、指が移動されたものとしてユーザの入力動作を判定する。このような判定出力は、キャラクタ動作選択部２５に供給される。
【００８５】
さらに、他の例で説明すると、例えば上記前後を一組とした状態で供給されたＸＹ座標データが「（３０，３０），（４０，５０）」であったとすると、「Ｘ２−Ｘ１」の演算値は「＋１０」となり、「Ｙ２−Ｙ１」の演算値は「＋２０」となる。これは、表示部１２の横方向に対して＋１０ドット分、該表示部１２の縦方向に対して＋２０ドット分の移動があったことを示す。このため、この場合、ユーザ入力動作判定部２４は、ユーザは表示部１２の右斜め上方向に略２０ドット分、指を動かしたものと判定する。
【００８６】
次に、キャラクタ動作選択部２５は、キャラクタデータ保存部２７に記憶されている移動表示前のキャラクタデータ、及び上記ユーザ入力動作判定部２４からの判定出力に基づいてキャラクタの動作を選択（決定）する。
【００８７】
図１２に、表示部１２に表示された人型のキャラクタの模式図を示す。この場合、表示部１２は、縦（Ｙ方向）×横（Ｘ方向）のドット数が１００ドット×８０ドットと仮定している。
【００８８】
キャラクタデータ保存部２７には、移動表示前のキャラクタの頭部，胴体，右手，左手等の各部位毎のＸＹ座標データがキャラクタデータとして記憶されている。
【００８９】
具体的には、この例の場合、図１３に示すようにキャラクタデータとして、キャラクタの頭部の幅に相当する線分の両端のＸＹ座標データ「（３０，８０），（５０，８０）」、胴体の長さに相当する線分の両端のＸＹ座標データ「（４０，６０），（４０，４０）」、右手の長さに相当する線分のＸＹ座標データ「（４０，６０），（２０，８０）」、左手の長さに相当する線分のＸＹ座標データ「（４０，６０），（６０，４０）」等がキャラクタデータ保存部２７に記憶されている。
【００９０】
ここで、図１１を用いて説明した「（５０，４０），（６０，４０）」のユーザの指の動きをキャラクタの画像と重ねると、図１２に示すようにキャラクタの左手に相当する線分に対して、ユーザの指の動きに相当する線分が交差していることがわかる。
【００９１】
また、この「（５０，４０），（６０，４０）」というＸＹ座標データは、前述のように隣接するサンプルである。すなわち、（５０，４０）というサンプルが得られた直後に（６０，４０）というサンプルが得られたことを意味する。このサンプルは、例えば数ｋＨｚのサンプリング周波数を用いて得られるのであるが、このような高周波であるにも関わらず、（５０，４０）→（６０，４０）という各ＸＹ座標データが短時間に連続して得られたということは、ユーザの指が表示画面の上方向に弾く（はじく）ように動かされたことを意味する。
【００９２】
このようなユーザの指の動き及び位置を、図１２に示すキャラクタ画像と重ねて考えると、キャラクタの左手が、ユーザの指により上方向に弾かれたことがわかる。
【００９３】
キャラクタ動作選択部２５は、動作パターンを示す情報が複数記憶された動作パターンテーブルを有している。キャラクタ動作選択部２５は、このように移動表示前のキャラクタ画像と、ユーザの指の動き及び位置に基づいて、上記動作パターンテーブルの中から、対応する動作パターンを選択し、この選択した動作パターン示す情報をキャラクタデータ処理部２６に供給する。
【００９４】
前述の例の場合、キャラクタの左手がユーザの指により上方向に弾かれたため、キャラクタ動作選択部２５は、キャラクタの左手を上に上げる動作パターンを選択し、この動作パターン示す情報をキャラクタデータ処理部２６に供給する。
【００９５】
次に、キャラクタデータ処理部２６は、キャラクタ動作選択部２５からの動作パターンを示す情報に対応する動作を行うキャラクタを描画処理するための描画処理データを形成し、これをキャラクタ描画部１１を制御する。
【００９６】
キャラクタ描画部１１は、この描画処理データに基づいて、表示部１２に表示されるキャラクタを描画処理する。
【００９７】
前述の例の場合、キャラクタデータ処理部２６は、左手を上に上げる動作を行うキャラクタを描画するための描画処理データを形成し、これをキャラクタ描画部１１に供給する。これにより、キャラクタ描画部１１は、図１２に点線で示すように、左手を上に上げる動作を行うキャラクタを表示制御することとなる。
【００９８】
［圧力が検出された場合］
次に、ＣＰＵ１３の圧力検出部２２で圧力が検出された場合の描画処理動作を説明する。
【００９９】
前述のように、圧力検出部２２は、所定の閾値以上の押圧レベルを示す圧力検出出力がタッチパッド２０の圧力センサから供給された場合に、ユーザがタッチパッド２０を押圧したものと検出するようになっている。そして、キャラクタ動作選択部２５は、圧力検出部２２で押圧力が検出された場合は、この圧力レベル及び圧力が掛けられた表示部１２上の位置と、上記ユーザ入力動作判定部２４からの判定出力に基づいて、上記動作パターンの選択を行う。
【０１００】
具体的には、ユーザが、例えばキャラクタの口を押さえようとして、該キャラクタの口を指で押圧した場合、図１２に円で囲んで示すキャラクタの口の辺りの位置からそれぞれ「圧力有り」と検出されることとなる。圧力検出部２２は、この検出された範囲に対応する各圧力検出出力のうち、該範囲の中心座標「（４０，７２）」の圧力検出出力を取り込み、これをキャラクタ動作選択部２５に供給する。
【０１０１】
この例の場合、ユーザは、キャラクタの口を指で押圧しているため、上記入力情報解析部２３には、（４０，７２）のＸＹ座標データが連続して供給されることとなる。このため、ユーザ入力動作判定部２４は、ユーザの指は表示部１２上の（４０，７２）のＸＹ座標位置で停止しているものと判定し、この判定出力をキャラクタ動作選択部２５に供給する。
【０１０２】
キャラクタ動作選択部２５は、キャラクタデータ保存部２７に保存されているキャラクタの各部位のＸＹ座標データに基づいて、ユーザの指が停止している位置を検出する。
【０１０３】
この場合、ユーザの指が停止しているＸＹ座標は（４０，７２）であるため、キャラクタ動作選択部２５は、キャラクタの口の位置でユーザの指が停止しているものと判断する。
【０１０４】
また、この場合、キャラクタ動作選択部２５には、キャラクタの口の位置から押圧が検出されたことを示す圧力検出出力が供給される。
【０１０５】
キャラクタ動作選択部２５は、キャラクタの口の位置にユーザの指が停止しており、しかも、キャラクタの口がユーザの指で押圧されているため、例えばキャラクタが口を閉じる動作パターンを選択し、この動作パターン示す情報をキャラクタデータ処理部２６に供給する。
【０１０６】
キャラクタデータ処理部２６は、キャラクタ動作選択部２５からの動作パターンを示す情報に対応する動作を行うキャラクタを描画処理するための描画処理データを形成し、これをキャラクタ描画部１１を制御する。
【０１０７】
これにより、キャラクタ描画部１１により、口を閉じる動作を行うキャラクタが描画処理され、これが表示部１２に表示される。
【０１０８】
［第２の実施の形態の効果］
以上の説明から明かなように、この第２の実施の形態の携帯電話機は、位置センサ及び圧力センサが設けられたタッチパッド２０により、表示部１２上におけるユーザの指の動きを検出し、このユーザの指の動きと、現在表示されているキャラクタの表示位置に基づいて、該キャラクタの動きを決定してキャラクタの表示制御を行う。
【０１０９】
また、上記圧力センサにより、表示部１２上でユーザが指で圧力を掛けた位置を検出し、この圧力が掛けられた位置と、現在表示されているキャラクタの表示位置に基づいて、該キャラクタの動きを決定してキャラクタの表示制御を行う。
【０１１０】
このように、タッチパッド２０を設けることで、ユーザの指の走査に対応する複雑かつ多数の入力を可能とすることができるため、表示制御するキャラクタも、これに対応して複雑かつ多数の動作を行うように表示制御することができる。
【０１１１】
また、仮想世界のキャラクタのリアクションを、実世界のアクションに即したリアクションとすることができる。
【０１１２】
また、タッチパッド２０は、表示部１２の表面に設けられており、該表示部１２に表示されるキャラクタを該タッチパッド２０越しに見ながら操作することができる。そして、このタッチパッド２０上の指の走査は、表示部１２に表示されているキャラクタの動作に反映される。
【０１１３】
このため、ユーザは、表示部１２に表示されるキャラクタを、直接的に指で触って操作する感覚を提供することができる。このため、ユーザは、表示部１２に表示されているキャラクタの頭を撫でたり、くすぐる等のように、あたかもペットのように取り扱うことができる。従って、表示部１２に表示されているキャラクタを、より親密感の増すキャラクタとすることができる。
【０１１４】
なお、この例では、タッチパッド２０を設けることで複雑な入力を可能としたが、このタッチパッド２０の代わりに、トラックボールやジョイスティック等の入力手段を設けてもよい。
【０１１５】
このトラックボールやジョイスティックは、その性格上、表示部１２以外の箇所に設けられるが、上記タッチパッド２０と同様に、複雑な入力を可能とすることができるため、該タッチパッド２０を設けた場合と同様に上述と同様の効果を得ることができる。
【０１１６】
また、タッチパッド２０の圧力センサにより押圧の有無を検出することとしたが、これは押圧の圧力レベルを検出し、この圧力レベルに応じてキャラクタの動作パターンを決定するようにしてもよい。この場合、圧力レベルに応じてキャラクタの動作パターンを決定することができるため、押圧の有無に応じてキャラクタの動作パターンを決定するよりも、ユーザの指の動作を詳細に解析してキャラクタの動作パターンを決定することができる。
【０１１７】
〔第１の実施の形態及び第２の実施の形態の複合動作〕
以上、理解容易とするために、本発明を適用した携帯電話機を第１の実施の形態及び第２の実施の形態に分けて説明したが、各実施の形態の携帯電話機を複合化してもよい。この場合の動作を、上述の第１の実施の形態における第１の制御パターン（現在データパターン＝１１０１１）を例にとって、当該携帯電話機の利用形態に即したかたちで説明する。
【０１１８】
まず、携帯電話機のＣＰＵ１３は、タイマ１から時刻情報を取得する。例えば、この時刻情報が平日の午前８時１５分を示していたとする。
【０１１９】
次にＣＰＵ１３は、スケジュール帳４から当日のスケジュールを参照して、この午前８時１５分近辺の時刻にスケジュールが入っているか否かを判別する。このスケジュールとして、例えば午前９時に友人Ａと駅前の喫茶店で待ち合わせるスケジュールが入っていたとする。
【０１２０】
次にＣＰＵ１３は、通話履歴メモリ５を参照して、この午前８時１５分近辺の時間帯で、日常的に通話を行う相手がいるか否かを確認する。例えば、ユーザが、午前８時００分〜午前８時１０分の時間帯に５分程度、友人Ｂに日常的に電話を掛けることが検出されたとする。
【０１２１】
次にＣＰＵ１３は、光センサ２からの検出出力に基づいて、携帯電話機周辺の明るさを検出する。この検出において、朝であるにも関わらず、携帯電話機周辺が暗いことが検出されたとする。
【０１２２】
次にＣＰＵ１３は、音センサ３からの検出出力に基づいて、携帯電話機周辺の雑音レベルを検出する。この検出において、携帯電話機周辺に殆ど音がしないことが検出されたとする。
【０１２３】
次にＣＰＵ１３は、上記各検出結果に基づいて、携帯電話機が置かれている現状を判断する。
【０１２４】
すなわち、この例の場合、現在、平日の朝８時過ぎである。また、本日は友人Ａとの待ち合わせがあり、この待ち合わせ時刻まで１時間足らずとなっている。これにも関わらず、携帯電話機の周囲は暗くて静かである。ユーザは、日常的に行っている友人Ｂへの電話も掛けていない。これは、ユーザが朝寝坊をしている可能性が高いことを示す。そして、このままでは、友人Ａとの待ち合わせ遅刻してしまう。
【０１２５】
このため、ＣＰＵ１３は、携帯電話機の着信音を鳴らし、同時にバイブレーションを駆動する。また、ＣＰＵ１３は、表示部１２に、「起きろー」と叫んでいるキャラクタの画像を表示制御する。
【０１２６】
これにより、ユーザは、携帯電話機のキャラクタに起こされて、予定どおりスケジュールを履行することが可能となる。
【０１２７】
これに対して、ユーザは既に起床しており、自宅で静かに本日の行動の整理をしている最中であったとすると、このような携帯電話機の動作は、ユーザにとって迷惑である。
【０１２８】
このため、ユーザは、携帯電話機のこのような動作を停止させるために、携帯電話機を手にとり、「起きろー」と叫んでいるキャラクタの口を指で塞ぐ。
【０１２９】
このようなユーザの行動は、上記タッチパッド２０の圧力センサにより検出され、ＣＰＵは、着信音及びバイブレーション機能７をオフ制御すると共に、前述のようにキャラクタが口を閉じる画像を表示部１２に表示制御する。
【０１３０】
なお、この場合、キャラクタがお辞儀をして誤っている画像や、キャラクタが「起きてた？」と訪ねる画像、或いはキャラクタが「おはよー。もうすぐＡさんとの待ち合わせ時刻だよ」と教示する画像を表示してもよい。
【０１３１】
この例からわかるように、表示部１２に表示されているキャラクタは、いわばマネージャーとなってユーザを見守ってくれている。そして、このようなマネージャー的及びフレンドリーなキャラクタを提供する当該各実施の形態の携帯電話機は、非常に利便性の高い機器であるといえよう。
【０１３２】
以上、本発明を実施の形態に即したかたちで説明したが、これら各実施の形態は本発明の一例であることを理解されたい。このため、上述の実施の形態の説明では、本発明を携帯電話機に適用することとしたが、これは、ＰＨＳ電話機（ＰＨＳ：Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ），通信機能を有するＰＤＡ装置（ＰＤＡ：Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、或いは通信機能を備えたパーソナルコンピュータ装置等の他の端末装置に適用してもよい。この場合でも、上述と同様の効果を得ることができる。
【０１３３】
また、上述の各センサ２，３等の他、温度センサ等の他のセンサを用いるようにしてもよい。
【０１３４】
そして、これら以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【０１３５】
【発明の効果】
本発明は、実世界のアクションに対応するリアクションとなるように、複雑かつ多数の動作パターンで表示手段に表示されるキャラクタを表示制御することができる。
【０１３６】
また、本発明は、表示手段に表示される表示物を能動的に動作させることができる。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態の携帯電話機の主要構成を示すブロック図である。
【図２】上記第１の実施の形態の携帯電話機の制御の流れを示すフローチャートである。
【図３】上記第１の実施の形態の携帯電話機に設けられたタイマからの時刻情報に基づいて行われる昼夜の判断動作を説明するための図である。
【図４】上記第１の実施の形態の携帯電話機に設けられたスケジュール帳に登録されているスケジュールの有無の判断動作を説明するための図である。
【図５】上記第１の実施の形態の携帯電話機に設けられた通話履歴メモリに記憶された通話履歴の有無の判断動作を説明するための図である。
【図６】上記第１の実施の形態の携帯電話機に設けられた光センサからの検出出力に基づいて行われる、該携帯電話機の周囲の明るさの判断動作を説明するための図である。
【図７】上記第１の実施の形態の携帯電話機に設けられた音センサからの検出出力に基づいて行われる、該携帯電話機の周囲の音の判断動作を説明するための図である。
【図８】上記第１の実施の形態の携帯電話機における、上記各検出結果に基づいて行われる制御の制御パターンを説明するための図である。
【図９】本発明を適用した第２の実施の形態の携帯電話機の主要構成を示すブロック図である。
【図１０】上記第２の実施の形態の携帯電話機に設けられているタッチパッドに対する入力例と、この入力に基づいて検出されるＸＹ座標データの例を示す図である。
【図１１】上記検出されたＸＹ座標データに基づいて行われる、上記第２の実施の形態の携帯電話機のユーザの指の移動方向及び移動距離の検出動作を説明するための図である。
【図１２】上記第２の実施の形態の携帯電話機の表示部に表示されたキャラクタの表示制御動作を説明するための図である。
【図１３】上記第２の実施の形態の携帯電話機の表示部に表示されたキャラクタの各部位のＸＹ座標データの一例を示す図である。
【符号の説明】
１…タイマ、２…光センサ、３…音センサ、４…スケジュール帳、５…通話履歴メモリ、６…制御パターンテーブル、７…バイブレーション機能、８…音声制御部、９…スピーカ部、１０…キャラクタ音声メモリ、１１…キャラクタ描画部、１２…表示部、１３…制御部（ＣＰＵ）、２０…タッチパッド（位置センサ，圧力センサ）、２１…入力情報変換部、２２…圧力検出部、２３…入力情報解析部、２４…ユーザ入力動作判定部、２５…キャラクタ動作選択部、２６…キャラクタデータ処理部、２７…キャラクタデータ保存部、２８…その他の携帯電話機の構成要素
【図１】
2004102719.tif 000003
【図２】
2004102719.tif 000004
【図３】
2004102719.tif 000005
【図４】
2004102719.tif 000006
【図５】
2004102719.tif 000007
【図６】
2004102719.tif 000008
【図７】
2004102719.tif 000009
【図８】
2004102719.tif 000010
【図９】
2004102719.tif 000011
【図１０】
2004102719.tif 000012
【図１１】
2004102719.tif 000013
【図１２】
2004102719.tif 000014
【図１３】
2004102719.tif 000015