(57)【要約】  本発明は、携帯端末機の入力装置及び方法に関するものである。  このような本発明は、携帯端末機の外観に配置されたセンサ部に加えられる物理力が予め設定された圧力値以下の場合には、グリップ状態と判別し、前記物理力が予め設定された圧力値以上の場合には、スクイーズ状態と判別して、判別された状態による命令語を生成し、現在活性化されているアプリケーションに適用する装置及び方法を開示する。
2013505495.tif 000002
【特許請求の範囲】
【請求項１】
端末機に加えられる物理力に応じた圧力を検出する過程と、
前記圧力が既定値以下の場合にはグリップ状態と判別し、前記圧力が既定値以上の場合にはスクイーズ状態と判別する判別過程と、
前記グリップ状態及びスクイーズ状態による命令語を生成する過程と、
前記に生成された命令語を現在活性化されているアプリケーションに適用する適用過程と、を含むことを特徴とする携帯端末機の入力方法。
【請求項２】
前記命令語を生成する過程は、
前記既定値以上の圧力の大きさを一定大きさ別に区分し、各一定大きさ別にそれぞれ異なる命令語を生成する過程であることを特徴とする請求項１に記載の携帯端末機の入力方法。
【請求項３】
前記命令語を生成する過程は、
前記アプリケーションの活性化により表示パネルに出力される少なくとも一つのイメージまたはテキストを前記圧力の段階別大きさの変化によりズームインして出力するように設定された命令語を生成する過程と、
前記アプリケーションの活性化により表示パネルに出力される少なくとも一つのイメージまたはテキストを前記圧力の段階別大きさの変化によりズームアウトして出力するように設定された命令語を生成する過程と、のいずれか一つの過程を含むことを特徴とする請求項２に記載の携帯端末機の入力方法。
【請求項４】
前記命令語を生成する過程は、
前記端末機外観に設けられた複数の各センサに力が加えられる場合、前記検出された圧力の平均と予め設定された一定値との比較によってグリップ状態とスクイーズ状態を判別し、判別された結果による命令語を生成する過程と、
前記複数の各センサから検出された圧力分布によってそれぞれ異なる命令語を生成する過程と、のいずれか一つの過程を含むことを特徴とする請求項１に記載の携帯端末機の入力方法。
【請求項５】
前記適用過程は、
前記アプリケーションの活性化により出力されるイメージ及びテキストのうち少なくとも一つを前記複数のセンサのうち相対的に大きい圧力が加えられたセンサに割り当てられた表示領域を残りセンサに割り当てられた表示領域と異なるように表示する過程と、
前記相対的に大きい圧力が加えられたセンサに割り当てられた表示領域のイメージ及びテキストのうち少なくとも一つをズームインまたはズームアウトし、前記残りセンサに割り当てられた表示領域のイメージ及びテキストのうち少なくとも一つよりも大きくまたは小さく表示する過程と、のいずれか一つの過程を含むことを特徴とする請求項４に記載の携帯端末機の入力方法。
【請求項６】
タッチパネルで発生するタッチイベント、入力部から発生する入力信号、マイクが収集したオーディオ信号を音声認識した音声認識信号のうち少なくとも一つを検出する過程をさらに含むことを特徴とする請求項１に記載の携帯端末機の入力方法。
【請求項７】
前記命令語を生成する過程は、
前記検出されたタッチイベント、入力信号、及び音声認識信号のうち少なくとも一つと、前記グリップ状態によるグリップセンサ信号及びスクイーズ状態によるスクイーズセンサ信号のうち少なくとも一つとを混用し、特定の命令語を生成する過程と、
前記グリップ状態から追加的な圧力発生によってスクイーズ状態に変更される場合、それに対応する命令語を生成する過程と、
前記スクイーズ状態が維持された状態で前記タッチイベント、前記入力信号、前記音声認識信号のうち少なくとも一つが発生する場合、前記スクイーズ状態と前記タッチイベント、前記スクイーズ状態と前記入力信号、前記スクイーズ状態と前記音声認識信号に該当する少なくとも一つの命令語を生成する過程と、のうち少なくとも一つの過程を含むことを特徴とする請求項６に記載の携帯端末機の入力方法。
【請求項８】
端末機に加えられる物理力に応じた圧力を検出するセンサ部と、
前記圧力が既定値以下の場合にはグリップ状態と判別し、前記圧力が既定値以上の場合にはスクイーズ状態と判別した後、前記グリップ状態及びスクイーズ状態による命令語を生成し、生成された命令語を現在活性化されているアプリケーションに適用するように制御する制御部と、
前記アプリケーションを格納する格納部と、を含むことを特徴とする携帯端末機の入力装置。
【請求項９】
前記制御部は、
前記既定値以上の圧力の検出時、検出された圧力の大きさを一定大きさ別に区分し、各大きさ別に区分されたスクイーズ状態によりそれぞれ異なる命令語を生成することを特徴とする請求項８に記載の携帯端末機の入力装置。
【請求項１０】
前記センサ部は、
端末機の特定位置にそれぞれ配置されて加えられる物理力に応じた圧力を検出する複数のセンサを含むことを特徴とする請求項８に記載の携帯端末機の入力装置。
【請求項１１】
前記制御部は、
前記複数のセンサから検出された圧力の平均が予め設定された一定値以下の場合には、グリップ状態と判別し、前記検出された圧力の平均が予め設定された一定値以上の場合には、スクイーズ状態と判別するか、
前記複数の各センサから検出された圧力分布による命令語を生成することを特徴とする請求項１０に記載の携帯端末機の入力装置。
【請求項１２】
前記アプリケーションの活性化により少なくとも一つのイメージまたはテキストを出力し、前記各センサに割り当てられる複数の表示領域を含む表示パネルをさらに含み、
前記表示パネルは、
相対的に大きい圧力が加えられるセンサに割り当てられた表示領域に出力されたイメージ及びテキストのうち少なくとも一つを、残りセンサに割り当てられた表示領域に出力されたイメージ及びテキストのうち少なくとも一つと異なるように表示することを特徴とする請求項１０に記載の携帯端末機の入力装置。
【請求項１３】
前記制御部は、
前記グリップ状態から追加的な圧力発生によってスクイーズ状態に変更される場合、それに対応する命令語を生成することを特徴とする請求項８に記載の携帯端末機の入力装置。
【請求項１４】
タッチによるタッチイベントを生成するタッチパネルと、
入力信号を発生する入力部と、
音声認識信号のためにオーディオ信号を収集するマイクと、のうち少なくとも一つをさらに含むことを特徴とする請求項８に記載の携帯端末機の入力装置。
【請求項１５】
前記制御部は、
前記検出されたタッチイベント、入力信号、及び音声認識信号のうち少なくとも一つと、前記グリップ状態によるグリップセンサ信号及びスクイーズ状態によるスクイーズセンサ信号のうち少なくとも一つが発生する場合、発生した信号による特定命令語を生成することを特徴とする請求項１４に記載の携帯端末機の入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末機に関し、特に、携帯端末機の一側に加えられる圧力により特定入力信号を生成することができるように支援し、他の入力装置、例えば、タッチ入力装置と音声認識装置との連係を通じてさらに多様な入力信号を生成することができるように支援する携帯端末機の入力装置及び方法に関する。
【背景技術】
【０００２】
携帯端末機は、移動性を基盤に通話機能を支援する端末機であり、利用の便利性と携帯の容易性などによって非常に幅広い分野で用いられている。このような携帯端末機は、ユーザ機能の提供のために多様な入力方式を提供している。例えば、従来の携帯端末機は、タッチパネルと表示部を含むタッチスクリーンを提供することにより、ユーザが表示部に出力される特定イメージをタッチする動作をタッチパネルで処理して、該当タッチイベントを生成し、これを基盤にしてユーザ機能に対応するアプリケーションを制御している。しかし、このような従来の携帯端末機のタッチスクリーン機能は、表示部を確認できる状態で使用可能であり、タッチパネルで処理するタッチイベントが精巧でなく、ユーザが要求する正確なタッチイベントの生成及び適用が難しい実情である。また、タッチスクリーンを通じて提供される入力信号生成装置及び方法は、タッチスクリーンが活性化した状態でタッチパネルにタッチを提供しなければならないため、多様な入力信号生成の限界があった。これにより、さらに多様な装置及び方法を用いた入力信号生成方式の提案が要求されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、本発明の目的は、携帯端末機の一側に加えられる圧力と圧力の大きさにより多様な入力信号を生成し、生成された入力信号を基盤にしてアプリケーションを運用することはもちろん、他の機能、例えば、タッチ機能と音声認識機能との混用を通じてさらに多様なアプリケーションの運用方法を支援することができる携帯端末機の入力装置及び方法を提供することにある。
【課題を解決するための手段】
【０００４】
上述したような目的を達成するための本発明の好ましい実施形態に係る携帯端末機の入力装置は、端末機に加えられる物理力に応じた圧力を検出するセンサ部と、前記圧力が既定値以下の場合にはグリップ状態と判別し、前記圧力が既定値以上の場合にはスクイーズ状態と判別した後、前記グリップ状態またはスクイーズ状態による命令語を生成し、生成された命令語を現在活性化されているアプリケーションに適用するように制御する制御部と、前記アプリケーションを格納する格納部と、を含むことを特徴とする。
【０００５】
上述したような目的を達成するための本発明の好ましい実施形態に係る携帯端末機の入力方法は、端末機に加えられる物理力に応じた圧力を検出する過程と、前記圧力が既定値以下の場合にはグリップ状態と判別し、以上の場合にはスクイーズ状態と判別する判別過程と、前記グリップ状態またはスクイーズ状態による命令語を生成する過程と、前記生成された命令語を現在活性化されているアプリケーションに適用する適用過程と、を含むことを特徴とする。
【発明の効果】
【０００６】
本発明の実施形態に係る携帯端末機の入力装置及び方法によれば、センサが配置された携帯端末機の一側に加えられる圧力の大きさにより、多様な入力信号を生成することができるように支援し、他の機能、例えば、タッチ機能及び音声認識機能を混用し、さらに多様な入力信号を生成できることにより、携帯端末機の運用をさらに便利に支援し、ユーザ機能をさらに躍動的に運用することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る携帯端末機の構成を概略的に示したブロック図である。
【図２】本発明の携帯端末機を把持した状態を概略的に示した図である。
【図３】本発明の制御部の構成をより詳細に示した図である。
【図４】本発明の第１実施形態に係る端末機運用を説明するための図である。
【図５】本発明の第２実施形態に係る端末機運用を説明するための図である。
【図６】本発明の第３実施形態に係る端末機運用を説明するための図である。
【図７】本発明の第４実施形態に係る端末機運用を説明するための図である。
【図８】本発明の第５実施形態に係る端末機運用を説明するための図である。
【図９】本発明の第６実施形態に係る端末機運用を説明するための図である。
【図１０】本発明の第７実施形態に係る端末機運用を説明するための図である。
【図１１】本発明の実施形態に係る携帯端末機の入力方法を説明するためのフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の好ましい実施形態について、添付した図面を参照しながら詳細に説明する。下記の説明では、本発明の実施形態による動作を理解するために必要な部分のみを説明し、その他の部分の説明は、本発明の要旨を不明瞭にしないように省略していることに注意しなければならない。
【０００９】
以下で説明する本明細書及び請求範囲に使用する用語や単語は、通常的や辞書的な意味に限定して解釈してはならず、発明者は、本発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に即して、本発明の技術的思想に符合する意味や概念として解釈しなければならない。したがって、本明細書に記載された実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想を全て代弁するものではないことから、本出願時点においてこれらを代替することができる多様な均等物と変形例があり得ることを理解しなければならない。
【００１０】
以下の説明において、グリップ（Ｇｒｉｐ）状態とは、端末機のユーザがセンサ部が設けられた携帯端末機の一側、例えば、外観を予め設定された圧力値の以下に捕まえる状態を意味し、スクイーズ（Ｓｑｕｅｅｚｅ）状態とは、グリップ状態で端末機のユーザが予め設定された圧力値以上の圧力をセンサ部に提供する状態を意味する。例えば、グリップ状態は、センサ部に予め設定された圧力値が１Ｎ以下の値を提供する状態であってもよく、スクイーズ状態は、グリップ状態を定義する圧力値よりも高い圧力値、例えば、１．５Ｎ、２Ｎ、３Ｎなどの圧力が提供される状態と理解することができる。
【００１１】
図１は、本発明の実施形態に係る携帯端末機の構成を概略的に示したブロック図である。
【００１２】
図１を参照すれば、本発明の携帯端末機１００は、無線周波数部１１０、入力部１２０、オーディオ処理部１３０、タッチスクリーン１４０、格納部１５０、センサ部１７０、及び制御部１６０を含む。
【００１３】
このような構成を有する本発明の携帯端末機１００は、センサ部１７０に加えられる端末機ユーザの圧力によりセンサ信号を生成して制御部１６０に伝達し、制御部１６０は、伝達されるセンサ信号の形態により、現在活性化されているアプリケーションに適用される命令語（コマンド：Ｃｏｍｍａｎｄ）を生成する。また、携帯端末機１００は、生成された命令語によりアプリケーションを運用するように制御する。また、携帯端末機１００は、センサ信号と端末機の他の機能、例えば、タッチ機能と音声認識機能から生成されたタッチ信号及び音声認識信号を混合して、新しい命令語を生成し、生成された命令語に基づいてアプリケーションを運用するように制御することができる。ここで、センサ部１７０は、ユーザの手などから提供される圧力に基づいてセンサ信号を生成することができる。以下、携帯端末機１００の各構成についてさらに詳細に説明する。
【００１４】
無線周波数部１１０は、音声通話のための通信チャネルの形成及び映像などのデータ送信のための通信チャネルなどを制御部１６０の制御下で行う。すなわち、無線周波数部１１０は、音声通話チャネル、データ通信チャネル、及び画像通話チャネルを移動通信システムの間に形成する。このために、無線周波数部１１０は、送信する信号の周波数を上昇変換及び増幅する無線周波数の送信部と、受信した信号を低雑音増幅して周波数を下降変換する無線周波数の受信部などを含む。このような無線周波数部１１０は、センサ部１７０から生成されたセンサ信号により活性化するアプリケーションによって運用される。例えば、センサ部１７０が設けられた携帯端末機の外観を端末機のユーザが把持（Ｇｒｉｐ）する場合、無線周波数部１１０は、活性化して予め設定された電話番号を基にして通話連結を試みるように運営される。また、通話呼受信により無線周波数部１１０が活性化した状態で、端末機のユーザが携帯端末機をスクイーズ状態に変更、すなわち、携帯端末機を一定圧力の以上に把持する場合、無線周波数部１１０は、受信した通話呼に基づいて通話チャネルを形成することができる。また、無線周波数部１１０は、グリップ状態またはスクイーズ状態により生成されるグリップセンサ信号またはスクイーズセンサ信号と、タッチパネル１４３が生成するタッチイベントとにより、制御部１６０の制御下で選択され、グリップセンサ信号またはスクイーズセンサ信号と、音声認識による音声認識信号とを基にして活性化される。すなわち、無線周波数部１１０は、グリップセンサ信号、スクイーズセンサ信号、タッチイベント、及び音声認識信号のうち少なくとも一つに基づき、活性化及び非活性化される。
【００１５】
入力部１２０は、数字または文字情報の入力を受けて、各種機能を設定するための多数の入力キー及びファンクションキーを含む。ファンクションキーは、特定機能を行うように設定された方向キー、サイドキー、及びショートカットキーなどを含む。また、入力部１２０は、ユーザ設定及び携帯端末機１００の機能制御と関連するキー信号を生成して制御部１６０に伝達する。このような入力部１２０は、多数のキーを含むＱｗｅｒｔｙキーパッド、３×４キーパッド、４×３キーパッドなどで実現される。このような入力部１２０は、携帯端末機のタッチスクリーン１４０がフルタッチスクリーンの形態で支援される場合、タッチスクリーン１４０に出力されるキーパッドマップとタッチパネル１４３に代替される。入力部１２０で生成される入力信号は、本発明のセンサ部１７０から生成される信号、すなわち、グリップセンサ信号またはスクイーズセンサ信号と混用され、現在活性化されているアプリケーションの特定機能の活性化のための命令語を生成するための信号として用いられる。
【００１６】
オーディオ処理部１３０は、通話時に送受信されるオーディオデータを再生するためのスピーカー（ＳＰＫ）と、通話時にユーザの音声またはその他のオーディオ信号を収集するためのマイク（ＭＩＣ）とを含む。マイクが収集した音声信号は、音声認識機能の設定有無により制御部１６０で音声認識される。音声認識された音声認識信号は、本発明のセンサ部１７０から生成されるグリップセンサ信号及びスクイーズセンサ信号と混用され、現在活性化されているアプリケーションの特定機能の活性化のための命令語を生成するために用いられる。また、スピーカーは、制御部１６０の制御下で格納部１５０に保存された特定音声情報をオーディオ信号として出力する。例えば、特定ユーザ機能を説明するための音声情報が設けられていて、グリップセンサ信号またはスクイーズセンサ信号が生成される場合、スピーカーは、該当センサ信号を基にして運用されるユーザ機能の説明のための音声情報をオーディオ信号に変換して出力する。
【００１７】
タッチスクリーン１４０は、表示パネル１４１とタッチパネル１４３を含む。このようなタッチスクリーン１４０は、表示パネル１４１の前面にタッチパネル１４３が配置される構造を有する。タッチスクリーン１４０の大きさは、タッチパネル１４３の大きさによって決定される。
【００１８】
表示パネル１４１は、携帯端末機１００の各種メニューをはじめとして、ユーザが入力した情報またはユーザに提供する情報を表示する。すなわち、表示パネル１４１は、携帯端末機１００の利用による多様な画面、例えば、待機画面、メニュー画面、メッセージ作成画面、通話画面などを提供する。このような表示パネル１４１は、ユーザ機能に対応するアイコンやイメージなどを出力することもできる。例えば、携帯端末機１００がウィジェット機能と、少なくとも一つのメニュー機能を提供する場合、表示パネル１４１は、ウィジェット機能に対応する少なくとも一つのウィジェットアイコンと、メニュー機能に対応する少なくとも一つのイメージまたはアイコンなどを出力することができる。一方、表示パネル１４１は、液晶表示装置（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｅｄ  Ｄｉｏｄｅ）等で形成されてもよい。このような表示パネル１４１は、タッチパネル１４３の大きさに比べて小さい大きさを有し、タッチパネル１４３の下に配置されてもよい。特に、本発明の表示パネル１４１は、グリップセンサ信号またはスクイーズセンサ信号により特定機能が適用される表示領域からなる。これに対する説明は、後述する図面を参照してさらに詳細に説明する。
【００１９】
タッチパネル１４３は、表示パネル１４１を覆うように配置され、物体の接触または物体の接近によってタッチイベントを生成し、生成されたタッチイベントを制御部１６０に伝達する。このとき、タッチパネル１４３は、タッチパネル１４３の上で発生するタッチイベントに対して、該当位置情報とタッチイベントの種類に対する情報を制御部１６０に伝達する。制御部１６０は、タッチパネル１４３から伝達されるタッチイベントから位置情報とタッチイベントの種類を確認し、該当位置にマッピングされた表示パネル１４１に出力された特定イメージを確認した後、イメージにリンクされているユーザの機能を活性化するように制御する。特に、本発明のタッチパネル１４３で生成されたタッチイベントは、センサ部１７０から生成されるグリップセンサ信号またはスクイーズセンサ信号のうち少なくとも一つと混用され、携帯端末機の運用に必要な多様な命令語の生成に利用される。
【００２０】
格納部１５０は、本発明の実施形態による機能動作に必要なアプリケーションをはじめとして、携帯端末機がタッチスクリーンで形成される場合、タッチスクリーンの運用のためのキーマップやメニューマップなどを保存する。ここで、キーマップ及びメニューマップは、多様な形態であってもよい。すなわち、キーマップは、キーボードマップ、３×４キーマップ、Ｑｗｅｒｔｙキーマップ等であってもよく、現在活性化されているアプリケーションの運用制御のための制御キーマップであってもよい。また、メニューマップは、現在活性化されているアプリケーションの運用制御のためのメニューマップであってもよく、携帯端末機が提供する多様なメニューを項目として有するメニューマップであってもよい。このような格納部１５０は、大きくプログラム領域とデータ領域とを含む。
【００２１】
プログラム領域は、携帯端末機１００の起動及び上述した各構成の運用のためのオペレーティングシステム（ＯＳ、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、多様なファイルを再生するためのアプリケーション、例えば、携帯端末機１００の機能支援の有無による通話機能支援のためのアプリケーション、インターネットサーバに接続するためのウェブブラウザー、その他の音源を再生するためのＭＰ３アプリケーション、写真などを再生するためのイメージ出力アプリケーション、動画再生アプリケーションなどを保存する。特に、本発明のプログラム領域は、センサ部運用のためのセンサ運用プログラム、タッチ機能支援のためのタッチ運用プログラム、音声認識機能支援のための音声認識運用プログラム、各運用プログラムに基づいて処理される信号を現在活性化されているアプリケーションに適用するためのＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）運用プログラムを含んでもよい。各プログラムは、携帯端末機の活性化時に制御部１６０にロードされ、各機能支援のための処理ユニットとして動作する。これをさらに詳細に説明すれば、センサ運用プログラムは、グリップＵＩ処理モジュール及びスクイーズＵＩ処理モジュールを含み、センサ部１７０の運用に必要な電源供給と、センサ部１７０から発生するセンサ信号の伝達を制御するルーチンをと含む。タッチ運用プログラムは、タッチＵＩ処理モジュールを含み、現在活性化されているアプリケーションによって出力されている特定イメージとタッチパネルとのマッピング、及びタッチパネル上で発生するタッチイベント認識などを処理できるルーチンを含む。音声認識運用プログラムは、ボイスＵＩ処理モジュールを含み、ユーザの要請によりマイクが収集した音声を既保存された音声認識データベースに基づいて音声認識するルーチンを含む。ＵＩ処理運用プログラムは、ＵＩ処理モジュールと命令語生成モジュールを含み、ＵＩ処理モジュールは、上述したグリップＵＩ処理モジュール、スクイーズＵＩ処理モジュール、タッチＵＩ処理モジュール、ボイスＵＩ処理モジュールの活性化によって発生する信号を命令語生成部に伝達するルーチンを含む。命令語生成モジュールは、ＵＩ処理モジュールから伝達される信号を命令語テーブルに基づいて特定命令語に変換した後、これをアプリケーションに適用するルーチンを含む。
【００２２】
データ領域は、携帯端末機１００の使用によって発生するデータが保存される領域であり、フォンブック情報、多様なコンテンツを保存する。また、データ領域は、タッチスクリーン１４０を通じて入力されるユーザ入力を保存する。特に、本発明のデータ領域は、音声認識された単語を認識するための音声認識ＤＢ（Ｄａｔａ  Ｂａｓｅ）を含み、収集される多様な信号を特定命令語に変換する基準となる命令語テーブルを保存する。
【００２３】
センサ部１７０は、携帯端末機１００の一側に形成される少なくとも一つの圧電センサまたはピエゾ（Ｐｉｅｚｏ）センサから構成される。例えば、センサ部１７０は、携帯端末機の側面中にタッチスクリーン１４０の前面を基準として左右側にそれぞれ配置されるピエゾセンサの集合であってもよく、この時、左側または右側にそれぞれ一定個数ずつ配置され、図２に示すように端末機がユーザの左手または右手によって把持される場合、各指が置かれる位置により発生する圧力を検出することができる。図面を参照すれば、センサ部１７０は、右手または左手の把持をそれぞれ検出できるように左側面に一定間隔をもって配置される４個のピエゾセンサ、右側面に一定間隔をもって配置される４個のピエゾセンサグループであってもよい。これにより、センサ部１７０は、指が置かれることで発生するグリップ状態を検出することができ、今後端末機のユーザが指に一定以上の力を加える場合、スクイーズ状態を検出することができる。センサ部１７０は、スクイーズ状態において、一定以上の力に対して段階的に検出することができる。例えば、センサ部１７０は、指全体に１Ｎの力が加えられる場合、第１スクイーズ状態を検出することができ、指全体に２Ｎの力が加えられる場合、第２スクイーズ状態を検出することができる。実質的に、端末機のユーザが正確に１Ｎまたは２Ｎなどの力を加えることができないので、センサ部１７０は、一定範囲内に含まれる圧力が検出される場合、該当範囲に設定された少なくとも一つのスクイーズ状態を検出することができる。センサ部１７０は、端末機のユーザが加える力によってグリップ状態及び少なくとも一つのスクイーズ状態が発生するようになれば、該当状態によるグリップセンサ信号または少なくとも一つのスクイーズセンサ信号を生成し、これを制御部１６０に伝達することができる。
【００２４】
制御部１６０は、携帯端末機１００の各構成に電源供給を制御して初期化過程を行うように支援し、初期化過程が完了すれば、各構成に対して本発明のグリップ状態及びスクイーズ状態によるアプリケーションの運用を制御し、グリップ状態またはスクイーズ状態から発生するセンサ信号と、タッチ機能及び音声認識機能から発生する信号とを複合的に運用できるように支援する。このために、制御部１６０は、図３に示すように、ＵＩ処理部２００、命令語テーブル１６１、命令語生成部１６３、アプリケーション１６５を含む。このような各構成は、格納部１５０にモジュールやルーチンなどの形態で保存され、ユーザの要請または端末機のモード設定によって制御部１６０にロードされ、該当機能支援を行うようになる。
【００２５】
アプリケーション１６５は、端末機のユーザが呼び出すユーザ機能に対応するアプリケーションであって、例えば、フォンブック機能、カメラ機能、通話機能、ファイル再生機能、ファイル検索機能、ウェブ接続機能などの各機能によるプログラムのうち少なくとも一つに該当する。このようなアプリケーション１６５は、入力部１２０から入力される入力信号、タッチスクリーン１４０から伝達されるタッチイベント、音声認識機能から生成された音声認識信号などによって特定機能が行われるように制御し、特に、端末機のユーザが外観を把持する形態により発生するグリップ状態またはスクイーズ状態によって、特定機能を行うことができる。また、アプリケーション１６５は、センサ信号とタッチイベント及び音声認識信号、入力部１２０からの入力信号による複合的な機能を行うことができる。
【００２６】
命令語テーブル１６１は、格納部１５０に保存されている状態で制御部１６０の要請によってロードされ、制御部１６０の設計によって格納部１５０に保存された状態を維持し、命令語生成部１６３によって参照される。このような命令語テーブル１６１は、グリップセンサ信号、スクイーズセンサ信号、タッチイベント、音声認識信号、入力部１２０からの入力信号が各々独立的または複合的に生成される場合、それにより現在活性化されているアプリケーション１６５の運用に必要な命令語を生成できる基準を提供する。例えば、命令語テーブル１６１は、グリップセンサ信号が発生する場合、タッチパネル１４３がロック（Ｌｏｃｋ）状態であることを知らせるように作成された命令語、スクイーズセンサ信号が発生する場合、ロック状態をアンロック（Ｕｎｌｏｃｋ）状態に変更されるように作成された命令語、スクイーズセンサ信号が発生した状態でタッチイベントまたは音声認識信号の入力による特定機能遂行のために作成された命令語などを含む。
【００２７】
命令語生成部１６３は、ＵＩ処理部２００が伝達する信号を基準として命令語テーブル１６１を参照し、アプリケーション１６５を運用することができるように支援する特定命令語を生成し、生成された命令語をアプリケーション１６５に適用するように制御する。
【００２８】
ＵＩ処理部２００は、端末機設定やユーザ要請によりグリップＵＩ処理部２１０、スクイーズＵＩ処理部２２０、タッチＵＩ処理部２３０、ボイスＵＩ処理部２４０のうち少なくとも一つを格納部１５０に保存された運用プログラムに基づいて構成する。また、ＵＩ処理部２００は、各処理部を端末機のハードウェア構成と連結するように構成し、ハードウェア構成で発生する物理力またはオーディオ信号を一定信号に変更して命令語生成部１６３に伝達する。
【００２９】
これをさらに詳細に説明すれば、グリップＵＩ処理部２１０とスクイーズＵＩ処理部２２０は、センサ部１７０からセンサ信号が伝達されれば、予め設定された基準を参照して該当センサ信号がグリップ状態を指示するか、スクイーズ状態を指示するかを判断することができる。特に、スクイーズ状態のうちどのステップに該当するかを判断することができる。また、グリップＵＩ処理部２１０とスクイーズＵＩ処理部２２０は、各判断による一定信号を生成し、これを命令語生成部１６３に伝達することができる。ここで、ＵＩ処理部２００は、各処理部で同時にまたは一定時間の範囲内に発生する信号を一つの命令語を生成するための信号として判断することができ、これを命令語生成部１６３に伝達することができる。そうすると、命令語生成部１６３は、ＵＩ処理部２００から伝達される信号、または信号がどの命令語のための信号であるかを命令語テーブル１６１を参照して判断し、これに基づいて上述したようにアプリケーション１６５の運用を制御することができる。
【００３０】
タッチＵＩ処理部２３０は、端末機設定及びユーザの要請によりタッチパネル１４３を活性化するように制御し、タッチパネル１４３から発生するタッチイベントを基準として、タッチダウンイベント、タッチアップイベント、タッチドラッグイベント、フリップイベントなどを判別する。また、タッチＵＩ処理部２３０は、各イベントの発生を命令語生成部１６３に伝達する。この過程において、他のＵＩ処理部で特定信号が発生する場合、タッチＵＩ処理部２３０が伝達するタッチイベントは、ＵＩ処理部２００の制御によって他の特定信号とともに命令語生成部１６３に伝達される。
【００３１】
ボイスＵＩ処理部２４０は、マイクが収集する音声を格納部１５０に保存された音声認識ＤＢに基づいて音声認識するように制御する。また、ボイスＵＩ処理部２４０は、認識された音声認識信号を命令語生成部１６３に伝達する。このようなボイスＵＩ処理部２４０は、多様な音声認識アルゴリズムを運用することができる。例えば、ボイスＵＩ処理部２４０が適用する音声認識アルゴリズムにおいてマイクが受信した音声信号は、１６ＫＨｚでサンプリングされ、１６ｂｉｔで量子化して保存される。また、量子化された音声データは、一定値の伝達関数で事前強調され、２５ｍｓのハミングウインドウをかけて１０ｍｓずつ移動しながら分析される。この過程を通じて、音声特徴パラメータは、１２次ＬＰＣ−ＭＥＬ  スペクトル係数と正規化された代数エネルギに１次及び２次の成分を含んで総３９次の特徴パラメータを適用することができる。
【００３２】
このような特徴パラメータが適用される音声認識モードは、各状態位置ごとに音声決定木を生成し、学習音声データを用いてＳＳＳ（Ｓｕｃｃｅｓｓｉｖｅ  Ｓｔａｔｅ  Ｓｐｌｉｔｔｉｎｇ：以下ＳＳＳ）によって文脈依存音響モデルの状態シーケンスを学習する方法を適用することができる。この方法は、状態分割を行う速度が速いので、ＳＳＳによって分割する状態を選択して分割すると同時に、全体分割可能な状態に対して状態分割を行い、状態の最高次数を選択することができる。また、ボイスＵＩ処理部２４０で適用される音響モデルは、隠れマルコフモデルが適用される。また、ボイスＵＩ処理部２４０は、多様なアルゴリズムに基づき音声波を周波数分析して母音を特徴づける音域または、それと等価の特徴を抽出して分離する方法を適用する。ボイスＵＩ処理部２４０は、上述した音声認識アルゴリズムだけでなく、多様な音声認識アルゴリズムを適用することができる。
【００３３】
上述したように、本発明の実施形態に係る携帯端末機１００は、センサ部１７０から伝達されるセンサ信号に基づいてグリップセンサ信号とスクイーズセンサ信号を生成し、該当信号により携帯端末機のユーザ機能を制御するように支援する。また、携帯端末機１００は、グリップセンサ信号とスクイーズセンサ信号及びタッチイベントと音声認識信号をそれぞれ混用し、アプリケーションの制御に必要な命令語を生成できるように支援することによって、端末機のユーザは、さらに多様な運用方式を利用することができる。以下、携帯端末機の多様な運用による実施形態を図面を参照して、さらに詳細に説明する。
【００３４】
図４は、本発明の第１実施形態に係る携帯端末機１００の運用を説明するための図である。
【００３５】
図１及び図４を参照すれば、携帯端末機１００は、端末機のユーザが携帯端末機１００の一側を把持した状態で、センサ部１７０に一定の力を段階的に増加することにより、表示パネル１４１に出力されるイメージ変化を行う。これをより詳細に説明すれば、端末機のユーザが、センサ部１７０が設けられた端末機の外観を把持した状態で、予め設定された一定範囲の力を提供し、センサ部１７０が一定圧力、例えば、１Ｎ以上から２Ｎ未満の圧力を検出する場合、携帯端末機１００は、４０１画面のような一定大きさのイメージを出力することができる。また、端末機のユーザが以前に提供された力よりもさらに大きい力を提供して、センサ部１７０が検出する圧力が一定圧力、例えば、２Ｎ以上から３Ｎ未満の圧力を検出する場合、携帯端末機１００は、４０３画面のように４０１画面に出力されたイメージよりも大きいイメージを出力することができる。すなわち、携帯端末機１００は、４０１画面に出力されたイメージをズームイン（Ｚｏｏｍ−ｉｎ）して出力することができる。その後、端末機のユーザが４０３画面が出力された状態で提供された力よりもさらに大きい力を提供して、センサ部１７０が検出する圧力が一定圧力、例えば、３Ｎ以上から４Ｎ未満の圧力を検出する場合、携帯端末機１００は、４０５画面のように４０３画面に出力されたイメージよりも大きいイメージを出力することができる。すなわち、携帯端末機１００は、４０３画面に出力されたイメージをズームインして４０５画面のように出力することができる。このように、携帯端末機１００は、端末機のユーザが提供する力が大きくなるにつれて、さらに大きい圧力を検出することができ、それにより表示パネル１４１に出力されるイメージのズームイン機能を段階的に進行させて出力することができる。
【００３６】
ここで、端末機のユーザが提供する力による圧力を検出するセンサ部１７０は、複数のピエゾセンサが設けられた場合、各センサの平均値を基準として圧力評価を行うことができる。これをより詳細に説明すれば、端末機のユーザが端末機を把持した状態で各指に力を集中する時、各指に含まれた筋肉と骨の大きさ及び位置が異なるので、各ユーザが各指に一定の力を加えるように指示したとしても、各指を通じて端末機の外観に配置される複数のセンサに提供される力の大きさは異なる。したがって、携帯端末機１００は、特定指から伝達される力の大きさだけを基準として圧力を評価するよりは、センサ部１７０の全体に提供される力により発生する圧力を平均で計算して判断することがさらに好ましい。
【００３７】
図５は、本発明の第２実施形態に係るスクイーズ基盤の携帯端末機１００の運用を説明するための図である。説明に先立ち、図５に示された携帯端末機は、端末機のユーザが一定圧力、例えば、４Ｎ以上の圧力に該当する力を端末機の一側に設けられたセンサ部１７０に持続的に作用していることと仮定する。
【００３８】
図１及び図５を参照すれば、携帯端末機１００は、端末機のユーザが端末機外観を把持した状態で、端末機外観に配置されたセンサ部１７０に上記したような４Ｎ以上の力を提供することにより、表示パネル１４１に一定大きさでズームインされたイメージを出力し、この状態で加えられる力の大きさが減少するにつれて、イメージをズームアウト（Ｚｏｏｍ−Ｏｕｔ）するように制御する画面を示す。これをさらに詳細に説明すれば、端末機のユーザがセンサ部１７０が設けられた端末機外観を把持した状態で、予め設定された一定範囲の力を端末機外観に設けられたセンサ部１７０に提供し、センサ部１７０が一定圧力、例えば、４Ｎ以上の圧力になる場合、携帯端末機１００は、５０１画面のような一定大きさのイメージを出力することができる。また、端末機のユーザが以前に提供された力よりも小さい力を提供し、センサ部１７０が検出する圧力が一定圧力、例えば、３Ｎ未満から２Ｎ以上の圧力を検出する場合、携帯端末機１００は、５０３画面のように５０１画面に出力されたイメージよりも小さいイメージを出力することができる。すなわち、携帯端末機１００は、５０１画面に出力されたイメージをズームアウトして出力することができる。その後、端末機のユーザは、５０３画面が出力された状態で提供された力よりもさらに小さい力を提供し、センサ部１７０が検出する圧力が一定圧力、例えば、２Ｎ未満から１Ｎ以上の圧力を検出する場合、携帯端末機１００は、５０５画面のように５０３画面に出力されたイメージよりも小さいイメージを出力することができる。すなわち、携帯端末機１００は、５０３画面に出力されたイメージをズームアウトして出力することができる。このように、携帯端末機１００は、端末機のユーザが加える力が小さくなるにつれて、さらに小さい圧力を検出することができ、それにより表示パネル１４１に出力されるイメージのズームアウト機能を段階的に進行させて出力することができる。
【００３９】
一方、上述した説明では、一定大きさ以上の圧力が加えられ、特定イメージがズームインされて出力された状態で、圧力が小さくなるにつれてズームインされたイメージがズームアウトされると説明したが、本発明がこれに限定されるものではない。すなわち、携帯端末機１００は、ユーザが一定大きさ以上の圧力を加える間、５０１画面に出力された状態のイメージを維持して、加えられた圧力が再び小さくなるにつれて、５０３及び５０５画面のようにイメージの大きさが変化されるように出力することもできる。
【００４０】
図６は、本発明の第３実施形態に係るグリップ及びスクイーズ基盤の携帯端末機運用を説明するための図である。
【００４１】
図１及び図６を参照すれば、本発明の携帯端末機１００は、端末機のユーザが携帯端末機１００を把持し、メニュー機能を活性化するにつれて６０１画面のようにメニュー画面を出力することができる。これをさらに詳細に説明すれば、携帯端末機１００は、端末機のユーザがセンサ部１７０が設けられた携帯端末機１００の一側を把持する場合、加えられる力の大きさが予め設定された圧力値以下の場合、グリップ状態を検出することができ、センサ部１７０は、グリップ状態によるグリップセンサ信号を生成して制御部１６０に伝達することができる。そうすると、制御部１６０は、受信したグリップセンサ信号に基づいて特定機能を行うことができる命令語を生成できるが、端末機の設定によってメニュー画面を出力する命令語を生成し、これに基づいてメニュー画面を出力することができる。また、別途設定がない場合、制御部１６０は、入力部１２０またはタッチスクリーン１４０から伝達される入力信号またはタッチイベントにより、メニュー機能に対応するメニュー画面を出力することもできる。
【００４２】
その後、端末機のユーザが端末機外観に設けられたセンサ部１７０に一定大きさ以上の圧力、すなわち、グリップ状態を外れてスクイーズ状態に遷移される大きさの圧力を提供する場合、携帯端末機１００は、６０３画面のように６０１画面でハイライトされているメニュー項目である「画面」のサブメニューに該当する画面を出力することができる。また、携帯端末機１００は、加えられた圧力が減り、グリップ状態に該当する圧力状態に遷移されれば、６０３画面から６０１画面に復帰するように制御することができる。以上で説明したように、本発明の携帯端末機１００は、グリップセンサ信号とスクイーズセンサ信号に基づいてメニューの深さ（Ｄｅｐｔｈ）を変更できるように支援する。
【００４３】
また、本発明の携帯端末機１００は、一定大きさの圧力を提供するスクイーズセンサ信号が発生する場合、６０１画面を出力することができ、該当圧力が増加してスクイーズの圧力を区分する段階が変更される場合、６０３画面のようにサブメニュー画面を出力するように制御する。これをさらに詳細に説明すれば、携帯端末機１００は、端末機のユーザが端末機を一定大きさの圧力以下で把持するグリップ状態では、待機画面を出力するように制御し、一定大きさ以上、例えば、１Ｎ以上２Ｎ未満の圧力を提供する第１スクイーズ状態に変更される場合、６０１画面のように予め設定されたメニュー画面を出力するように制御することができる。また、携帯端末機は、６０１画面が出力された状態で、以前よりも大きい圧力、例えば、２Ｎ以上３Ｎ未満の圧力を提供する第２スクイーズ状態に変更される場合、６０３画面のように６０１画面で指示されているメニュー項目のサブメニュー項目を出力することができる。このとき、６０１画面で指示されているメニュー項目のサブメニューがない場合、携帯端末機１００は、それに対応するメッセージ、すなわち、サブメニュー項目がないことを指示するメッセージを音声やテキスト、または振動などで出力するように制御することができる。
【００４４】
しかも、携帯端末機１００は、６０３画面が出力された状態で特定サブメニュー項目、例えば、「照明設定」が指示され、以前に提供された圧力よりも大きい圧力、例えば、３Ｎ以上４Ｎ未満の圧力を提供する第３スクイーズ状態に変更される場合、照明設定のサブメニューが存在する場合、該当サブメニューを出力するように制御でき、サブメニューが存在しない場合、照明設定機能の活性化による画面を出力するように制御することができる。また、加えられる圧力が小さくなり、以前のスクイーズ状態で段階的に遷移される場合、携帯端末機１００は、段階的に６０３画面及び６０１画面を出力することができる。
【００４５】
上述したように、本発明の実施形態に係る携帯端末機１００は、センサ部１７０に加えられる圧力の変化によって特定画面を出力し、特定画面に出力された項目のうち指示された項目とリンクされている画面を出力するか、項目に設定された機能を行うように制御することができ、該当機能とリンクされた項目が出力されている画面またはリンクされた画面の前の画面への変更も支援することができる。
【００４６】
図７は、本発明の第４実施形態に係るグリップ及びスクイーズ基盤の携帯端末機の運用を説明するための図である。
【００４７】
図１及び図７を参照すれば、携帯端末機１００は、ユーザ設定または端末機設定によって待機画面を出力することができ、待機画面にはユーザが設定するか、デフォルトで設定されている多様なアイコンが７０１画面のように出力される。このとき、７０１画面で出力されているアイコンは、それぞれ特定機能を行うことができる機能アイコンであってもよく、例えば、ゲーム機能を提供するゲームアイコン、メッセージ機能を提供するメニューアイコン、スケジュール機能を提供するウィジェットアイコン等であってもよい。このような待機画面は、携帯端末機１００に電源が供給された後に提供されるか、スリープ状態の後で特定入力信号の発生により提供される。特に、本発明の携帯端末機１００は、ユーザが端末機外観に設けられたセンサ部１７０を一定大きさ以下の力で把持することで発生するグリップ状態に遷移される場合、７０１画面のような待機画面を出力することができる。また、本発明の携帯端末機１００は、ユーザが端末機外観に設けられたセンサ部１７０を一定大きさ以下の力で把持して端末機がグリップ状態を取り、一定大きさ以上の力で把持して端末機がスクイーズ状態に遷移する場合、７０１画面のような待機画面を出力するように制御してもよい。
【００４８】
その後、以前のグリップ状態からユーザが一定大きさ以上の力を提供してスクイーズ状態に変更されるか、以前に一定大きさ以上の力によって第１スクイーズ状態を取り、さらに大きい力が提供されて第２スクイーズ状態に変更される場合、携帯端末機１００は、７０３画面のように待機画面に出力されているアイコンの機能に関するテキストを出力する。これをさらに詳細に説明すれば、携帯端末機１００は、７０１画面が出力されている状態で以前に提供された力の大きさよりも大きい力が提供され、センサ部１７０が以前よりも大きい圧力を検出する場合、各アイコンがどの機能を提供するかを説明するマニュアルをテキストや停止または動画イメージで出力するように制御する。すなわち、携帯端末機１００は、ゲームアイコンの場合、ゲームアイコンに基づいて遂行できるゲーム形態やゲーム方式に関する情報をアイコンイメージと隣接する領域に出力する。同一の方式で携帯端末機１００は、メッセージアイコンの場合、メッセージを受信した個数や、受信したメッセージのうち未確認の個数、受信したメッセージのうちスパムの個数などのような情報をメッセージアイコンが出力された領域と隣接する領域に出力する。また、携帯端末機１００は、スケジュールアイコンの場合、本日付で記録されたスケジュール情報をアイコンが出力された領域と隣接する領域に出力する。一方、携帯端末機１００のセンサ部１７０に提供された圧力が除去される場合、携帯端末機１００は、出力されたテキストやイメージを画面から除去するように制御することができる。
【００４９】
以上で説明したように、本発明の実施形態に係る携帯端末機１００は、提供される圧力の変化によってアイコン情報を画面の一側に出力するように制御することができる。
【００５０】
図８は、本発明の第５実施形態に係るグリップ及びスクイーズ基盤の携帯端末機の運用を説明するための図である。説明に先立ち、以下で説明する携帯端末機１００は、表示パネル１４１を中心にして左側に４個のセンサが一定間隔に配置された状態であり、端末機のユーザが右手で複数のセンサが配置された端末機の一側を把持することにより、各センサは、各指と接触した状態になる。すなわち、携帯端末機１００の左上側から左下側に一定間隔で配置された４個のセンサは、端末機ユーザの指のうち親指を除いた残り指とそれぞれ対応する。ユーザの側面で端末機ユーザの４個の指１１，１２，１３，１４は、左側に設けられた４個のセンサの各々に該当する位置を把持するようになる。
【００５１】
図１及び図８を参照すれば、端末機のユーザは、上述したように右手で携帯端末機１００の一側を把持することができ、それにより携帯端末機１００は、指の接触により発生する圧力を検出して一定大きさ以下の圧力の場合、グリップ状態であることを検出する。その後、携帯端末機１００は、入力部１２０またはタッチスクリーン１４０を通じて生成された入力信号またはタッチイベントにより、ユーザ機能、例えば、８０１画面のようにファイル検索のためのマルチイメージ出力機能を行うことができる。マルチイメージ出力機能の遂行による携帯端末機１００は、一定個数、例えば、１２個のマルチイメージを表示パネル１４１に整列して出力することができる。ここで、携帯端末機１００は、入力部１２０またはタッチスクリーン１４０からの入力信号またはタッチイベントに関係なく、センサ部１７０が収集した圧力の分布により決定されるグリップ状態またはスクイーズ状態により、マルチイメージ出力機能を遂行する。このために、携帯端末機１００は、センサ部１７０がグリップ状態またはスクイーズ状態を指示するセンサ信号を出力する場合、マルチイメージ出力機能が遂行されるようにする設定が必要となる。この設定は、端末機のユーザがタッチスクリーン１４０または入力部１２０を用いて構成するか、端末機の設計者によって設計される。
【００５２】
一方、８０１画面が出力された状態で、端末機のユーザが以前に提供された力よりも大きい力を特定の部分に提供する場合、携帯端末機１００は、それによる圧力分布を検出することができる。これをさらに詳細に説明すれば、端末機のユーザが携帯端末機１００の外観を右手で把持することにより、親指を除いた人差し指１１、中指１２、薬指１３、小指１４は、それぞれ左上側から左下側まで順に配置される。一方、携帯端末機１００に設けられたセンサ部１７０は、各指１１，１２，１３，１４に一対一に対応する４個のセンサを含んでもよいが、この場合、センサ部１７０は、各指１１，１２，１３，１４で提供される物理力により一定圧力及び圧力分布を検出することができる。このような状態で、端末機ユーザが特定の指、例えば、人差し指１１に加えられる力を他の指に比べて大きく提供する場合、携帯端末機１００は、８０３画面のように相対的に大きい力が加えられた部分に該当する表示パネル１４１の領域を他の領域に比べて大きく表示するように制御する。すなわち、携帯端末機１００は、「Ａ、Ｂ、Ｃ」コンテンツイメージを大きく表示し、他のイメージ、例えば、「Ｄ、Ｅ、Ｆ」コンテンツイメージの上部に一定部分がオーバーラップされるように出力する。この過程で、携帯端末機１００は、「Ａ、Ｂ、Ｃ」コンテンツイメージを除いた残りの「Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ」コンテンツイメージの大きさを以前と同一に維持するように制御する。このために、携帯端末機１００は、センサ部１７０に含まれた４個のセンサが配置されたことに基づいて、表示パネル１４１の表示領域を各々４個の領域に区分し、区分された各領域を４個のセンサ各々にマッピングする。これに伴い、携帯端末機１００は、４個のセンサのうち相対的に最も大きい力が提供されるセンサにマッピングされた表示領域を、他の領域と異なるように表現、例えば、ズームイン機能を提供して表現するように制御する。
【００５３】
その後、携帯端末機１００は、特定センサに提供された力が小さくなるにつれて、小さくなった圧力が検出されれば、８０１画面に画面が復帰するように制御する。ここで、携帯端末機１００は、特定センサに加えられる力の増加により、特定の表示領域を他の領域と異なる機能が遂行されるように制御することと説明したが、本発明がこれに限定されるものではない。すなわち、端末機のユーザは、４個のセンサに配置された指のうち、人差し指１１と中指１２に他の指に比べて大きい力を加え、この場合、携帯端末機１００は、人差し指１１と中指１２が配置された領域に位置したセンサに割り当てられた表示領域を他の表示領域と異なる機能、例えば、表示領域に出力されたイメージを大きく出力するズームイン機能が遂行されるように制御する。
【００５４】
上述した説明では、相対的に大きい圧力が加えられたセンサに割り当てられる表示領域のイメージ及びテキストのうち少なくとも一つをズームインし、残りセンサに割り当てられた表示領域のイメージ及びテキストに比べて大きく表示することと説明したが、本発明の携帯端末機の入力方法では、相対的に大きい圧力が加えられたセンサに割り当てられる表示領域のイメージ及びテキストのうち少なくとも一つをズームアウトし、残りセンサに割り当てられた表示領域のイメージ及びテキストに比べて小さく表示してもよい。
【００５５】
上述したように、本発明の実施形態に係る携帯端末機１００は、表示領域をセンサ部１７０に含まれたセンサの個数に対応するように区分し、各センサに加えられる力によって検出される圧力分布を判断し、特定圧力が発生するセンサに割り当てられた表示領域に出力されるイメージやテキストを特定圧力の変化により他の表示領域に比べて、大きく表示するズームイン機能が適用されるように制御する。
【００５６】
図９は、本発明の第６実施形態に係るグリップ状態及びスクイーズ状態基盤の携帯端末機の運用を説明するための図である。説明に先立ち、図９に示された携帯端末機もまた、図８に示された携帯端末機と類似するように左側面に一定個数のセンサが一定間隔で配置されたことと仮定し、端末機のユーザが右手を用いて端末機を把持することと仮定する。しかし、本発明は、これに限定されるものではなく、右側面に一定個数のセンサが一定間隔をもって配置されてもよく、また、端末機のユーザが左手を用いて端末機を把持してもよい。
【００５７】
図１及び図９を参照すれば、本発明の携帯端末機１００は、ユーザの要請などにより特定コンテンツを９０１画面のように表示パネル１４１に出力することができる。すなわち、携帯端末機１００は、ユーザがコンテンツ検索を行うための入力信号を生成する場合、それに対応して予め設定されたフォーマットにより特定コンテンツを表示パネル１４１に出力することができる。例えば、携帯端末機１００は、４個のコンテンツを表示パネル１４１の上側から順序に整列して出力することができる。このようなコンテンツの出力は、メニュー機能の選択またはホットキーの入力により行われ、また、端末機の設定により携帯端末機１００がグリップ状態または特定段階の圧力が提供されるスクイーズ状態を取る場合、行われてもよい。このとき、端末機のユーザの各指１１，１２，１３，１４は、４個のコンテンツが出力された表示領域と並んで配置され、携帯端末機１００のセンサ部１７０に含まれる複数のセンサは、指１１，１２，１３，１４が配置された位置に設けられてもよい。
【００５８】
このような状態で、端末機のユーザが特定の指、例えば、人差し指１１に加えられる力を他の指に比べて大きくするように制御する場合、携帯端末機１００は、左側に設けられた４個のセンサのうち人差し指１１が位置したセンサが検出した圧力を他のセンサが検出した圧力よりも大きい圧力で検出することができる。これにより、携帯端末機１００は、人差し指１１が配置された領域と並んで表示領域に割り当てられたコンテンツを他の表示領域に割り当てられたコンテンツと異ならせて表示するように制御する。すなわち、携帯端末機１００は、人差し指１１が配置された領域に該当する表示領域に出力された「Ａ」コンテンツのイメージをズームインして大きく表示するように制御する。また、携帯端末機１００は、「Ａ」コンテンツのイメージを大きく表示する間、残りのコンテンツ、すなわち、「Ｂ、Ｃ、Ｄ」コンテンツのイメージを以前のイメージよりも小さく表示するように制御する。
【００５９】
上述したように、本発明の実施形態に係る携帯端末機１００は、表示領域に出力されるコンテンツの変化をセンサに作用する力の分布によって変化するように制御することにより、コンテンツの検索をより容易に支援することができる。
【００６０】
図１０は、本発明の第７実施形態に係るグリップ、スクイーズ、タッチ、ボイス機能による携帯端末機の運用を説明するための図である。説明に先立ち、携帯端末機１００は、一定時間の間、別途入力信号が発生しないかユーザの要請によりスリープ（Ｓｌｅｅｐ）状態にあることと仮定する。スリープ状態で携帯端末機１００は、電源を節約するために表示パネル１４１に供給される電源を遮断させることができる。
【００６１】
図１及び図１０を参照すれば、スリープ状態にある携帯端末機１００は、端末機のユーザが端末機外観を把持することにより、端末機外観に設けられたセンサ部１７０に加えられる力を検出することができる。この過程でセンサ部１７０は、外部から作用する力に反応してセンサ信号を生成する構造を有し、これにより、携帯端末機１００は、センサ部１７０に別途電源を供給しなくてもよい。一方、端末機のユーザが一定大きさ以下の力を端末機外観に作用させる場合、センサ部１７０は、伝達される力によって発生する圧力を検出し、検出した圧力が一定大きさ以下の場合、現在状態をグリップ状態と判断することができる。そうすると、携帯端末機１００は、１００１画面のように現在活性化されているアプリケーションによって提供される画面を表示パネル１４１に出力するように制御することができる。例えば、携帯端末機１００は、ファイル再生機能に該当するアプリケーションを活性化している状態で、予め設定された時間の間、別途入力信号がない場合、スリープ状態に遷移される。その後、携帯端末機１００は、グリップ状態に該当するセンサ信号がセンサ部１７０から伝達されれば、スリープ状態に遷移される直前に表示パネル１４１に出力されたイメージに基づいて画面を再構成するか、現在活性化されているアプリケーションの再生時点に対応する画面を構成することで、出力するように制御することができる。このとき、携帯端末機１００は、グリップ状態に対応する命令語に基づいて端末機を運用できるように支援する。すなわち、携帯端末機１００は、示されたように、ファイル再生機能に対応する画面を表示パネル１４１に提供することにより、現在どのファイルを再生しているかをユーザに知らせることができる。また、携帯端末機１００は、現在状態をタッチスクリーン１４０のタッチパネル１４３、または入力部１２０から発生するタッチイベント、または入力信号をアプリケーションに適用しない状態、すなわち、ロック状態に設定することができる。このような設定は、命令語テーブル１６１を基準として運用され、これのために命令語テーブル１６１には、ファイル再生機能が活性化した状態でスリープ状態に遷移された後、グリップ状態に該当するセンサ信号が発生する場合、ファイル再生制御のための信号を遮断するロック状態の設定に該当する命令語が保存される。このような命令語は、ユーザによって設計され、また、端末機の設計者によって端末機の製造時に設計される。
【００６２】
一方、１００１画面のようにロック状態でファイル再生機能を活性化している携帯端末機１００は、ファイル再生機能によるオーディオ信号出力を維持することができる。その後、端末機のユーザが一定大きさ以上の力をセンサ部１７０が配置された端末機外観に提供する場合、センサ部１７０は、以前のグリップ状態からスクイーズ状態に変更されることと判断する。そうすると、携帯端末機１００は、命令語テーブル１６１を参照してファイル再生機能の活性化中にグリップ状態からスクイーズ状態に遷移する場合に該当する命令語、すなわち、ロック状態を解除してアンロック状態に変更する命令語を生成し、これに基づいて端末機の運用を制御することができる。これにより、携帯端末機１００は、１００３画面のようにタッチスクリーン１４０を利用できる状態になる。また、携帯端末機１００は、１００１画面に示したように入力部１２０を用いて、ロック状態からファイル再生機能を制御するための入力信号を受信処理できる状態に変更することができる。
【００６３】
１００３画面のように一定大きさ以上の力が持続的に提供されてスクイーズ状態を維持し、端末機のユーザがファイル再生制御のために割り当てられたタッチパネル１４３の領域以外の他の領域、例えば、活性化したファイルに含まれたイメージを出力する表示パネル１４１の領域に対応するタッチパネル１４３の領域でタッチイベントが発生する場合、携帯端末機１００は、１００５画面のようにタッチスクリーン１４０の一側にメニュー画面を出力することができる。すなわち、携帯端末機１００は、スクイーズセンサ信号と特定のタッチイベントが発生する場合、これをメニュー画面出力のための命令語生成と判断し、タッチスクリーン１４０の一側にそれに対応するメニュー画面を出力するように制御することができる。
【００６４】
また、１００３画面のように一定大きさ以上の力が持続してスクイーズセンサ信号を生成し、ボイス入力に該当する音声認識機能による音声認識信号が生成される場合、携帯端末機１００は、１００７画面のようにメニュー画面を出力することができる。すなわち、携帯端末機１００は、スクイーズセンサ信号と特定の音声認識信号が発生する場合、これをメニュー画面出力のための命令語生成と判断し、命令語生成及びそれによるメニュー画面出力を制御することができる。このために、携帯端末機１００は、現在状態がスクイーズ状態である場合、音声認識機能の支援のためのマイク活性化及びマイクが収集したオーディオ信号に基づいて、音声認識機能が運用されるように制御する。
【００６５】
上述したように、本発明の実施形態に係る携帯端末機１００は、グリップ状態及びスクイーズ状態による端末機運用を制御することができ、スクイーズ状態でさらに発生するタッチイベントと音声認識機能を混用し、特定のユーザ機能の遂行を支援することができる。上述した説明では、スクイーズ状態でタッチイベントと音声認識機能がさらに発生することと説明したが、グリップ状態でタッチイベントと音声認識機能がさらに発生されてもよい。そうすると、携帯端末機１００は、グリップ状態とタッチイベント、またはグリップ状態と音声認識機能による命令語生成を制御し、生成された命令語に基づいて特定のユーザ機能を支援するように制御する。
【００６６】
以上では、本発明の実施形態に係る携帯端末機の入力装置及び運用による画面インターフェースの一例を説明した。以下では、上述した入力装置に基づいて運用される携帯端末機の入力方法について図面を参照しながら、さらに詳細に説明する。
【００６７】
図１１は、本発明の実施形態に係る携帯端末機の入力方法を説明するためのフローチャートである。
【００６８】
図１及び図１１を参照すれば、本発明の携帯端末機１００は、電源が供給されれば、供給された電源に基づいて携帯端末機１００の各構成を初期化し、初期化された状態が完了すれば、Ｓ１０１段階で予め設定された待機画面を表示パネル１４１に出力するように制御する。この過程で携帯端末機１００は、予め設定された時間の間、使用されないことでスリープ状態に遷移され、活性化する場合にも上述した待機画面を表示パネル１４１に出力するように制御する。また、携帯端末機１００は、表示パネル１４１が活性化する場合、ユーザの要請によりタッチパネル１４３を活性化してユーザのタッチを認識できる準備を完了することができる。
【００６９】
次に、携帯端末機１００は、Ｓ１０３段階でユーザの要請により特定アプリケーションを活性化するように制御する。すなわち、携帯端末機１００は、ユーザが入力部１２０またはタッチスクリーン１４０を介して特定のユーザ機能を活性化しようとする場合、発生する入力部１２０の入力信号またはタッチスクリーン１４０のタッチイベントにより、該当ユーザ機能、例えば、ファイル再生機能、ファイル検索機能、カメラ機能、ウェブ接続機能、通話機能、フォンブック機能、スケジュール機能など多様な機能のうち少なくとも一つの機能を活性化するように制御する。
【００７０】
その後、携帯端末機１００は、Ｓ１０５段階でセンサ部１７０の活性化有無を確認することができる。すなわち、端末機のユーザがセンサ部１７０に提供する力の大きさにより、携帯端末機１００は、グリップ状態またはスクイーズ状態に基づいてアプリケーションを制御するか否かを確認することができる。実質的に、Ｓ１０５段階では、センサ部１７０に電源を供給することを決定し、電源供給によるハードウェアを初期化してもよいが、センサ部１７０は、待機画面が出力されるＳ１０１段階の以前に活性化されて待機してもよい。すなわち、ユーザ設定により携帯端末機１００は、デフォルトでセンサ部１７０を活性化するように制御することができる。Ｓ１０５段階でセンサ部を活性化しない場合、携帯端末機１００は、Ｓ１０７段階に分岐して端末機の他の入力装置の構成、例えば、入力部１２０、タッチパネル１４３、音声認識機能のためのマイク等から伝達される信号によるユーザ機能を遂行するように制御することができる。
【００７１】
一方、Ｓ１０５段階でセンサ部１７０の活性化が決定されれば、携帯端末機１００は、Ｓ１０９段階に分岐してセンサ部１７０を活性化し、Ｓ１１１段階に分岐して現在の状態が予め設定された一定大きさ以下の力提供による一定大きさ以下の圧力検出によるグリップ状態であるか否か確認することができる。Ｓ１１１状態でグリップ状態ではない場合、携帯端末機１００は、Ｓ１０７段階に分岐して他の入力装置から伝達される信号によりアプリケーション運用を制御することができる。その反面、端末機のユーザがセンサ部１７０が配置された端末機外観を把持する場合、携帯端末機１００は、Ｓ１１１段階のようにグリップ状態と判断することができ、この場合、Ｓ１１３段階に分岐してグリップ状態による命令語生成を遂行することができる。また、携帯端末機１００は、生成された命令語に基づいて端末機の運用を制御することができる。このために携帯端末機１００は、格納部１５０に保存された命令語テーブル１６１を参照することができる。
【００７２】
次に、携帯端末機１００は、Ｓ１１５段階で現在の状態がスクイーズ状態に変更されるか否かを確認し、別途変更が発生しない場合、Ｓ１０９段階の以前に分岐して以下の過程を繰り返して遂行することができる。一方、Ｓ１１５段階で携帯端末機１００は、以前に提供された力よりも大きい力が提供されることによって、予め設定された一定大きさ以上の圧力が検出される場合、グリップ状態からスクイーズ状態に変更されるものと判断することができる。この場合、携帯端末機１００は、Ｓ１１６段階に分岐してスクイーズ状態による命令語を命令語テーブル１６１を参照して生成する。ここで、携帯端末機１００は、スクイーズ状態中で段階的に提供される力の大きさの変化により圧力が段階的に変わる場合、スクイーズ状態を複数のスクイーズ状態に区分して判断することができる。また、携帯端末機１００は、各スクイーズ状態によりそれぞれ異なる命令語を生成するように制御するか、段階的に変化するスクイーズ状態に他の特定機能、例えば、ズームイン機能またはズームアウト機能が遂行されるように制御する。また、携帯端末機１００は、上述したように、複数のセンサが端末機外観に一定位置にそれぞれ配置され、それぞれのセンサから伝達される圧力分布が互いに異なる場合、異なる圧力分布による命令語を生成し、生成された命令語に基づいてアプリケーションの運用を制御することができる。例えば、携帯端末機１００は、特定位置でセンサに加えられる圧力が他の位置に加えられる圧力よりも大きい場合、該当位置にマッピングされた表示パネル１４１上でのイメージやテキストの変化を、他の表示パネル１４１上でのイメージやテキストと異なって変化するように制御する。
【００７３】
一方、Ｓ１１５段階でグリップ状態からスクイーズ状態に変更される場合、携帯端末機１００は、Ｓ１１７段階に分岐して追加的なボイス入力またはタッチ入力が発生するか否かを確認することができる。このために、携帯端末機１００は、マイクを活性化して収集されるオーディオ信号を音声認識するように制御することができ、タッチパネル１４３が活性化していない場合、タッチパネル１４３を活性化するように制御することができる。別途ボイスの入力またはタッチ入力が発生しない場合、携帯端末機１００はＳ１１６段階に分岐する。
【００７４】
Ｓ１１７段階でボイス入力またはタッチ入力が発生する場合、携帯端末機１００は、Ｓ１１９段階に分岐し、スクイーズ状態とボイス認識による命令語を生成するか、スクイーズ状態とタッチイベントによる命令語を生成するように制御する。その後、携帯端末機１００は、Ｓ１２１段階に進んでＳ１１９段階またはＳ１１６段階で生成された命令語をアプリケーションに適用するように制御する。その後、携帯端末機１００は、Ｓ１２３段階でアプリケーションの終了または端末機の終了有無を確認し、終了のための入力信号が生成されない場合、Ｓ１０９段階の以前に分岐して以後の過程を繰り返して遂行することができる。
【００７５】
上述したように、本発明の実施形態に係る携帯端末機の入力方法及び装置は、グリップ状態またはスクイーズ状態に基づいて現在活性化されているアプリケーションに適用される命令語を生成するように支援する一方、他の入力装置、例えば、タッチパネルと音声認識基盤の入力装置から生成された信号と混合し、特定命令語を生成できるように支援する。これにより、本発明の携帯端末機の入力方法及び装置は、携帯端末機の運用に必要な命令語生成をさらに容易に且つ迅速に行うことができるように支援し、さらに複合的で多様な命令語生成を支援することができる。
【００７６】
以上、本発明を幾つかの好ましい実施形態を使用して説明したが、これら実施形態は例示的なものであり限定的なものではない。このように、本発明が属する技術分野で通常の知識を有する者であれば、本発明の思想と添付された特許請求の範囲に提示された権利範囲から外れずに、均等論により多様な変化と修正を加えることが可能であることを理解するだろう。
【符号の説明】
【００７７】
１００  携帯端末機
１１０  無線周波数部
１２０  入力部
１３０  オーディオ処理部
１４０  タッチスクリーン
１５０  格納部
１６０  制御部
１７０  センサ部
１４１  表示パネル
１４３  タッチパネル
【図１】
2013505495.tif 000003
【図２】
2013505495.tif 000004
【図３】
2013505495.tif 000005
【図４】
2013505495.tif 000006
【図５】
2013505495.tif 000007
【図６】
2013505495.tif 000008
【図７】
2013505495.tif 000009
【図８】
2013505495.tif 000010
【図９】
2013505495.tif 000011
【図１１】
2013505495.tif 000012
【図１０】
2013505495.tif 000013
【国際調査報告】
2013505495.tif 000014
2013505495.tif 000015