(57)【要約】【課題】ユーザが通話中の会話の内容を記憶する、もしくはメモを取るなどの作業を省略してユーザの負担を軽減すると共に、アプリケーションへの入力内容の間違いなどを防止する携帯端末装置を提供する。【解決手段】携帯端末装置は、通話中の会話の内容を音声認識する音声認識手段と、前記音声認識手段によって前記音声認識された前記会話の内容に基づいて、アプリケーションを起動するアプリケーション起動手段と、前記アプリケーション起動手段によって起動されたアプリケーション上で、前記音声認識手段によって前記音声認識した前記会話の内容に基づいて、当該会話の内容を登録するデータ登録手段とを備える。【選択図】図１
2008109263.tif 000002
【特許請求の範囲】
【請求項１】
通話中の会話の内容を音声認識する音声認識手段と、
前記音声認識手段によって前記音声認識された前記会話の内容に基づいて、アプリケーションを起動するアプリケーション起動手段と、
前記アプリケーション起動手段によって起動されたアプリケーション上で、当該会話の内容を登録するデータ登録手段と、
を備えたことを特徴とする携帯端末装置。
【請求項２】
前記アプリケーション起動手段は、
前記音声認識手段によって前記音声認識した前記会話の内容から、予め登録されたキーワードを検索する起動用キーワード検索手段を更に備え、
前記起動用キーワード検索手段によって検索された前記キーワードに関係付けられたアプリケーションを起動する
ことを特徴とする請求項１記載の携帯端末装置。
【請求項３】
前記データ登録手段は、
前記アプリケーションに予め関係付けられると共に、登録用キーワードとして登録されたデータ登録用キーワードによって前記会話の内容を検索する登録用キーワード検索手段を更に備え、
前記登録用キーワード検索手段によって検索された当該会話の内容を登録する
ことを特徴とする請求項１又は２に記載の携帯端末装置。
【請求項４】
前記音声認識手段が、通話中の受話側音声、又は送話側音声の少なくとも何れか一方を用いることを特徴とする請求項３に記載の携帯端末装置。
【請求項５】
前記音声認識手段が、前記音声認識された結果をリアルタイムにＸＭＬによって書き出し、
前記データ登録手段が、該ＸＭＬのデータから該当する前記会話の内容をリアルタイムに登録する
ことを特徴とする請求項１乃至４のうち何れか１項に記載の携帯端末装置。
【請求項６】
通話中の会話の内容を音声認識し、
前記音声認識された前記会話の内容に基づいて、アプリケーションを起動し、
起動された前記アプリケーション上で、当該会話の内容を登録する
ことを特徴とする携帯端末装置のアプリケーション起動方法。
【請求項７】
通話中の会話の内容を音声認識する音声認識手順と、
前記音声認識手順によって前記音声認識された前記会話の内容に基づいて、アプリケーションを起動するアプリケーション起動手順と、
前記アプリケーション起動手順によって起動されたアプリケーション上で、当該会話の内容を登録するデータ登録手順と、
をコンピュータに実行させることを特徴とする携帯端末装置のアプリケーション起動プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は携帯端末装置、携帯端末装置のアプリケーション起動方法、及び携帯端末装置のアプリケーション起動プログラムに関し、特に、通話中の会話を音声認識し、その音声認識結果に基づいてアプリケーションを起動する携帯端末装置、携帯端末装置のアプリケーション起動方法、及び携帯端末装置のアプリケーション起動プログラムに関する。
【背景技術】
【０００２】
従来、携帯電話機等の携帯端末装置がよく用いられ、また、この携帯端末装置で動作するアプリケーションも、各種提供されている。
【０００３】
具体的には、例えば、携帯端末装置で動作する電子メール機能を備えたり、レンズを搭載してカメラ機能を備えることにより、電子メールの送受信やカメラによる撮影等を行うことが可能になっている。
【０００４】
また、カレンダー機能に加えて、スケジュール機能なども搭載できるようになっており、携帯電話機であってもユーザのスケジュールを管理したり、ユーザの設定した時間にアラームを鳴らしたりすることができるようになっている。
【０００５】
更に、携帯電話機によって通話している最中に、通話内容を録音することができる録音機能が搭載されており、通話内容を聞き漏らしたり忘れてしまっても、再度、通話内容を聞き直すことができるようになっている携帯電話機も知られている。
【０００６】
そして、このような携帯電話機等の携帯端末装置に音声認識機能を更に備え、通話中の内容から電話番号の音声認識を行い、その音声認識の結果に基づいて認識されたその電話番号をメモリに格納したり、或いは、通話内容を録音して録音された音声から電話番号の音声認識を行う携帯電話装置について開示されている（特許文献１参照）。
【特許文献１】特開平１１−３０８３１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この特許文献１に記載された携帯電話装置では、上述のように通話中の内容から電話番号を抽出してメモリに格納するようになっているが、通常、携帯電話機を用いて通話する場合には、スケジュール確認や会議予定の確認等の内容が多くなっている。
【０００８】
このため、電話番号のみを携帯電話機等の携帯端末装置に登録しても、スケジュールや会議予定の確認等に関しては、スケジュール機能を有するアプリケーションへ通話内容を反映させる必要があり、ユーザが通話の内容を記憶したり、もしくは別途メモを取らなければならないという問題があった。
【０００９】
本発明は、上記問題点に鑑みてなされたものであり、ユーザが通話中の会話の内容を記憶する、もしくはメモを取るなどの作業を省略してユーザの負担を軽減すると共に、アプリケーションへの入力内容の間違いなどを防止する携帯端末装置、携帯端末装置のアプリケーション起動方法、及び携帯端末装置のアプリケーション起動プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る携帯端末装置は、通話中の会話の内容を音声認識する音声認識手段と、前記音声認識手段によって前記音声認識された前記会話の内容に基づいて、アプリケーションを起動するアプリケーション起動手段と、前記アプリケーション起動手段によって起動されたアプリケーション上で、当該会話の内容を登録するデータ登録手段と、を備えたことを特徴とする。
【００１１】
また本発明に係る携帯端末装置は、前記アプリケーション起動手段が、前記音声認識手段によって前記音声認識した前記会話の内容から、予め登録されたキーワードを検索する起動用キーワード検索手段を更に備え、前記起動用キーワード検索手段によって検索された前記キーワードに関係付けられたアプリケーションを起動するようにしても良い。
【００１２】
また本発明に係る携帯端末装置は、前記データ登録手段が、前記アプリケーションに予め関係付けられると共に、登録用キーワードとして登録されたデータ登録用キーワードによって前記会話の内容を検索する登録用キーワード検索手段を更に備え、前記登録用キーワード検索手段によって検索された当該会話の内容を登録するようにしても良い。
【００１３】
また本発明に係る携帯端末装置は、前記音声認識手段が、通話中の受話側音声、又は送話側音声の少なくとも何れか一方を用いるようにしても良い。
【００１４】
また本発明に係る携帯端末装置は、前記音声認識手段が、前記音声認識された結果をリアルタイムにＸＭＬによって書き出し、前記データ登録手段が、該ＸＭＬのデータから該当する前記会話の内容をリアルタイムに登録するようにしても良い。
【発明の効果】
【００１５】
本発明によれば、携帯端末装置が音声認識機能を有し、アプリケーションと自動で連携し登録する機能を備えているので、ユーザ自身の手を煩わすことなく、通話中の内容をアプリケーションに活用することができる。かくして、ユーザが通話中の会話の内容を記憶する、もしくはメモを取るなどの作業を省略してユーザの負担を軽減すると共に、アプリケーションへの入力内容の間違いなどを防止する携帯端末装置、携帯端末装置のアプリケーション起動方法、及び携帯端末装置のアプリケーション起動プログラムを実現できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態における携帯電話機の構成を示すブロック図である。図１に示す第１の実施の形態では、携帯端末装置が携帯電話機である場合を例に挙げて説明する。
（１）携帯電話機１００の構成
図１に示す携帯電話機１００は、音声通信送受信部１０と、表示部２０と、キー操作部３０と、作業用メモリ４０と、制御部５０と、音声認識用データ部６０と、アプリケーション起動用／データ登録用データ部７０とを備えている。
【００１７】
また、音声認識用データ部６０及びアプリケーション起動用／データ登録用データ部７０は、ＲＯＭ（Read Only Memory）に設けられている。
【００１８】
音声通信送受信部１０は、携帯電話機１００と公衆網との無線通信を行い、音声の送受信を行っている。
【００１９】
表示部２０は、自動登録結果や確認画面などをユーザに向けて表示する。
【００２０】
キー操作部３０は、携帯電話機１００に設けられた各種キー（図示せず）から、ユーザによるキー入力を受け付ける。
【００２１】
作業用メモリ４０は、ＲＡＭ（Random Access Memory）で構成されており、後述するＣＰＵ（Central Processing Unit）５１がプログラムをロードする際、一時的に必要とされるデータを格納する。また、音声認識し、解析のために一時的に保存するデータも、この作業用メモリ４０に格納される。
【００２２】
制御部５０は、ＣＰＵ５１と、音声認識機能部５２と、タイマ部５３とを備えている。
【００２３】
ここでＣＰＵ５１は、当業者にとってよく知られており、また本発明とは直接関係しないので、ＣＰＵ５１の詳細な構成の説明は省略する。
【００２４】
音声認識機能部５２は、ソフトウェアにより構成されており、プログラム及び各種データを読み出し可能に作業メモリ４０へ格納し、音声認識に関する作業を行う機能を有している。
【００２５】
タイマ部５３は、予め設定された計測する時間を有しており、音声通信送受信部１０によって携帯電話機１００が公衆網と通信を行った、通話内容を記録する時間を検出する。すなわち、タイマ部５３は、携帯電話機１００から発信された時間や、或いは公衆網からの着信した時間から通話時間を計測し、予め設定された時間を検出する。
【００２６】
音声認識用データ部６０には、音声認識を行う為に必要なデータが登録されており、その登録されているデータと同じ音声のデータを音声通信送受信部１０から抽出し、その音声データをＸＭＬ（extensible markup language）化して出力する。
【００２７】
アプリケーション起動用／データ登録用データ部７０には、後述する本実施の形態の動作において音声認識によるアプリケーションを起動させるキーワード検索、及びデータ登録時のキーワード検索に用いるキーワードが、データベースに格納されている。
【００２８】
電話機２００は、公衆網を通じて携帯電話機１００と通話可能な構成により接続されている。この電話機２００は、携帯電話機、一般固定電話機、公衆電話機、ＩＰ電話機など、いずれの電話機であっても、携帯電話機１００と通話できれば良い。
【００２９】
なお、本実施の形態では、携帯電話機１００の処理を本発明の基本的な特徴としているので、電話機２００は補助的な構成として用いられ、本発明の必須の構成要素ではない。
（２）携帯電話機１００の通話内容保存処理手順
以下、本実施の形態における携帯電話機１００の通話内容保存処理手順の動作について、図２乃至図５を参照しながら、詳しく説明する。
【００３０】
図２は、図１に示した携帯電話機１００の通話内容保存処理手順の動作を示すフローチャートである。
【００３１】
図３は、図１に示したアプリケーション起動用／データ登録用データ部７０が持つデータテーブルの一例を示したものである。すなわち、図３（ａ）には、アプリケーション起動用／データ登録用データ部７０のうち、アプリケーション（図中においてＡＰＬと称することがある。）起動用キーワードをデータベースに格納した一例を示したものであり、図３（ｂ）には、アプリケーション起動用／データ登録用データ部７０のうち、データ登録用キーワードをデータベースに格納した一例を示したものである。
【００３２】
そして図４は、通話中の会話の内容がＸＭＬ形式によって書き出された（以下、これをＸＭＬ書き出しと言う。）一例を示したデータ（以下、この書き出されたデータを、ＸＭＬデータと言う。）である。
【００３３】
また図５は、図４のＸＭＬデータに対して、図３（ｂ）による登録データ用ＤＢキーワード検索が行われたときの一例を示したＸＭＬデータである。
【００３４】
ここで、図２に示したフローチャートを参照すると、まず、携帯電話機１００のユーザは、携帯電話機１００により、電話機２００と通話を開始する（ステップＡ１）。この場合、携帯電話機１００は、発信であっても着信であっても良い。
【００３５】
そして携帯電話機１００は、電話機２００と通話を開始すると共にタイマ部５３が起動し、通話開始からの通話時間について計測を開始する（ステップＡ２）。
【００３６】
続いて、音声認識機能部５２は、タイマ部５３に設定された時間内であるか否かを判定する（ステップＡ３）と共に、通話における受話側音声、及び送話側音声の両方共を音声認識し（ステップＡ４）、リアルタイムでＸＭＬ形式によってＸＭＬ書き出しを行い（図４）、書き出されたＸＭＬデータを作業用メモリ４０に保存する（ステップＡ５）。
【００３７】
ここで、ステップＡ５により、このＸＭＬデータを作業用メモリ４０に保存すると同時に、携帯電話機１００の制御部５０は、作業用メモリ４０に保存されたＸＭＬデータのパース（解析）を行う（ステップＡ６）。
【００３８】
このパース（解析）とは、制御部５０が、作業メモリ４０に保存されたＸＭＬデータ（図４）と、アプリケーション起動用／データ登録用データ部７０に予めアプリケーション起動用のキーワードとして登録されたアプリケーション起動用キーワード（図３（ａ））とが、一致するか否かキーワード検索を行う（ステップＡ７）ことである。
【００３９】
これにより、図３（ａ）に示すアプリケーション起動用キーワードが、ＸＭＬ形式に書き出されたＸＭＬデータ（図４）に含まれていれば、ステップＡ７のＡＰＬ起動用ＤＢキーワード検索によって一致したと判断し、制御部５０は、そのアプリケーション起動用キーワードに対応するアプリケーションを起動（ステップＡ８）する。
【００４０】
具体的には例えば、図４に示すＸＭＬデータには、「スケジュール」というキーワードが含まれており、図３（ａ）には「スケジュール」というアプリケーション起動用キーワードが予め登録されているので、このキーワードが一致したことにより、「スケジュール」に対応する「ＡＰＬ１」というアプリケーションが起動する。
【００４１】
また、この図４に示したＸＭＬデータに「予定リスト」というキーワードが含まれていれば、「予定リスト」に対応する「ＡＰＬ２」というアプリケーションが起動する。
【００４２】
次に、ステップＡ８により、アプリケーション起動用キーワードに対応するアプリケーション（図３（ａ））が起動すると、制御部５０は、再度パース（解析）を行うようになっており、この２回目のパース（解析）では、一定時間分のＸＭＬデータに関し、登録データ用キーワード（図３（ｂ）参照）に登録されたキーワードと一致するＸＭＬデータがあるか否か、検索する（ステップＡ９）。
【００４３】
このとき、アプリケーション起動用キーワードに対応する各アプリケーション（図３（ａ））は、登録データ用キーワード（図３（ｂ））の「キー」と関係付けられており、該当する「キー」を基に、ＸＭＬデータから検索される。
【００４４】
具体的には例えば、図３（ａ）のアプリケーションの「ＡＰＬ１」が起動した場合、「ＡＰＬ１」にはキーの「１」が関連付けられているので、図３（ｂ）のキー「１」に対応する登録データ用キーワードの「日付」、「時間」、「日時」、「内容」、「場所」、「相手」が、図４のＸＭＬデータから検索される。
【００４５】
これにより、登録データ用キーワードによって検索されたＸＭＬデータの一例を、図５に示す。制御部５０は、図５に示した登録用キーワードにより検索されたＸＭＬデータの内容を、アプリケーションの「ＡＰＬ１」に登録する。
【００４６】
また、アプリケーション起動用キーワードが「予定リスト」であった場合には、アプリケーションの「ＡＰＬ２」が起動し、キー「２」に対応する登録データ用キーワードの「日時」、「時間」、「場所」、「人数」などが、ＸＭＬデータから検索される。
【００４７】
このように、キーに該当する登録データ用キーワード（図３（ｂ））を用いて、ＸＭＬデータから検索し、登録データ用キーワード（図３（ｂ））とＸＭＬデータとの内容が一致した場合には、該当するＸＭＬデータを、そのＸＭＬデータを起動しているアプリケーションに順に登録する（ステップＡ１０）。
【００４８】
また、この該当するＸＭＬデータの登録は、アプリケーション（図３（ａ））を起動してから一定時間分のパース（解析）を行うので、例えば、１分間のＸＭＬデータをパース（解析）し、リアルタイムに登録用キーワードに該当するＸＭＬデータを、登録していく。
【００４９】
なお、上記の1分間という時間は、例示であり、この時間に限定されることはなく、３分であっても５分であっても良い。
【００５０】
また、アプリケーション起動用キーワード（図３（ａ））がＸＭＬデータ（図４）と一致し、アプリケーションが起動してから時間を計測するようになっているが、本実施の形態ではこれに限らず、ＸＭＬデータとアプリケーション起動用キーワードとが一致したときを起点として、既にステップＡ５によって作業用メモリ４０に保存されているＸＭＬデータから検索し、時間計測する前の該当するＸＭＬデータを登録するようにしても良い。
【００５１】
そして、ユーザが携帯電話機１００による通話を終了後（ステップＡ１１）、制御部５０は、ステップ９の登録データ用ＤＢキーワード検索により、ＸＭＬデータから検索された登録データ用キーワードに該当する内容のＸＭＬデータを登録した旨のメッセージを、携帯電話機１００の表示部２０に出力する（ステップ１２）。
【００５２】
また、通話中にステップＡ３で使用していたタイマ部５３による計時が所定時間に達した場合には、作業用メモリ４０を上書きして（ステップＡ１３）、引き続き音声認識、ＸＭＬ書き出し及びメモリ保存（ステップＡ４、Ａ５）を行い、通話終了まで繰り返し行う。
【００５３】
以上により、ユーザの手を煩わすことなく、通話中の会話の内容を自動的にアプリケーションのデータとして登録することができる。
【００５４】
このように、第１の実施の形態によれば、ユーザが通話中の会話の内容を記憶する、もしくはメモを取るなどの作業を省略してユーザの負担を軽減すると共に、アプリケーションへの入力内容の間違いなどを防止することができる。
【００５５】
また本実施の形態によれば、携帯電話機１００が音声認識機能を有し、アプリケーションと自動で連携できる機能を持つため、ユーザ自身の手を煩わすことなく、通話の内容をデータとしてアプリケーションに活用することができる。
【００５６】
更に本実施の形態によれば、リアルタイムで音声認識をしていくので、ユーザがボタン押下などのトリガを与えることなく、登録すべき必要なデータが通話の内容から取り込まれ、ユーザの操作負担を軽減することができる。
【００５７】
また本実施の形態では、リアルタイムで音声認識をしてアプリケーションに登録することができるので、聞き間違いや誤入力を回避することができる。
【００５８】
更に本実施の形態では、通話による音声データをＸＭＬ形式によって書き出して利用することにより、より解析速度が上がり、携帯電話機１００への負荷を軽減している。
【００５９】
なお、本実施の形態では、通話における受話側音声および送話側音声の両方共を音声認識するようになっていたが、本発明はこれに限らず、携帯電話機１００のユーザの音声すなわち送話側音声のみを音声認識して、これに基づいたアプリケーション起動を行うようにしてもよく、又、電話機２００のユーザの音声のみを音声認識して、これに基づいたアプリケーションの起動を行うようにしても良い。
（他の実施の形態）
前述の第１の実施の形態では、アプリケーションの起動を、予め登録しておいた音声認識データに基づいた音声認識による起動としていたが、他の実施の形態として、携帯電話機１００の動作負荷を減らすために、音声認識を使用せず、デフォルト（任意の初期設定）によるアプリケーションを起動としたり、もしくは、ユーザのキー操作による起動としてもよい。
【００６０】
この場合、例えば、図２のステップＡ７を省略して、ステップＡ８のアプリケーションをデフォルト（任意の初期設定）により、もしくは、ユーザのキー操作（例えばスケジューラの起動など）でアプリケーションを起動し、作業メモリ４０に保存されたＸＭＬデータに対して、図２のステップＡ９による登録データ用ＤＢキーワード検索を実施するようにすれば良い。
【００６１】
これにより、ユーザの希望するタイミングで、アプリケーションを起動することができると共に、携帯電話機１００の消費電力の過剰な消耗を回避し、携帯電話機１００の駆動時間を長くすることができる。
【００６２】
また他の実施の形態としては、通話時のアプリケーション起動はせずに、ステップＡ４（音声認識）やステップＡ６（パース（解析））のみを行い、ＸＭＬデータだけ保存するようにしても良い。
【００６３】
この場合、図３（ｂ）に相当する登録するための登録用データの一覧を別途準備しておき、通話終了後に、保存したＸＭＬデータから登録用データの一覧に沿って確認しながら、ユーザが登録することができる。
【００６４】
更に、このとき登録用データを複数設けることが可能となり、この場合には、一度に複数登録や、或いは一部分のみを選択して登録することも可能である。
【００６５】
すなわち、図２のステップＡ７（ＡＰＬ起動用ＤＢキーワード検索）、ステップＡ８（アプリケーション起動）、ステップＡ１０（登録）が省略され、ステップＡ１２の登録完了メッセージが出される代わりに、ステップＡ９による登録データ用ＤＢキーワード検索の結果を、表示部２０に登録先アプリケーション名、登録データなどの一覧と共に表示させ、確認しながら登録することができる。
【００６６】
また、第１の実施の形態では、通話中の会話の内容を音声認識によりＸＭＬ書き出しを行うようになっていたが、本発明はこれに限らず、ＸＭＬデータの登録だけでなく、すでに登録済みのＸＭＬデータについて、登録内容の確認を行うようにしても良い。
【００６７】
具体的には例えば、図２のステップＡ７において、通話中に「スケジュール確認」などのキーワードによって「ＡＰＬ１」などのアプリケーションを起動し、通話中に登録済みのデータを表示部２０に表示し、内容を確認することができる。
【００６８】
また、スケジューラやアラームなどの登録を行うアプリケーションだけでなく、連携可能なアプリケーションとして、簡易電卓や通貨換算等のような計算を行うアプリケーションとも連携させ、通話中の数値を電卓で計算させて、解答をポップアップ方式にて出力するようにしても良い。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施の形態による携帯電話機の構成を示すブロック図である。
【図２】本発明の第１の実施の形態による携帯電話機の通話内容保存処理手順を示すフローチャートである。
【図３】本発明の第１の実施の形態におけるアプリケーション起動用／データ登録用データ部７０が持つデータテーブルの一例を示したものである。
【図４】本発明の第１の実施の形態において音声認識によってＸＭＬ形式で書き出したＸＭＬデータの一例である。
【図５】本発明の第１の実施の形態においてＸＭＬデータから登録データ用ＤＢのキーワード検索による検索結果を示した一例である。
【符号の説明】
【００７０】
１０  音声通信送受信部
２０  表示部
３０  キー操作部
４０  作業用メモリ
５０  制御部
５１  ＣＰＵ
５２  音声認識機能部
５３  タイマ部
６０  音声認識用データ部
７０  アプリケーション起動用／データ登録用データ部
１００  携帯電話
２００  電話機
【図１】
2008109263.tif 000003
【図２】
2008109263.tif 000004
【図３】
2008109263.tif 000005
【図４】
2008109263.tif 000006
【図５】
2008109263.tif 000007