(57)【要約】【課題】  蓄積された通話履歴から過去の通話内容をテキスト化して表示し、過去の通話内容を容易に把握できる携帯情報端末を提供するものである。【解決手段】  通話中に録音ボタン７が押下されると通信制御／処理手段１は通話音声取り込みを開始し通話音声蓄積手段６に蓄積し、停止ボタン８が押下されると蓄積を停止し、通話情報を通話履歴蓄積手段１０に蓄積する。録音中に停止ボタンが押下されると通信制御／処理手段１は通話音声蓄積手段６から該通話音声を読み出し音声認識・テキスト化し通話テキスト蓄積手段９に蓄積する。通話情報と該当する通話音声と通話テキストとを対応付け手段１１で対応付けて記録する。表示手段１２は、通話履歴蓄積手段１０から通話履歴画面を表示し、対応付け手段１１を参照し通話音声のアイコンと通話テキストのアイコンを表示する。アイコンの選択により音声再生またはテキスト表示を行う。【選択図】        図１
2005210497.tif 000002
【特許請求の範囲】
【請求項１】
通話に伴う通話情報と通話音声を出力し、読み込まれた通話音声を音声認識しテキスト化して出力または読み込まれた通話音声を再生する通信制御／処理手段と、この通信制御／処理手段から出力される通話音声を蓄積する通話音声蓄積手段と、前記通話音声蓄積手段から読み出され前記通信制御／処理手段で音声認識されテキスト化された通話テキストを蓄積する通話テキスト蓄積手段と、前記通信制御／処理手段から出力される通話情報を蓄積する通話履歴蓄積手段と、前記通話音声蓄積手段に蓄積された通話音声と前記通話テキスト蓄積手段に蓄積された通話テキストおよび前記通話履歴蓄積手段に蓄積された通話情報を通話ごとに対応付ける対応付け手段と、前記対応付け手段の対応結果を表示する表示手段とを備える携帯情報端末。
【請求項２】
前記通信制御／処理手段は、入力されるキーワードで前記音声テキスト蓄積手段に蓄積されている音声テキストを検索し、該当する音声テキストとその通話情報を対応付けて前記表示手段に表示する請求項１記載の携帯情報端末。
【請求項３】
前記通信制御／処理手段は、通話者音声と通話相手の音声を前記音声蓄積手段の異なる領域に蓄積し、それぞれに対応して音声認識と音声テキスト化を行い前記音声テキスト蓄積手段の異なる領域に蓄積し、通話履歴蓄積手段のそれぞれの通話情報と関連付けて表示手段に表示する請求項１記載の携帯情報端末。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯電話などの携帯情報端末に関し、特に通話中の通話音声と、通話音声を音声認識することによって得られる通話テキストとを通話情報に関連付けて保存する機能を備えた携帯情報端末に関するものである。さらに、通話テキストを作成することによって、通話情報を表示する通話履歴から通話内容を把握することが容易に可能となり、さらに蓄積された通話音声の中から所望の通話音声の選択が容易に可能となるものである。
【背景技術】
【０００２】
従来、この種の通話音声録音機能付きの携帯情報端末においては、通話音声を通話情報に対応付けて保存し、上記通話情報を表示する通話履歴表示画面より通話音声に対応付けられている通話履歴が選択されると、対応する通話音声が再生される操作手段と機能とを装備するようにしている（たとえば、特許文献１参照）。
また、従来音声をテキスト化する装置としては、マイクから入力された音声をテキストデータに変換する音声認識技術を利用した音声入力ワードプロセッサが製品化されている。この様な音声入力ワードプロセッサを利用して文書データを作成する処理では、マイクから入力されたアナログ音声データから音素を抽出し、単語辞書を参照することによって抽出された音素の並びを単語に変換するようにしている。
【０００３】
【特許文献１】特許第３３９７０３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の多くの携帯情報端末の通話情報は、通話相手の情報（電話番号）、通話開始時刻、通話時間などであるため、通話情報を表示する通話履歴表示画面よりその通話内容を容易に把握することは困難である。また上記の特許文献１で記述されているアイデアが示すように、通話情報に対して通話音声が対応付けられていたとしても、通話音声を再生して通話内容を把握するためには、音声を再生するのに実時間かかってしまうという問題点があり、音声を再生するのが困難な状況では使用することが出来ないという問題点があった。また、蓄積された通話音声の中から所望の通話音声を検索するときに、通話内容を検索条件に設定して検索を行えないという問題点があった。
【０００５】
この発明は、上記のような課題を解消するためになされたもので、通話情報に対して通話中に録音された通話音声と、さらに上記通話音声に対して音声認識を行った結果得られるテキストを通話テキストとして対応付けることにより、通話情報を表示する通話履歴表示画面から過去の通話内容の把握を容易にすることが可能となる携帯情報端末を得ることを目的とする。
【０００６】
また、蓄積された通話音声の中から所望の通話音声を検索する際は、通話音声に対応付けられている通話テキストに対してキーワード検索を行う。通常、数多く録音された音声群の中から所望の音声を探し出す作業は非常に時間がかかるものであるが、上記の如く通話テキストに対してキーワード検索を行うことにより、すばやく所望の通話音声を探し出すことが可能となる携帯情報端末を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る携帯情報端末においては、上記の目的を達成するために、通話に伴う通話情報と通話音声を出力し、読み込まれた通話音声を音声認識しテキスト化して出力または読み込まれた通話音声を再生する通信制御／処理手段と、この通信制御／処理手段から出力される通話音声を蓄積する通話音声蓄積手段と、前記通話音声蓄積手段から読み出され前記通信制御／処理手段で音声認識されテキスト化された通話テキストを蓄積する通話テキスト蓄積手段と、前記通信制御／処理手段から出力される通話情報を蓄積する通話履歴蓄積手段と、前記通話音声蓄積手段に蓄積された通話音声と前記通話テキスト蓄積手段に蓄積された通話テキストおよび前記通話履歴蓄積手段に蓄積された通話情報を通話ごとに対応付ける対応付け手段と、前記対応付け手段の対応結果を表示する表示手段とを備える。
【発明の効果】
【０００８】
この発明は、入力音声を録音すると共に音声認識を行い、その結果からテキスト化を行い通話情報と対応付けて蓄積するため、過去の通話履歴から通話の内容を容易に把握することができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は、この発明の通話音声録音機能、音声認識機能を搭載する携帯情報端末の実施の形態１を示すブロック図である。
図１においては、通信制御／処理手段１はダイヤル手段２に入力される番号相手への電話回線３を介しての接続制御とマイク４からの入力音声を電話回線３への発信と、電話回線３からの通話相手の音声をスピーカー５へ出力する。また、指示信号に基づいて発信側音声と通話相手の音声（両方をあわせて通話音声という）の音声認識処理と認識結果の音声テキスト化処理を行う。通話音声蓄積手段６は、録音ボタン７と停止ボタン８の操作による指定信号により通話ごとの通話音声を録音する。通話テキスト蓄積手段９は通話音声蓄積手段に録音された通話音声を通信制御／処理手段１でテキスト化した結果を蓄積する。また、通信制御／処理手段１は、通話ごとに通話相手の電話番号、時間などの通話情報を通話履歴蓄積手段１０に蓄積する。そして、対応付け手段１１は通話音声蓄積手段６と通話テキスト蓄積手段９に蓄積された通話テキストとが通話履歴蓄積手段１０に蓄積されている通話情報をもとに対応付けを行う。表示手段１２には通話履歴表示ボタン１３により保存された通話情報と保存された通話情報と保存された通話音声とを対応付けて表示する。操作手段１４は表示手段に表示された内容の選択を行い通話音声の再生、通話テキストの表示などの操作を行うものである。
【００１０】
次に動作について、図１を参照して概要を説明する。通信制御／処理手段１は、ダイヤル手段２から入力された電話番号先への通話の確立や、相手からの着信処理を行い通話の確立を行う。話者の音声はマイク４から通信制御／処理手段１で電話回線３へ送信され、また電話回線３からの通信相手の音声は通信制御／処理手段１からスピーカー５に送られ音声として出力される。このようにして通話が確立した状態（以下、通話中という）で録音ボタン７を押下すると、通信制御／処理手段１は通話中の音声の取り込みを開始し、その音声を通話音声として通話音声蓄積手段６に蓄積し、停止ボタン８を押下すると、通話音声蓄積手段６への蓄積を停止する。また、通信制御／処理手段１は、通話相手の電話番号、通話開始時刻などの通話情報に通話履歴ＩＤを付与し通話履歴蓄積手段１０に蓄積する。録音中に停止ボタン８が押下されるとまず、通信制御／処理手段１は通話音声蓄積手段６からいまの通話中に録音した通話音声を読み出しそれに対して音声認識・テキスト化を実行し、テキスト化したテキストを通話テキスト蓄積手段９に蓄積する。次に、上記通話情報と録音した通話音声とテキスト化された通話テキストとを対応付けるために、通話音声蓄積手段６から通話音声の蓄積場所を示すポインターと、通話テキスト蓄積手段９から通話テキストの蓄積場所を示すポインターと、通話履歴蓄積手段１０から通話履歴ＩＤと通話情報の蓄積場所を示すポインターとを得て、対応付け手段１１の対応付けメモリ領域中の対応テーブルに記録する。表示手段１２は、通話履歴蓄積手段１０から通話履歴表示画面を表示し、対応付け手段１１を参照して各通話情報に対応して録音した通話音声が存在するものはその通話情報ごとに通話音声を表すアイコンを表示し、対応付け手段１１を参照して各通話情報に対応して保存した通話テキストが存在するものはその通話情報ごとに通話テキストを表すアイコンを表示する。ここでは、通話音声を示すアイコンとして「ＶＯＩＣＥ」を、通話テキストを示すアイコンとして「ＴＥＸＴ」として説明する。
【００１１】
一方、上記通話履歴表示画面に表示された通話テキストを表すアイコン「ＴＥＸＴ」が選択されると、操作手段１４がそれを検知し、通話履歴蓄積手段１０を参照して、選択された通話履歴の通話履歴ＩＤと選択された通話テキストからそれに対応した通話テキストへのポインターを得て、通信制御／処理手段１に通知する。通信制御／処理手段１は、そのポインター情報を基に通話テキスト蓄積手段９の対応する通話テキストの表示を行う。
【００１２】
図２は、通話開始から通話履歴表示画面の表示までの処理を説明するフローチャートである。図１、図２を参照して説明する
通話開始と同時に通信制御／処理手段１は、あらかじめ通話設定で自動録音モード設定が該通話においての条件を満たしているかどうか調べ（ステップＳＴ１）、条件を満たしてなければ通常の通話状態（ステップＳＴ１３）となり、条件を満たしていれば、通話中の音声を録音し通話音声蓄積手段６に格納し（ステップＳＴ４）、録音状態（ステップＳＴ１４）となる。録音状態でかつ通話状態が継続中（ステップＳＴ５）で、かつ停止ボタン８が押下されない限り（ステップＳＴ６）録音状態は継続し録音し続ける。音声録音中に停止ボタン８が押下されたら音声録音を停止し、音声認識を行って通話テキストを作成し、通話テキスト蓄積手段９に格納して（ステップＳＴ７）通常の通話状態となる。通常の通話状態継続中に録音ボタン７が押下されたら（ステップＳＴ３）、通話中の音声を録音し通話音声蓄積手段６に格納し録音状態となる。通話状態終了時、同時に録音状態でもあれば音声録音を停止し、音声認識を行って通話テキストを作成し、通話テキスト蓄積手段９に格納する（ステップＳＴ８）。次に、通信制御／処理手段１は、通話履歴蓄積手段１０に、通話相手の電話番号、通話開始時刻などの通話情報を通知し通話履歴として蓄積する（ステップＳＴ９）。
【００１３】
次に、対応付け手段１１は通話音声蓄積手段６から通話音声の蓄積場所を示すポインター情報と、通話テキスト蓄積手段９から通話テキストと通話テキストの蓄積場所を示すポインターと、通話履歴蓄積手段１０から通話履歴ＩＤと通話情報の蓄積場所を示すポインターとを得て対応付け手段の対応付けメモリ領域内の対応テーブルに記録する（ステップＳＴ１０）。
通話履歴表示ボタン１３が押下された場合（ステップＳＴ１１）、上記対応テーブルと通話履歴蓄積手段１０とを参照し、対応テーブルに記入されている通話履歴ＩＤと一致する通話履歴ＩＤを持つ通話情報が通話履歴蓄積手段１０に存在すれば、それは録音した通話音声と通話テキストを意味するので、表示手段１２は、録音した通話音声を表すアイコン「ＶＯＩＣＥ」とテキスト化された通話テキストを表すアイコン「ＴＥＸＴ」を表示し、表示手段１２より通話履歴表示画面を表示する（ステップＳＴ１２）。
【００１４】
また、図３は、通話履歴表示画面に表示された通話テキストの表示処理を説明するフローチャートである。図１、図３を参照して説明する。まず、操作手段１４は通話履歴表示画面に表示されている通話情報を参照して特定の通話テキストのアイコンが選択されると（ステップＳＴ１５）、上記特定の通話テキストの表示トリガーを検知し、通話履歴蓄積手段１０を参照し、上記通話テキストがどの通話中に記録されたかを知るために、通話履歴ＩＤを得て、それを対応付け手段１１に通知する（ステップＳＴ１６）。次に対応付け手段１１は、対応テーブルの通話履歴を参照し（ステップＳＴ１７）、選択された通話テキストの通話履歴ＩＤに対応付けられている通話テキストのうち選択されたものを探し出し、それに対応するポインター情報を得て（ステップＳＴ１８）、通信制御／処理手段１に通知する。次に通信制御／処理手段１は、上記ポインター情報の通知を受けて、通話テキスト蓄積手段９より上記特定の通話テキストをアクセスし（ステップＳＴ１９）、上記通話テキストを表示する（ステップＳＴ２０）。
【００１５】
ここで、上述の通話音声蓄積手段６、通話テキスト蓄積手段９と通話履歴蓄積手段１０のメモリ構成について図４を参照し説明する。図において、（ａ）は通話音声蓄積手段６の通話音声蓄積メモリ領域１７を示し、この通話音声蓄積メモリ領域１７には通話音声＃１〜＃４で示される通話音声データ２３が蓄積されている。これらの通話音声データ２３の通話音声＃１〜＃４にはそれぞれがメモリ領域１７のどこに蓄積されているかの蓄積場所を指し示すポインターＰ１〜Ｐ４で示されている。図４（ｂ）は、通話テキスト蓄積手段９のメモリ領域１８を示し、このメモリ領域１８には通話音声蓄積メモリ領域１７に蓄積されている通話音声データ２３が読み出されて通信制御／処理手段１で音声認識されテキスト化された通話テキスト＃１〜＃４が蓄積されている。これらにはメモリ領域のどこに格納されているかを示すポインターＰ５〜Ｐ８で指し示されている。図４（ｃ）は、通話履歴蓄積手段１０のメモリ領域１９を示し、通話履歴ＩＤ２６、通話相手の番号２７、通話開始時刻２８と通話時間２９などの通話情報が格納されている。通話履歴ＩＤ２６は通話ごとに自動的に番号付与される。また、通話中に録音ボタン７が押下された通話の履歴にはメモリ領域１９のどこに蓄積されているかを示すポインターＰ９〜Ｐ１１で指し示される。図４（ｃ）でポインターのない通話履歴は通話中に録音ボタン７が押下されなかった通話の履歴である。
【００１６】
つぎに、対応付け手段１１において、通話音声蓄積手段６、通話テキスト蓄積手段９と通話履歴蓄積手段１０のそれぞれのメモリ領域１７，１８，１９に記憶された情報からどのように対応付けを行うか詳細に説明する。
図５は対応付け手段のメモリ領域を示す図で、（ａ）は通話履歴から通話音声と通話テキストとの対応付けメモリ領域２０、また（ｂ）は通話テキストから通話履歴との対応付けメモリ領域２１を示している。
ここでは、具体的に時刻２１：２３に通話を開始し、その通話中に録音した通話音声がある場合を例とり、対応付け手段のメモリ領域中の対応テーブルの作成と、上記対応テーブルを用いて通話履歴表示画面の表示について説明する。既に３つのデータがあり新たに１つのデータ（時刻２１：２３の通話）が追加される場合を考える。すなわち、通話音声蓄積手段６のメモリ領域１７には、録音した通話音声が既に３つ（通話音声＃１〜通話音声＃３）格納されており、それぞれポインターＰ１、ポインターＰ２、ポインターＰ３で指し示されている。通話テキスト蓄積手段９のメモリ領域１８には、テキスト化された通話テキストが既に３つ（通話テキスト＃１〜通話テキスト＃３）格納されており、それぞれポインターＰ５、ポインターＰ６、ポインターＰ７で指し示されている。いま新たな通話が始まると、その通話情報として通話履歴蓄積手段１０の通話履歴蓄積メモリ領域２０に通話履歴ＩＤ０００００５５９が付与されて通話相手の番号０９０−５５５５−５５５５と開始時刻が記録される。
【００１７】
このとき、対応付けメモリ２０の通話履歴ＩＤの欄３０には０００００５５９が記録される。通話中に録音ボタン７が押下されると通話音声は通話音声蓄積手段６のメモリ領域１７に記録され、ポインターＰ４で指し示される。停止ボタン８が押下されて録音が停止されると、通話音声蓄積メモリ領域１７の通話音声＃４が読み出されて通信制御／処理手段１で音声認識された結果がテキスト化され通話テキスト＃４として通話テキスト蓄積メモリ１８に記録され、ポインターＰ８で指し示される。このポインターＰ８は、対応付けメモリ領域２０の通話テキストへのポインター欄に記録される。また、通話テキストから通話履歴への対応付けメモリ２１には、通話テキスト欄３３に通話テキスト蓄積メモリ領域１８の通話テキスト＃４が記録されると共に通話履歴へのポインター欄３４にはこの通話が行われた通話履歴ＩＤ００００５５９を指し示すポインターＰ１１が格納される。
以上のように、通話音声蓄積手段６の通話音声蓄積メモリ領域１７と通話テキスト蓄積手段９の通話テキスト蓄積メモリ領域１８および通話履歴蓄積手段１０の通話履歴蓄積メモリ領域１９から対応付け手段１１において対応付けメモリ２０，２１を作成する。
【００１８】
通話終了後、表示手段１２は通話履歴ＩＤが０００００５５９の通話情報を通話履歴蓄積手段１０の通話履歴蓄積メモリ領域１９から得て、通話履歴表示画面２２に表示する。更に、対応付け手段１１における上記対応テーブルを参照して、この通話中に録音した通話音声およびテキスト化された通話テキストが存在することが分かるので、表示手段１２によって、アイコン「ＶＯＩＣＥ」３５、およびアイコン「ＴＥＸＴ」３６を上記の通話履歴表示画面２２に表示する。
【００１９】
次に、いま、使用者が通話履歴表示画面２２を参照して電話番号０９０−５５５５−５５５５の通話相手と時刻２１：２３に開始した通話中に録音した通話音声の再生と通話テキストの表示をする場合について説明する。通話履歴表示画面上の、特定の録音した通話音声を表すアイコン「ＶＯＩＣＥ」３５を選択すると、それを検知した操作手段１４は、通話履歴蓄積手段１０を参照し、選択された通話音声の通話履歴ＩＤ３０（０００００５５９）を得て、対応付け手段１１に通知する。通知を受けた対応付け手段１１は、対応テーブルを参照し、通知された通話履歴ＩＤ（０００００５５９）に対応する通話音声のポインターＰ４を得て、通信制御／処理手段１に通知する。通信制御／処理手段１は、通話音声のポインターＰ４によって指し示される通話音声＃４の蓄積場所をアクセスし、通話音声＃４を読み出し通信制御／処理手段１で通話音声の再生を行いスピーカー５から出力する。通話履歴表示画面２２上の、特定の録音した通話テキストを表すアイコン「ＴＥＸＴ」３６を選択すると、それを検知した操作手段１４は、通話履歴蓄積手段１０を参照し、選択された通話音声の通話履歴ＩＤ３０（０００００５５９）を得て、対応付け手段１１に通知する。通知を受けた対応付け手段１１は、対応テーブルを参照し、通知された通話履歴ＩＤ（０００００５５９）に対応する通話テキストのポインターＰ８を得て、通信制御／処理手段１に通知する。通信制御／処理手段１は、通話テキストのポインターＰ８によって指し示される通話テキスト＃４の蓄積場所をアクセスし、通話テキストの表示を行う。
【００２０】
上述した通話音声蓄積手段６には、通話音声をより多くの件数保存するために、通話音声は通信制御／処理手段１にて通話時に使用される音声圧縮手段などを用いてデータサイズを小さくしてから保存される。そして、通話音声の録音中に通話音声蓄積手段６の残り保存容量を越えるような保存が行われる場合は、まず通信制御／処理手段１によって通話音声の録音が停止され、続いて停止されるまで録音されていた通話音声は通信制御／処理手段１によって音声認識とテキスト化が実行され、作成された通話テキストは通話テキスト蓄積手段９に蓄積され、最後に該通話音声は消去される。
【００２１】
また、通話音声蓄積手段６により多くの通話件数保存するために、予め使用者によって通信制御／処理手段１に設定された最大録音時間を超えて通話音声の録音が行われた場合は、通信制御／手段１によって自動的に通話音声の録音が停止されるようにしてもよい。またさらに、予め使用者によって通信制御／処理手段１に設定された最大データサイズを超えて通話音声の録音が行われた場合は、通信制御／処理手段１によって自動的に通話音声の録音を停止させるようにしてもよい。
【００２２】
以上説明したように、この発明によれば通話情報に対して通話中に録音された通話音声と、さらに上記通話音声に対して音声認識を行った結果得られるテキストを通話テキストとして対応付けることにより、通話情報を表示する通話履歴表示画面から過去の通話内容をテキストで表示できるので、通話の内容の把握を容易にすることが可能となる。
【００２３】
実施の形態２．
図７は、本発明の通話音声録音機能、音声認識機能搭載の携帯情報端末の実施の形態２を示すブロック図である。
図７において、実施の形態１を示す図１に検索起動ボタン１５と検索開始ボタン１６が追加されている。そして図７では、検索表示の機能を説明するため電話回線３、マイク４、録音ボタン７、停止ボタン８および通話履歴表示ボタン１３は省略してある。また、入力手段２ａはダイヤル手段２の数字に割り当てられたテキストを使用するものとした。
【００２４】
次に動作について、図７を参照して概要を説明する。通話履歴表示画面表示中に検索起動ボタン１５を押下すると、通信制御／処理手段１は表示手段１２にキーワード入力画面を表示する。入力手段２ａよりキーワードを入力し検索開始ボタン１６を押下すると通信制御／処理手段１は通話テキスト蓄積手段９に蓄積されている通話テキストを検索対象として検索を実行する。検索処理終了後、該当のキーワードを含む通話テキストが検出された場合は、通信制御／処理手段１は上記の該当通話テキストに対応付け手段１１を適用し、対応付けられている通話情報を、通話履歴蓄積手段１０を参照して表示手段１２に表示する。通信制御／処理手段１は対応付け手段１１を適用し、上記通話テキストに対応付けられている通話音声がある場合は、通話音声を表すアイコンを表示手段１２より表示する。
一方、上記検索結果画面より、通話音声を表すアイコンが選択されると、操作手段１４がそれを検知し、通話履歴蓄積手段１０を参照して、選択された通話情報の通話履歴ＩＤを得て、それを対応付け手段１１に通知する。対応付け手段１１は、その通話履歴ＩＤと選択された通話音声アイコンに対応する通話音声へのポインターを得て、通信制御／処理手段１に通知する。通信制御／処理手段１は、そのポインター情報を基に通話音声蓄積手段６の対応する通話音声の再生を行う。
【００２５】
図８は、通話テキストに対してキーワード検索を行い、検索結果の表示を行う処理を説明するフローチャートである。図７、図８を参照して説明する。
通話履歴表示画面などの表示中に検索起動ボタン１５を押下すると、通信制御／処理手段１は表示手段１２にキーワード入力画面を表示する（ステップＳＴ２１）。入力手段２ａよりキーワードを入力し検索開始ボタン１６を押下する（ステップＳＴ２２）と、通信制御／処理手段１は通話テキスト蓄積手段９に蓄積されている通話テキストを検索対象として検索を実行する（ステップＳＴ２３）。検索処理終了後、該当のキーワードを含む通話テキストが検出されなかった場合はそのまま処理終了し、検出された場合は（ステップＳＴ２４）、通信制御／処理手段１は上記の該当通話テキストに対応付け手段１１を適用し、対応付けられている通話情報を通話履歴蓄積手段１０より参照し表示手段１２に表示する（ステップＳＴ２５）。通信制御／処理手段１は対応付け手段１１を適用し、上記通話テキストに対応付けられている通話音声がある場合は、通話音声を表すアイコンを表示手段１２より表示する。
【００２６】
図９は、通話テキストに対してキーワード検索を行った結果の検索結果画面から通話音声の再生処理を説明するフローチャートである。図７、図９を参照して説明する。
まず、操作手段１４は検索結果画面に表示されている検索情報を参照して特定の通話音声のアイコンが選択されると（ステップＳＴ２７）、上記特定の通話音声の再生トリガーを検知し、通話履歴蓄積手段１０を参照し、上記通話音声がどの通話中に記録されたかを知るために、通話履歴ＩＤを得て、それを対応付け手段１１に通知する（ステップＳＴ２８）。次に対応付け手段１１は、対応テーブルの通話履歴ＩＤを探し出し（ステップＳＴ２９）、関連付けられている通話音声のうち選択されたものを決定しそれに対応するポインター情報を得て（ステップＳＴ３０）、通信制御／処理手段１に通知する。次に通信制御／処理手段１は、上記ポインター情報の通知を受けて、通話音声蓄積手段６より上記特定の通話音声をアクセスし（ステップＳＴ３１）、上記通話音声を再生する（ステップＳＴ３２）。
通話テキスト蓄積手段９に対してキーワード検索を行うと、キーワード入力画面より入力された単語を含む全通話テキストが検索結果として得られる。上記検索結果の表示方法は、キーワードをより多くの個数含むものから順に表示される。
【００２７】
以上のように、通話音声を録音すると共に、録音した音声を音声認識しテキスト化して保存するので、通常、数多く録音された音声群の中から所望の音声を探し出す作業は非常に時間がかかるものであるが、この発明で示されている通りテキスト化された通話テキストに対してキーワード検索を行うことにより、すばやく所望の通話音声を探し出すことが可能となり、過去の通話内容の把握が容易に確認できる。
【００２８】
実施の形態３．
図１は本発明の通話音声録音機能、音声認識機能搭載携帯情報端末の実施の形態３を示すブロック図である。
次に動作について、図１を参照して概要を説明する。通話中に録音ボタン７を押下すると、通信制御／処理手段１はマイク４より入力された音声と電話回線３より入力された音声の取り込みを開始し、その音声を通話音声として通話音声蓄積手段６に蓄積し、停止ボタン８を押下すると、通話音声蓄積手段６への蓄積を停止する。その際、マイク４より入力された通話音声と電話回線３より入力された通話相手の音声は別々の領域にて蓄積される。通信制御／処理手段１は、通話相手の電話番号、通話開始時刻などの通話情報を通話履歴蓄積手段１０に蓄積する。録音中に停止ボタン８が押下されると、まず、通信制御／処理手段１は通話音声蓄積手段６から該通話音声を読み出しそれに対して音声認識とテキスト化を実行し通話テキスト蓄積手段９に蓄積する。その際、マイク４より入力された通話音声をテキスト化したものと、電話回線３より入力された通話相手の音声をテキスト化したものは別々の領域にて蓄積される。次に、上記通話情報と録音した通話音声とテキスト化された通話テキストとを対応付けるために、通話音声蓄積手段６から通話音声の蓄積場所を示すポインターと、通話テキスト蓄積手段９から通話テキストと通話テキストの蓄積場所を示すポインターと、通話履歴蓄積手段１０から通話履歴ＩＤと通話情報の蓄積場所を示すポインターとを得て、対応付け手段１１の対応付けメモリ領域中の対応テーブルに記録する。表示手段１２は、通話履歴蓄積手段１０から通話履歴表示画面を表示し、対応付け手段１１を参照して各通話情報に対応して録音した通話音声が存在するものはその通話情報ごとに通話音声を表すアイコンを表示し、対応付け手段１１を参照して各通話情報に対応して保存した通話テキストが存在するものはその通話情報ごとに通話テキストを表すアイコンを表示する。
【００２９】
次に表示方法について、図１０を参照して概要を説明する。通話テキストの表示画面３７の例である。自分が話した自分欄４０と相手が話した相手欄４１とが視覚的に区別されて表示されることを特徴とする。通話テキスト表示画面３７の自分欄４０は通話履歴蓄積手段１０により該通話履歴において自分が話した通話テキスト３８より生成される。通話テキスト表示画面３７の相手欄４１は通話履歴蓄積手段１０より該通話履歴において相手が話した通話テキスト３９より生成される。通話テキスト表示画面３７において自分欄４０と相手欄４１とを視覚的に区別する手段として、名前の表示、色の区別などが用いられる。
図１０において通話テキスト表示画面３７は、自分が話した通話テキスト３８と相手が話した通話テキスト３９とが日付４２を参照して時系列的に古いものから新しいものへとマージされて表示される。
【００３０】
以上説明したように、この発明では通話者（自分）と通話相手の通話音声を別々に蓄積し、それぞれを音声認識しテキスト化して通話者の通話テキストと通話相手の通話テキストを別々に蓄積し、通話者と通話相手の通話テキストを通話情報履歴の時刻と関連付けているので、通話の順序やどちらが話したかなどを分けることが可能となり、過去の通話の内容の把握が容易に確認できる。
【図面の簡単な説明】
【００３１】
【図１】この発明の実施の形態１を示す携帯情報端末のブロック図である。
【図２】この発明の通話音声から通話履歴表示画面の表示までの処理を説明するフローチャートである。
【図３】この発明の通話履歴表示画面に表示された通話テキストの表示処理を説明するフローチャートである。
【図４】この発明の通話音声蓄積メモリ領域、通話テキスト蓄積メモリ領域と通話履歴蓄積メモリ領域を示す図である。
【図５】この発明の対応付けメモリ領域を示す図である。
【図６】この発明の通話履歴表示画面を示す図である。
【図７】この発明の実施の形態２を示す携帯情報端末のブロック図である。
【図８】この発明の検索表示処理を説明するフローチャートである。
【図９】この発明の検索結果に対する通話音声の再生処理を示すフローチャートである。
【図１０】この発明の実施の形態３における携帯情報端末の表示画面を説明する図である。
【符号の説明】
【００３２】
１  通信制御／処理手段、２  ダイヤル手段、２ａ  入力手段、３  電話回線、４  マイク、５  スピーカー、６  通話音声蓄積手段、７  録音ボタン、８  停止ボタン、９  通話テキスト蓄積手段、１０  通話履歴蓄積手段、１１  対応付け手段、１２  表示手段、１３  通話履歴表示ボタン、１４  操作手段、１５  検索起動ボタン、１６  検索開始ボタン、１７  通話音声蓄積メモリ領域、１８  通話テキスト蓄積メモリ領域、１９  通話履歴蓄積メモリ領域、２０，２１  対応付けメモリ領域、２２  通話履歴表示画面、３７  テキストの表示画面。
【図１】
2005210497.tif 000003
【図２】
2005210497.tif 000004
【図３】
2005210497.tif 000005
【図４】
2005210497.tif 000006
【図５】
2005210497.tif 000007
【図６】
2005210497.tif 000008
【図７】
2005210497.tif 000009
【図８】
2005210497.tif 000010
【図９】
2005210497.tif 000011
【図１０】
2005210497.tif 000012