(57)【要約】【課題】  音声に基づいて認識した発声者の感情に応じて文書を編集する文書作成装置において、ユーザの意図しない編集が行われることを防止することができる文書作成装置を提供すること。【解決手段】  本発明の文書作成装置１は、入力された音声に対応する文字列を作成する作成手段と、前記入力された音声に基づいて発声者の感情を認識する認識手段と、感情に対応付けられた複数の文字、記号、又は絵文字を各感情毎に記憶する記憶手段と、前記認識手段により認識した感情に対応する複数の文字、記号、又は絵文字を前記記憶手段から読み出して選択候補として提示する提示手段と、該手段により提示された複数の選択候補の中からいずれか１の選択を受付ける受付手段と、該手段により選択を受付けた選択候補を前記作成手段により作成された文字列に付加する付加手段と、を備えるものである。【選択図】      図１
2007003669.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声に基づいて文書を作成する文書作成装置において、前記入力された音声に対応する文字列を作成する作成手段と、前記入力された音声に基づいて発声者の感情を認識する認識手段と、感情に対応付けられた複数の文字、記号、又は絵文字を各感情毎に記憶する記憶手段と、前記認識手段により認識した感情に対応する複数の文字、記号、又は絵文字を前記記憶手段から読み出して選択候補として提示する提示手段と、該手段により提示された複数の選択候補の中からいずれか１の選択を受付ける受付手段と、該手段により選択を受付けた選択候補を前記作成手段により作成された文字列に付加する付加手段と、を備えることを特徴とする文書作成装置。
【請求項２】
前記提示手段は、前記選択候補に加え、文字、記号、又は絵文字をいずれも付加しないことを選択するための選択候補を併せて提示し、
前記付加手段は、前記受付手段により選択を受付けた選択候補が文字、記号、又は絵文字のいずれかである場合に限り、前記受付手段により選択を受付けた選択候補を前記作成手段により作成された文字列に付加することを特徴とする請求項１記載の文書作成装置。
【請求項３】
入力された音声に基づいて文書を作成する文書作成装置において、前記入力された音声に対応する文字列を作成する作成手段と、前記入力された音声に基づいて発声者の感情を認識する認識手段と、感情に対応付けられた文字、記号、又は絵文字を各感情毎に記憶する記憶手段と、前記認識手段により認識した感情が認識し易い感情である場合に認識したその感情に対応する文字、記号、又は絵文字を前記記憶手段から読み出して前記作成手段により作成された文字列に付加する第１付加手段と、前記認識手段により認識した感情が認識し難い感情である場合に認識したその感情及び該感情と誤認識し易い他の感情に対応する複数の文字、記号、又は絵文字を前記記憶手段から読み出して選択候補として提示する提示手段と、該手段により提示された複数の選択候補の中からいずれか１の選択を受付ける受付手段と、該手段により選択を受付けた選択候補を前記作成手段により作成された文字列に付加する第２付加手段と、を備えることを特徴とする文書作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書作成装置に関し、詳しくは、入力された音声に基づいて文書を作成する文書作成装置に関する。
【背景技術】
【０００２】
従来より、ユーザのキー操作に基づいて文書を作成するだけでなく、入力されたユーザ（発声者）の音声に基づいて文書を作成することができる文書作成装置がある。このような従来の文書作成装置は、マイク等により入力された音声を認識し、認識した音声に対応する文字列を作成し、作成した文字列からなる文書をモニタ等に表示するものである。これにより、ユーザは、キーボード等からキー操作を行うことなく、所望の文書を作成することができる。
【０００３】
また、上記従来の文書作成装置の中には、入力された音声に基づいて文書を作成するとともに、作成した文書をユーザの感情に応じて編集する機能を備えたものがある（例えば、特許文献１参照。）。具体的には、特許文献１に記載の文書作成装置は、入力された音声に基づいてユーザの感情を認識し、認識した感情に応じて、文書を構成する文字列に文字、記号、絵文字等を付加したり、文字列のフォント種やサイズを変更するなどして文書を編集する。例えば、認識した感情が「笑い」である場合、作成した文字列に「（笑）」を付加する。
【特許文献１】特開２００５−６５２５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の文書作成装置においては、ユーザの音声に基づいて認識した感情に応じて自動的に文書を編集することができるものの、ユーザの意図しない編集が行われるおそれがあった。例えば、ユーザの感情を認識して絵文字を付加するといった編集を行った際に、付加した絵文字がユーザの意図しないものである場合、ユーザは付加された絵文字を消去して意図する絵文字を入力するといった面倒なキー操作を行う必要がある。
【０００５】
また、複数あるユーザの感情には、認識し易いものと認識し難いものとがあり、ユーザの感情を誤認識すると、ユーザの感情とは異なる絵文字が付加されてしまい、適切な文書編集を行うことができないという問題点があった。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、入力された音声に基づいて文書を作成するとともに、作成した文書を音声に基づいて認識したユーザの感情に応じて編集する文書作成装置において、ユーザの意図しない編集が行われるのを防止することができる文書作成装置を提供することを第１の目的とする。また、本発明は、入力された音声に基づいて文書を作成するとともに、作成した文書を音声に基づいて認識したユーザの感情に応じて編集する文書作成装置において、ユーザの感情を誤認識した場合でも適切な文書編集を行うことができる文書作成装置を提供することを第２の目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１記載の文書作成装置は、入力された音声に基づいて文書を作成する文書作成装置において、前記入力された音声に対応する文字列を作成する作成手段と、前記入力された音声に基づいて発声者の感情を認識する認識手段と、感情に対応付けられた複数の文字、記号、又は絵文字を各感情毎に記憶する記憶手段と、前記認識手段により認識した感情に対応する複数の文字、記号、又は絵文字を前記記憶手段から読み出して選択候補として提示する提示手段と、該手段により提示された複数の選択候補の中からいずれか１の選択を受付ける受付手段と、該手段により選択を受付けた選択候補を前記作成手段により作成された文字列に付加する付加手段と、を備えることを特徴としている。
【０００８】
請求項２記載の文書作成装置は、請求項１記載の文書作成装置において、前記提示手段は、前記選択候補に加え、文字、記号、又は絵文字をいずれも付加しないことを選択するための選択候補を併せて提示し、前記付加手段は、前記受付手段により選択を受付けた選択候補が文字、記号、又は絵文字のいずれかである場合に限り、前記受付手段により選択を受付けた選択候補を前記作成手段により作成された文字列に付加することを特徴としている。
【０００９】
請求項３記載の文書作成装置は、入力された音声に基づいて文書を作成する文書作成装置において、前記入力された音声に対応する文字列を作成する作成手段と、前記入力された音声に基づいて発声者の感情を認識する認識手段と、感情に対応付けられた文字、記号、又は絵文字を各感情毎に記憶する記憶手段と、前記認識手段により認識した感情が認識し易い感情である場合に認識したその感情に対応する文字、記号、又は絵文字を前記記憶手段から読み出して前記作成手段により作成された文字列に付加する第１付加手段と、前記認識手段により認識した感情が認識し難い感情である場合に認識したその感情及び該感情と誤認識し易い他の感情に対応する複数の文字、記号、又は絵文字を前記記憶手段から読み出して選択候補として提示する提示手段と、該手段により提示された複数の選択候補の中からいずれか１の選択を受付ける受付手段と、該手段により選択を受付けた選択候補を前記作成手段により作成された文字列に付加する第２付加手段と、を備えることを特徴としている。
【発明の効果】
【００１０】
請求項１記載の文書作成装置によれば、提示された複数の選択候補の中から文字列に付加する所望の文字、記号、又は絵文字を選択することができるので、ユーザの意図しない編集が行われるのを防止することができる。
【００１１】
請求項２記載の文書作成装置によれば、請求項１記載の文書作成装置の効果に加えて、ユーザが必要とした場合にのみ、感情に対応する文字、記号、又は絵文字を文字列に付加することができる。
【００１２】
請求項３記載の文書作成装置によれば、認識された感情が認識され難い感情である場合、認識された感情及び該感情と誤認識され易い他の感情に対応する複数の文字、記号、又は絵文字の中から、ユーザが選択した文字、記号、又は絵文字が文字列に付加されるので、誤認識される可能性が高い感情であっても、適切な文書編集を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の文書作成装置を図面に基づいて説明する。本実施の形態においては、本発明の文書作成装置をパーソナルコンピュータ（以下、「ＰＣ」という。）に具体化した一実施形態について説明する。図１は、ＰＣ（文書作成装置）１の構成例を示したブロック図である。図示するように、ＰＣ１は、制御部（ＣＰＵ：Central Processing Unit）２、ＲＯＭ（Read Only Memory）３、ＲＡＭ（Random Access Memory）４、音声処理部５、操作部６、表示部７、補助記憶装置（ＨＤＤ：Hard Disk Drive）８、及び通信部９を備えたものであって、各部２乃至９はバス１０によって通信可能に接続されている。
【００１４】
制御部２は、ＲＯＭ３に格納された制御プログラムにしたがって、各種の処理を実行する。ＲＡＭ４は、制御部２の主メモリ、ワークエリア等として機能し、各種の設定情報等を記憶している。また、ＲＡＭ４には、後述する感情文字テーブル１１が設けられている。音声処理部５は、マイク１２により入力されたアナログの音声をデジタル化するＡ／Ｄ変換等を行うものである。マイク１２は、ユーザ（発声者）が発した音声を入力するものであり、入力された音声は音声処理部５に入力される。
【００１５】
操作部６は、ここではキーボードやマウス等を用いてなるものであり、ＰＣ１に対する指示や設定等の入力を受付けるものである。表示部７は、液晶ディスプレイ又はＣＲＴディスプレイを用いてなるものであり、各種画面情報を表示する。具体的には、ＰＣ１の動作状態や、各種設定画面等を表示する。補助記憶装置８は、大容量のメモリ領域を有する記憶媒体を内蔵する記憶装置であり、ＰＣ１で作成された文書等の各種データを格納する。通信部９は、図示しない所定の通信回線に接続されており、制御部２は、この通信部９を制御して電子メールの送受信等を行うことができる。
【００１６】
また、ＰＣ１は、マイク１２により入力されたユーザ（発声者）の音声に対応する文字列からなる文書を作成する機能を備える。マイク１２により入力された音声は、音声処理部５でＡ／Ｄ変換される。制御部２は、音声処理部５でＡ／Ｄ変換された認識対象の音声のパターンと、ＲＡＭ４に設けられている文字列辞書（不図示）の各文字列のパターンと、を比較し、認識対象の音声パターンと最も類似度の高い文字列をユーザが発声した文字列として特定する。そして、制御部２は、特定した文字列を作成する。このようにして、ＰＣ１は、入力された音声に基づいて文書を作成する。
【００１７】
また、ＰＣ１は、マイク１２により入力された音声に基づいてユーザの感情を認識する感情認識機能を備える。マイク１２により入力された音声は、音声処理部５でＡ／Ｄ変換される。制御部２は、音声処理部５でＡ／Ｄ変換された音声の強弱、ピッチ、発声間隔等の特徴量を抽出し、抽出した音声の特徴量に基づいてユーザの感情を認識する。認識する感情としては、「怒り」、「悲しみ」、「喜び」、「楽しみ」、「驚き」、「笑い」等がある。なお、本実施の形態においては、音声の特徴量に基づいて、ユーザの感情を認識するようになっているが、作成した文字列に基づいて、ユーザの感情を認識するようにしてもよい。例えば、作成した文字列が「おこっています」という文字列であった場合は、ユーザの感情として「怒り」を認識する。また、音声の特徴量に基づく感情認識と、作成した文字列に基づく感情認識とを複合して、ユーザの感情を認識するようにしてもよい。
【００１８】
上記構成を備えるＰＣ１は、ユーザの感情に応じた文字列を作成することができる。具体的には、入力された音声に対応する文字列を作成し、感情認識機能により認識した感情に対応する複数の文字、記号、又は絵文字（以下、これらを「感情文字」ともいう。）を選択候補としてユーザに提示し、提示した複数の選択候補の中からユーザにより選択された感情文字を、前記作成した文字列に付加することにより、ユーザの感情に応じた文字列を作成する。
【００１９】
図２は、感情文字テーブル１１の一例を示した図である。図示するように、感情文字テーブル１１は、「怒り」、「喜び」、「悲しみ」等の感情に対応付けられた複数の感情文字を各感情毎に格納している。例えば、「喜び」に対応する感情文字として、「(^O^)」等のいわゆる顔文字（絵文字）や、「♪」等の記号が格納されている。なお、ユーザは、感情文字テーブル１１に格納されている内容を編集することができる。例えば、操作部６から入力した感情文字を感情文字テーブル１１に追加すること等が可能である。
【００２０】
以下、ＲＯＭ３に組み込まれたメール作成ソフト等の文書作成ソフトが起動された場合にＰＣ１において行われる処理動作を図３に示すフローチャートに基づいて説明する。なお、以下のフローチャートに基づいて説明するＰＣ１の処理動作は、ＲＯＭ３に格納されている文書作成ソフトを含む制御プログラムに基づいて制御部２が発行する命令に従って行われる。
【００２１】
制御部２は、マイク１２により音声が入力されたか否かを繰り返し判断する（Ｓ１）。音声が入力されたと判断した場合（Ｓ１：ＹＥＳ）、入力された音声に対応する文字列を作成する（Ｓ２）。続いて、入力された音声に基づいてユーザの感情を認識する（Ｓ３）。次に、Ｓ２において作成した文字列を表示部７に表示する（Ｓ４）。
【００２２】
次に、制御部２は、Ｓ３において認識した感情に対応する複数の感情文字を感情テーブル１１から読み出して選択候補として提示する（Ｓ５）。すなわち、Ｓ３において認識した感情に対応する複数の感情文字を選択候補として表示部７に表示する。このとき、これらの選択候補に加え、感情文字をいずれも付加しないことを選択するための選択候補を併せて提示（表示）する。例えば、図４（ａ）に示すように、Ｓ４において表示部７に表示した文字列「やったー」とともに、認識した「喜び」に対応する複数の感情文字と、感情文字をいずれも付加しないことを選択するための選択候補（「付加しない」の項目）と、を表示部７に表示する。ユーザは、操作部６のマウス、キーボード等を操作して、表示部７に表示された複数の選択候補の中から１の選択候補を選択することができる。
【００２３】
次に、制御部２は、提示した複数の選択候補の中から１の選択を受付けたか否かを判断する（Ｓ６）。選択を受付けていないと判断した場合（Ｓ６：ＮＯ）、処理をＳ５に戻し、Ｓ６において選択を受付けたと判断するまで、選択候補を提示する。選択を受付けたと判断した場合（Ｓ６：ＹＥＳ）、選択を受付けた選択候補が感情文字であるか否かを判断する（Ｓ７）。選択を受付けた選択候補が感情文字であると判断した場合（Ｓ７：ＹＥＳ）、選択を受付けた感情文字をＳ４において表示部７に表示した文字列に追加して表示する（Ｓ８）。すなわち、選択を受付けた感情文字をＳ２において作成した文字列に付加し、表示部７に表示する。例えば、図４（ａ）において、ユーザが「☆」を選択した場合、図４（ｂ）に示すように、「やったー☆」という文字列が表示部７に表示される。
【００２４】
一方、制御部２は、選択を受付けた選択候補が感情文字でないと判断した場合（Ｓ７：ＮＯ）、すなわち、感情文字をいずれも付加しないことを選択するための選択候補の選択を受付けた場合は、Ｓ５において提示したいずれの感情文字も、Ｓ２において作成した文字列に付加しない。
【００２５】
以上説明したように、ＰＣ１は、認識したユーザの感情に対応する複数の感情文字を選択候補として提示し、提示した複数の選択候補の中から１の選択を受付け、選択を受付けた感情文字を文字列に付加する。これにより、ユーザの所望の感情文字を文字列に付加することができるので、ユーザの意図しない編集が行われるのを防止することができる。また、ＰＣ１は、複数の感情文字とともに、感情文字をいずれも付加しないことを選択するための選択候補を提示し、提示した複数の選択候補の中から、付加しないことを選択するための選択候補が選択された場合、文字列に感情文字を付加しない。これにより、ユーザが必要とした場合にのみ、感情文字を文字列に付加することができる。
【００２６】
次に、ユーザの感情に応じた文字列を作成する処理の変形例を図５に示すフローチャートに基づいて説明する。図５に基づいて説明する処理動作は、図３に示すフローチャートに基づいて説明した処理動作と同様、文書作成ソフトが起動された場合に実行される。
【００２７】
制御部２は、マイク１２により音声が入力されたか否かを繰り返し判断する（Ｓ１１）。音声が入力されたと判断した場合（Ｓ１１：ＹＥＳ）、入力された音声に対応する文字列を作成する（Ｓ１２）。続いて、入力された音声に基づいて感情を認識する（Ｓ１３）。次に、Ｓ１２において作成した文字列を表示部７に表示する（Ｓ１４）。
【００２８】
次に、制御部２は、Ｓ１３において認識した感情が認識し難い感情であるか否かを判断する（Ｓ１５）。ここで、認識し難い感情とは、誤認識の可能性が高い感情であり、ＲＡＭ４には、認識し難い感情の情報が記憶されている。制御部２は、このＲＡＭ４に記憶されている情報に基づいて、Ｓ１３において認識した感情が認識し難い感情であるか否かを判断する。また、ＲＡＭ４には、認識し難い感情の情報と、該感情と誤認識し易い他の感情の情報と、が対応付けて記憶されている。例えば、認識し難い感情の情報として「喜び」の情報と、「喜び」と誤認識し易い他の感情の情報として「楽しみ」の情報と、が対応付けて記憶されている。
【００２９】
制御部２は、Ｓ１３において認識した感情が認識し難い感情であると判断した場合（Ｓ１５：ＹＥＳ）、ＲＡＭ４に記憶されている情報に基づき、Ｓ１３において認識した感情及び該感情と誤認識し易い他の感情に対応する複数の感情文字を感情文字テーブル１１から読み出して選択候補として提示する（Ｓ１６）。すなわち、Ｓ１３において認識した感情に対応する感情文字と、Ｓ１３において認識した感情と誤認識し易い他の感情に対応する感情文字と、を選択候補として表示部７に表示する。例えば、図６に示すように、Ｓ１４において表示部７に表示した文字列「やったー」とともに、認識した「喜び」に対応する任意の感情文字と、「喜び」と誤認識し易い「楽しみ」に対応する任意の感情文字と、を選択候補として表示部７に表示する。ユーザは、操作部６のマウス、キーボード等を操作して、表示部７に表示された複数の選択候補の中から１の選択候補を選択することができる。なお、ここでは、各感情毎に１の感情文字を提示するようになっているが、各感情毎に複数の感情文字を提示し、それらの中から１の感情文字をユーザが選択できるようにしてもよい。また、作成した文字列に感情文字を付加しないことを選択するための選択候補を併せて提示し、感情文字を付加しないことを選択できるようにしてもよい。
【００３０】
次に、制御部２は、提示した複数の選択候補の中から１の選択を受付けたか否かを判断する（Ｓ１７）。選択を受付けていないと判断した場合（Ｓ１７：ＮＯ）、処理をＳ１６に戻し、Ｓ１７において選択を受付けたと判断するまで、選択候補を提示する。選択を受付けたと判断した場合（Ｓ１７：ＹＥＳ）、選択を受付けた感情文字をＳ１４において表示部７に表示した文字列に追加して表示する（Ｓ１８）。すなわち、選択を受付けた感情文字をＳ１２において作成した文字列に付加し、表示部７に表示する。
【００３１】
一方、制御部２は、Ｓ１３において認識した感情が認識し難い感情でないと判断した場合（Ｓ１５：ＮＯ）、すなわち、認識した感情が認識し易い感情であると判断した場合、Ｓ１３において認識した感情に対応する感情文字を、Ｓ１４において表示部７に表示した文字列に追加して表示する（Ｓ１９）。すなわち、Ｓ１３において認識した感情に対応する感情文字を感情文字テーブル１１から読み出してＳ１２において作成した文字列に付加し、表示部７に表示する。
【００３２】
以上説明したように、ＰＣ１は、認識した感情が認識し難い感情である場合、認識した感情及び該感情と誤認識し易い他の感情に対応する感情文字の中から、ユーザが選択した感情文字を文字列に付加する。これにより、誤認識する可能性が高い感情であっても、適切な文書編集を行うことができる。
【００３３】
なお、本実施の形態においては、作成した文字列に音声に基づいて認識した感情に対応する感情文字を付加することにより、ユーザの感情に応じた文字列を作成するようになっているが、認識した感情に基づいて作成した文字列の形態（文字列のフォント種やサイズ）を変更することにより、ユーザの感情に応じた文字列を作成するようにしてもよい。例えば、複数の文字列の形態を選択候補として提示し、提示した複数の選択候補の中からユーザにより選択された文字列の形態に基づいて、作成した文字列の形態を変更するようにしてもよい。
【００３４】
また、本実施の形態においては、ユーザは、選択候補の選択等を操作部６から行うことができるが、音声により選択候補の選択等を行うこともできる。また、本発明の文書作成装置をＰＣに具体化した一実施形態について説明したが、本発明の文書作成装置は、入力された音声に基づいて文書を作成する装置であれば、携帯電話機、ＰＤＡ（Personal Digital Assistant）等にも適用可能である。また、本実施の形態に係るＰＣ１は、通信機能を備えているが、通信機能を備えないＰＣやワードプロセッサ等にも本発明の文書作成装置を適用可能である。
【産業上の利用可能性】
【００３５】
本発明は、例えば、入力された音声に基づいて文書を作成する文書作成装置に適用することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施の形態に係るＰＣ（文書作成装置）の構成例を示したブロック図である。
【図２】感情文字テーブルの一例を示した図である。
【図３】文書作成ソフトが起動された場合にＰＣ（文書作成装置）において行われる処理動作を示したフローチャートである。
【図４】（ａ）は、複数の選択候補等を表示した表示画面の一例を示した図であり、（ｂ）は、感情文字が付加された文字列等を表示した表示画面の一例を示した図である。
【図５】文書作成ソフトが起動された場合にＰＣ（文書作成装置）において行われる処理動作の変形例を示したフローチャートである。
【図６】複数の選択候補等を表示した表示画面の一例を示した図である。
【符号の説明】
【００３７】
１    ＰＣ（文書作成装置）
２    制御部
３    ＲＯＭ
４    ＲＡＭ
６    操作部
７    表示部
１１    感情文字テーブル
【図１】
2007003669.tif 000003
【図２】
2007003669.tif 000004
【図３】
2007003669.tif 000005
【図４】
2007003669.tif 000006
【図５】
2007003669.tif 000007
【図６】
2007003669.tif 000008