(57)【特許請求の範囲】
【請求項１】
マイクを介して音声信号を受ける入力部と、
ディスプレイと、
前記音声信号の録音、録音された前記音声信号の音声認識、および音声区間を前記ディスプレイの画面上に表示する処理を少なくとも実行する制御部と、
を具備し、
前記制御部は、
前記音声信号の録音中に、前記音声信号に含まれる第１音声区間を示す第１オブジェクトと、前記第１音声区間の後の第２音声区間を示す第２オブジェクトを時系列に並べて前記画面上に表示し、
前記第１音声区間の前記音声認識に対応する第１文字列を、前記第１音声区間の前記音声認識が完了したときに、前記第１オブジェクトに関連付けて前記画面上に表示し、
前記第２音声区間の前記音声認識に対応する第２文字列を、前記第２音声区間の前記音声認識が完了したときに、前記第２オブジェクトに関連付けて前記画面上に表示し、
前記第１オブジェクトが前記画面上から消える位置にあると判断した時は前記第１オブジェクトの音声認識をスキップして、後続する前記第２オブジェクトの少なくとも一部を音声認識する電子機器。
【請求項２】
前記画面上から前記第２音声区間が優先順位付け指定されると、前記第１オブジェクトと前記第２オブジェクトの前記画面上の表示位置に係わらず前記第２オブジェクトが先に音声認識される請求項１記載の電子機器。
【請求項３】
前記制御部は、前記第１オブジェクトと前記第２オブジェクトの低域の音声成分と中域の音声成分とを観察し、両音声成分ともフォルマント成分が存在することを検出しない場合、当該オブジェクトの音声認識を行わない請求項１記載の電子機器。
【請求項４】
前記制御部は、前記第１文字列を前記第１音声区間の長さに応じた態様で前記画面上に表示し、前記第２文字列を前記第２音声区間の長さに応じた態様で前記画面上に表示する請求項１記載の電子機器。
【請求項５】
前記制御部は、前記第１オブジェクトまたは前記第１文字列と、前記第２オブジェクトまたは前記第２文字列を音声認識の未処理、処理中、処理完了に応じた態様で前記画面上に表示する請求項１記載の電子機器。
【請求項６】
マイクを介して音声信号を受ける入力部と、ディスプレイと、前記音声信号の録音、録音された前記音声信号の音声認識、および音声区間を前記ディスプレイの画面上に表示する処理を少なくとも実行する制御部と、を具備する電子機器の方法であって、
前記音声信号の録音中に、前記音声信号に含まれる第１音声区間を示す第１オブジェクトと、前記第１音声区間の後の第２音声区間を示す第２オブジェクトを時系列に並べて前記画面上に表示し、
前記第１音声区間の前記音声認識に対応する第１文字列を、前記第１音声区間の前記音声認識が完了したときに、前記第１オブジェクトに関連付けて前記画面上に表示し、
前記第２音声区間の前記音声認識に対応する第２文字列を、前記第２音声区間の前記音声認識が完了したときに、前記第２オブジェクトに関連付けて前記画面上に表示し、
前記第１オブジェクトが前記画面上から消える位置にあると判断した時は前記第１オブジェクトの音声認識をスキップして、後続する前記第２オブジェクトの少なくとも一部を音声認識する方法。
【請求項７】
前記画面上から前記第２音声区間が優先順位付け指定されると、前記第１オブジェクトと前記第２オブジェクトの前記画面上の表示位置に係わらず前記第２オブジェクトが先に音声認識される請求項６記載の方法。
【請求項８】
前記第１オブジェクトと前記第２オブジェクトの低域の音声成分と中域の音声成分とを観察し、両音声成分ともフォルマント成分が存在することを検出しない場合、当該オブジェクトの音声認識を行わない請求項６記載の方法。
【請求項９】
前記第１文字列を前記第１音声区間の長さに応じた態様で前記画面上に表示し、前記第２文字列を前記第２音声区間の長さに応じた態様で前記画面上に表示する請求項６記載の方法。
【請求項１０】
前記第１オブジェクトまたは前記第１文字列と、前記第２オブジェクトまたは前記第２文字列を音声認識の未処理、処理中、処理完了に応じた態様で前記画面上に表示する請求項６記載の方法。
【請求項１１】
マイクを介して音声信号を受ける入力部と、ディスプレイと、前記音声信号の録音、録音された前記音声信号の音声認識、および音声区間を前記ディスプレイの画面上に表示する処理を少なくとも実行する制御部と、を具備するコンピュータにより実行されるプログラムであって、
前記音声信号の録音中に、前記音声信号に含まれる第１音声区間を示す第１オブジェクトと、前記第１音声区間の後の第２音声区間を示す第２オブジェクトを時系列に並べて前記画面上に表示する手順と、
前記第１音声区間の前記音声認識に対応する第１文字列を、前記第１音声区間の前記音声認識が完了したときに、前記第１オブジェクトに関連付けて前記画面上に表示する手順と、
前記第２音声区間の前記音声認識に対応する第２文字列を、前記第２音声区間の前記音声認識が完了したときに、前記第２オブジェクトに関連付けて前記画面上に表示する手順と、
前記第１オブジェクトが前記画面上から消える位置にあると判断した時は前記第１オブジェクトの音声認識をスキップして、後続する前記第２オブジェクトの少なくとも一部を音声認識する手順と、
を前記コンピュータに実行させるプログラム。
【請求項１２】
前記画面上から前記第２音声区間が優先順位付け指定されると、前記第１オブジェクトと前記第２オブジェクトの前記画面上の表示位置に係わらず前記第２オブジェクトを先に音声認識する手順を更に具備する請求項１１記載のプログラム。
【請求項１３】
前記第１オブジェクトと前記第２オブジェクトの低域の音声成分と中域の音声成分とを観察し、両音声成分ともフォルマント成分が存在することを検出しない場合、当該オブジェクトの音声認識を行わない請求項１１記載のプログラム。
【請求項１４】
前記第１文字列を前記第１音声区間の長さに応じた態様で前記画面上に表示する手順と、
前記第２文字列を前記第２音声区間の長さに応じた態様で前記画面上に表示する手順を更に具備する請求項１１記載のプログラム。
【請求項１５】
前記第１オブジェクトまたは前記第１文字列と、前記第２オブジェクトまたは前記第２文字列を音声認識の未処理、処理中、処理完了に応じた態様で前記画面上に表示する手順を更に具備する請求項１１記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は録音中の音声の可視化に関する。
【背景技術】
【０００２】
従来、電子機器で録音する際、録音中の音声を可視化したい要求があった。一例として、入力音を分析し、人間が音声を発生している音声区間と、それ以外の非音声区間（雑音区間と無音区間）とを区別して表示する電子機器がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2003-216179号公報
【特許文献２】特開2000-112490号公報
【特許文献３】特開2014-203031号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の電子機器は、話者が話している音声区間を表示することはできるが、音声の内容を可視化することはできないという課題があった。
【０００５】
本発明の目的は録音中の音声の内容を可視化する電子機器、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態によれば、電子機器は、マイクを介して音声信号を受ける入力部と、ディスプレイと、前記音声信号の録音、録音された前記音声信号の音声認識、および音声区間を前記ディスプレイの画面上に表示する処理を少なくとも実行する制御部と、を具備する。前記制御部は、前記音声信号の録音中に、前記音声信号に含まれる第１音声区間を示す第１オブジェクトと、前記第１音声区間の後の第２音声区間を示す第２オブジェクトを時系列に並べて前記画面上に表示し、前記第１音声区間の前記音声認識に対応する第１文字列を、前記第１音声区間の前記音声認識が完了したときに、前記第１オブジェクトに関連付けて前記画面上に表示し、前記第２音声区間の前記音声認識に対応する第２文字列を、前記第２音声区間の前記音声認識が完了したときに、前記第２オブジェクトに関連付けて前記画面上に表示し、前記第１オブジェクトが前記画面上から消える位置にあると判断した時は前記第１オブジェクトの音声認識をスキップして、後続する前記第２オブジェクトの少なくとも一部を音声認識する。
【図面の簡単な説明】
【０００７】
【図１】実施形態の外観の一例を示す平面図である。
【図２】実施形態のシステム構成の一例を示すブロック図である。
【図３】実施形態のボイスレコーダアプリケーションの機能構成の一例を示すブロック図である。
【図４】実施形態のホームビューの一例を示す図である。
【図５】実施形態の録音ビューの一例を示す図である。
【図６】実施形態の再生ビューの一例を示す図である。
【図７】実施形態の音声認識エンジンの機能構成の一例を示す図である。
【図８】実施形態の音声強調処理の一例を示す図である。
【図９】実施形態の音声判定処理の一例を示す図である。
【図１０】実施形態のキューの動作の一例を示す図である。
【図１１】実施形態の録音ビューの他の例を示す図である。
【図１２】実施形態の動作の一例を示すフローチャートである。
【図１３】図１２のフローチャートの音声認識の部分の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して種々の実施形態を説明する。
【０００９】
図１は一実施形態である電子機器１の一例の平面図を示す。電子機器１は、例えばタブレット型パーソナルコンピュータ（携帯可能なＰＣ（Personal Computer））、スマートフォン（多機能携帯電話装置（Smart Phone））あるいはＰＤＡ（携帯端末装置（Personal Digital Assistant））等である。以下、電子機器１はタブレット型パーソナルコンピュータである場合を説明する。以下に説明する各要素や各構成は、ハードウェアを用いても実現できるし、マイクロコンピュータ（処理装置、ＣＰＵ（Central Processing Unit））を用いるソフトウェアによっても実現できる。
【００１０】
タブレット型パーソナルコンピュータ（以下、タブレットＰＣと略称する）１は、本体１０とタッチスクリーンディスプレイ２０と、を含む。
【００１１】
本体１０の所定の位置、例えば本体１０の表面の上端の中央位置には、カメラ１１が配置されている。さらに、本体１０の２つの所定位置、例えば本体１０の表面の上端において互いに離された２つの位置には、マイクロフォン１２Ｒ，１２Ｌが配置されている。これら２つのマイクロフォン１２Ｒ，１２Ｌの間にカメラ１１が位置されていてもよい。なお、設けられるマイクロフォンは１つであってもよい。本体１０の別の２つの所定位置、例えば本体１０の左側面および右側面には、音響スピーカ１３Ｒ，１３Ｌが配置されている。本体１０のさらに他の所定位置には、図示しないが、電源スイッチ（パワーボタン）、ロック機構及び認証ユニット等が位置する。電源スイッチは、タブレットＰＣ１の利用を可能とする（タブレットＰＣ１を起動する）ための電源のオン／オフを制御する。ロック機構は、例えば持ち運び時の電源スイッチの動作をロックする。認証ユニットは、例えばユーザを認証するために、ユーザの指や掌と関連付けられる（生体）情報を読み取る。
【００１２】
タッチスクリーンディスプレイ２０は、ＬＣＤ（Liquid Crystal Display）２１と、タッチパネル２２とを含む。タッチパネル２２は、ＬＣＤ２１の画面を覆うように本体１０の表面に取り付けられている。タッチスクリーンディスプレイ２０は、表示画面上の外部オブジェクト（スタイラスまたは指）の接触位置を検知する。タッチスクリーンディスプレイ２０は、同時に複数の接触位置を検知可能なマルチタッチ機能をサポートしていてもよい。タッチスクリーンディスプレイ２０は、各種アプリケーションプログラムを起動するための幾つかのアイコンを画面上に表示できる。これらアイコンには、ボイスレコーダプログラムを起動するためのアイコン２９０が含まれていてもよい。ボイスレコーダプログラムは、会議のような録音の内容を可視化するための機能を有している。
【００１３】
図２は、タブレットＰＣ１のシステム構成の一例を示す。タブレットＰＣ１は、図１に示した要素以外に、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、サウンドコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０６、不揮発性メモリ１０７、ＥＥＰＲＯＭ１０８、ＬＡＮコントローラ１０９、無線ＬＡＮコントローラ１１０、バイブレータ１１１、加速度センサ１１２、オーディオキャプチャ１１３、エンベデッドコントローラ（ＥＣ）１１４等を備える。
【００１４】
ＣＰＵ１０１は、タブレットＰＣ１内の各要素の動作を制御するように構成されたプロセッサ回路である。ＣＰＵ１０１は、不揮発性メモリ１０７から主メモリ１０３にロードされる各種プログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）２０１および様々なアプリケーションプログラムを含む。これらアプリケーションプログラムには、ボイスレコーダアプリケーション２０２が含まれる。
【００１５】
ボイスレコーダアプリケーション２０２の幾つかの特徴を説明する。ボイスレコーダアプリケーション２０２は、マイクロフォン１２Ｒ，１２Ｌを介して入力される音に対応するオーディオデータを記録することができる。ボイスレコーダアプリケーション２０２は、オーディオデータから音声区間を抽出し、それぞれの音声区間を、このオーディオデータ内の複数の話者に対応する複数のクラスタに分類することができる。ボイスレコーダアプリケーション２０２は、クラスタ分類の結果を使用することによって、音声区間それぞれを話者別に表示する可視化機能を有している。この可視化機能により、何時、どの話者が発音したかをユーザに分かりやすく提示することができる。ボイスレコーダアプリケーション２０２は、選択された話者の音声区間のみを連続的に再生する話者選択再生機能をサポートする。さらに、入力される音を音声区間単位で音声認識処理することができ、音声区間の内容（テキスト）もユーザに分かりやすく提示することができる。
【００１６】
ボイスレコーダアプリケーション２０２のこれら機能の各々はプロセッサのような回路によって実現することもできる。あるいは、これら機能は、録音回路１２１、再生回路１２２のような専用の回路によって実現することもできる。
【００１７】
ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０６に格納されたハードウェア制御のためのプログラムである基本入出力システム（ＢＩＯＳ）も実行する。
【００１８】
システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。システムコントローラ１０２は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。システムコントローラ１０２は、不揮発性メモリ１０７を制御するためのＡＴＡコントローラも内蔵している。システムコントローラ１０２は、さらに、各種ＵＳＢデバイスを制御するためのＵＳＢコントローラを内蔵している。システムコントローラ１０２は、サウンドコントローラ１０５およびオーディオキャプチャ１１３との通信を実行する機能も有している。
【００１９】
グラフィクスコントローラ１０４は、タッチスクリーンディスプレイ２０のＬＣＤ２１を制御するように構成された表示コントローラである。グラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ２１に送られる。ＬＣＤ２１は、表示信号に基づいて画面イメージを表示する。ＬＣＤ２１を覆うタッチパネル２２は、ＬＣＤ２１の画面上の外部オブジェクトの接触位置を検知するように構成されたセンサとして機能する。サウンドコントローラ１０５は音源デバイスである。サウンドコントローラ１０５は、再生対象のオーディオデータをアナログ信号に変換し、このアナログ信号を音響スピーカ１３Ｒ，１３Ｌに供給する。
【００２０】
ＬＡＮコントローラ１０９は、例えばＩＥＥＥ  ８０２．３規格の有線通信を実行するように構成された有線通信デバイスである。ＬＡＮコントローラ１０９は信号を送信するように構成された送信回路と、信号を受信するように構成された受信回路とを含む。無線ＬＡＮコントローラ１１０は、例えばＩＥＥＥ  ８０２．１１規格の無線通信を実行するように構成された無線通信デバイスであり、信号を無線送信するように構成された送信回路と、信号を無線受信するように構成された受信回路とを含む。無線ＬＡＮコントローラ１１０は、図示しない無線ＬＡＮ等を介してインターネット２２０に接続され、インターネット２２０に接続された音声認識サーバ２３０と協働して、マイク１２Ｒ、１２Ｌから入力される音に対して音声認識処理を施す。
【００２１】
バイブレータ１１１は、振動するデバイスである。加速度センサ１１２は、本体１０の現在の向き（ポートレート向き／ランドスケープ向き）を検出するために使用される。オーディオキャプチャ１１３は、マイクロフォン１２Ｒ、１２Ｌを介して入力される音をアナログ／デジタル変換し、この音に対応するデジタル信号を出力する。オーディオキャプチャ１１３は、どちらのマイクロフォン１２Ｒ，１２Ｌからの音のレベルが大きいかを示す情報を、ボイスレコーダアプリケーション２０２へ送ることができる。ＥＣ１１４は、電力管理のための１チップマイクロコントローラである。ＥＣ１１４は、また、ユーザによる電源スイッチの操作に応じて、タブレットＰＣ１をパワーオンまたはパワーオフする。
【００２２】
図３は、ボイスレコーダアプリケーション２０２の機能構成の一例を示す。ボイスレコーダアプリケーション２０２は、同プログラムの機能モジュールとして、入力インタフェースＩ／Ｆ部３１０、制御部３２０、再生処理部３３０および表示処理部３４０を含む。
【００２３】
入力インタフェースＩ／Ｆ部３１０は、タッチパネルドライバ２０１Ａを介してタッチパネル２２から様々なイベントを受信する。これらイベントは、タッチイベント、移動イベント、リリースイベントを含む。タッチイベントは、ＬＣＤ２１の画面に外部オブジェクトが接触したことを示すイベントである。このタッチイベントは、画面上の外部オブジェクトの接触位置を示す座標を含む。移動イベントは、外部オブジェクトが画面に接触されたまま、接触位置が移動されたことを示すイベントである。この移動イベントは、移動先の接触位置の座標を含む。リリースイベントは、外部オブジェクトと画面との間の接触がリリースされたことを示すイベントである。このリリースイベントは、接触がリリースされた接触位置を示す座標を含む。
【００２４】
これらのイベントに基づいて、次のような指ジェスチャが定義される。
【００２５】
タップ：ユーザの指が、画面の任意の位置に所定時間触れた後、画面と直交する方向に離される（タッチと同義に扱われる場合もある）。
【００２６】
スワイプ：ユーザの指が画面の任意の位置に触れた後、任意の方向に移動する。
【００２７】
フリック：ユーザの指が画面の任意の位置に触れた後、任意の方向に向けて掃われるように移動し、画面から離れる。
【００２８】
ピンチ：ユーザの２本の指が画面の任意の位置に触れた後、画面上で指の間隔を変更する。特に、指の間隔を広げる（指を開く）場合をピンチアウト、指の間隔を狭める（指を閉じる）場合をピンチイン、と称する場合もある。
【００２９】
制御部３２０は、入力インタフェースＩ／Ｆ部３１０から受信される様々イベントに基づいて、画面のどこで、どの指ジェスチャ（タップ、スワイプ、フリック、ピンチ等）が行われたかを、検出することができる。制御部３２０は、録音エンジン３２１、話者クラスタリングエンジン３２２、可視化エンジン３２３、音声認識エンジン３２４等を含む。
【００３０】
録音エンジン３２１は、マイクロフォン１２Ｌ、１２Ｒおよびオーディオキャプチャ１１３を介して入力される音に対応するオーディオデータ４０１を不揮発性メモリ１０７に録音する。録音エンジン３２１は、会議の録音、電話会話の録音、プレゼンテーションの録音のような、様々なシーンの録音を行うことができる。録音エンジン３２１は、また、放送、音楽のような、マイクロフォン１２Ｌ、１２Ｒおよびオーディオキャプチャ１１３以外を介して入力される、他の種類のオーディオソースの録音を行うこともできる。
【００３１】
話者クラスタリングエンジン３２２は、録音されたオーディオデータ４０１を解析して話者識別処理を実行する。話者識別処理は、何時、どの話者が発音したかを検出する。話者識別処理は、例えば、各々が０．５秒の時間長を有する音データサンプル毎に実行される。すなわち、オーディオデータ（録音データ）のシーケンス、つまりデジタルオーディオ信号の信号系列は、０．５秒の時間長を有する音データ単位（０．５秒分の音データサンプルの集合）毎に話者クラスタリングエンジン３２２に送られる。話者クラスタリングエンジン３２２は、音データ単位毎に、話者識別処理を実行する。このように、０．５秒の音データ単位は、話者を識別するための識別単位である。
【００３２】
話者識別処理は、音声区間検出と、話者クラスタリングとを含んでいてもよい。音声区間検出は、音データ単位が、音声区間であるか、音声区間以外の非音声区間（雑音区間、無音区間）であるかを判定する。この音声区間／非音声区間の判定には、公知のいずれの手法も利用できるが、例えば、Voice Activity Detection（VAD)によって判定されてもよい。この音声区間／非音声区間の判定は、録音中にリアルタイムに実行されてもよい。
【００３３】
話者クラスタリングは、オーディオデータの開始時点から終了時点までのシーケンス内に含まれる音声区間がどの話者の発音であるかを識別する。すなわち、話者クラスタリングは、音声区間それぞれをこのオーディオデータに含まれる複数の話者に対応する複数のクラスタに分類する。クラスタは、同一話者の音データ単位の集合である。話者クラスタリングを実行するための方法としては、既存の様々な方法を使用し得る。例えば、本実施形態では、話者位置を使用して話者クラスタリングを実行する方法と、音データの特徴量（音響特徴量）を使用して話者クラスタリングを実行する方法の双方が利用されてもよい。
【００３４】
話者位置は、タブレットＰＣ１に対する個々の話者の位置を示す。話者位置は、２つのマイクロフォン１２Ｌ、１２Ｒを介して入力される２つの音信号の差に基づいて推定することができる。同じ話者位置から入力される音それぞれは、同一の話者の音であると推定される。
【００３５】
音データの特徴量を使用して話者クラスタリングを実行する方法においては、互いに類似する特徴量を有する音データ単位が、同一のクラスタ（同一の話者）に分類される。話者クラスタリングエンジン３２２は、音声区間であると判定された音データ単位から、メル周波数ケプストラム係数（Mel Frequency Cepstrum Coefficient（MFCC））等の特徴量を抽出する。話者クラスタリングエンジン３２２は、音データ単位の話者位置のみならず、音データ単位の特徴量を加味して、話者クラスタリングを実行することができる。特徴量を使用した話者クラスタリングの方法としては、既存のいずれの手法も利用できるが、例えば、特開２０１１−１９１８２４号公報（特許第５１７４０６８号公報）に記載された方法を採用してもよい。話者クラスタリングの結果を示す情報は、不揮発性メモリ１０７にインデックスデータ４０２として保存される。
【００３６】
可視化エンジン３２３は、表示処理部３４０と協動して、オーディオデータ４０１のシーケンス全体の概要を可視化するための処理を実行する。より詳しくは、可視化エンジン３２３は、シーケンス全体を表す表示領域を表示する。そして、可視化エンジン３２３は、この表示領域上に、個々の音声区間を表示する。複数の話者が存在する場合は、これら個々の音声区間の話者を識別可能な形態で音声区間が表示される。可視化エンジン３２３は、インデックスデータ４０２を使用することによって、話者毎の音声区間を可視化することができる。
【００３７】
音声認識エンジン３２４は、音声区間のオーディオデータを前処理してから音声認識サーバ２３０に送信し、音声認識サーバ２３０から音声認識結果を受信する。音声認識エンジン３２４は、可視化エンジン３２３と協働して、表示領域上の音声区間の表示に関連づけて認識結果であるテキストを表示する。
【００３８】
再生処理部３３０は、オーディオデータ４０１を再生する。再生処理部３３０は、無音区間をスキップしながら音声区間のみを連続的に再生することができる。さらに、再生処理部３３０は、ユーザによって選択された特定の話者の音声区間のみを、他の話者の音声区間をスキップしながら連続的に再生する選択話者再生処理を実行することもできる。
【００３９】
次に、ボイスレコーダアプリケーション２０２によって画面上に表示される幾つかのビュー（ホームビュー、録音ビュー、再生ビュー）の一例を説明する。
【００４０】
図４は、ホームビュー２１０−１の一例を示す。ボイスレコーダアプリケーション２０２が起動された時、ボイスレコーダアプリケーション２０２は、ホームビュー２１０−１を表示する。ホームビュー２１０−１は、録音ボタン４００と、一定時間（例えば、３０秒）の音波形４０２と、レコード一覧４０３とを表示する。録音ボタン４００は、録音の開始を指示するためのボタンである。
【００４１】
音波形４０２は、マイクロフォン１２Ｌ、１２Ｒを介して現在入力されている音信号の波形を示す。音信号の波形は、現在時刻を示す縦バー４０１の位置にリアルタイムで次々と現れる。そして、時間の経過に伴って、音信号の波形は、縦バー４０１から左方向に向けて移動する。音波形４０２において、連続する縦バーは、連続する音信号サンプルそれぞれのパワーに応じた長さを有する。音波形４０２の表示によって、ユーザは、録音を開始する前に、音が正常に入力されているか否かを確認することができる。
【００４２】
レコード一覧４０３は、オーディオデータ４０１として不揮発性メモリ１０７に格納されているレコードを含む。ここでは、タイトル「ＡＡＡ会議」のレコードと、タイトル「ＢＢＢ会議」のレコードと、タイトル「サンプル」のレコードとの３つのレコードが存在する場合が想定されている。レコード一覧４０３においては、レコードの録音日、レコードの録音時刻、レコードの録音終了時刻も表示される。レコード一覧４０３においては、作成日が新しい順に、あるいは作成日が古い順に、またはタイトルの順に、録音（レコード）をソートすることができる。
【００４３】
レコード一覧４０３内のあるレコードがユーザによるタップ操作によって選択されると、ボイスレコーダアプリケーション２０２は、その選択されたレコードの再生を開始する。ホームビュー２１０−１の録音ボタン４００がユーザによってタップされた時、ボイスレコーダアプリケーション２０２は録音を開始する。
【００４４】
図５は、録音ビュー２１０−２の一例を示す。録音ボタン４００がユーザによってタップされた時、ボイスレコーダアプリケーション２０２は録音を開始し、表示画面を、図４のホームビュー２１０−１から図５の録音ビュー２１０−２に切り替える。
【００４５】
録音ビュー２１０−２は、停止ボタン５００Ａ、一時停止ボタン５００Ｂ、音声区間バー５０２、音波形５０３、話者アイコン５１２を表示する。停止ボタン５００Ａは現在の録音を停止するためのボタンである。一時停止ボタン５００Ｂは、現在の録音を一時停止するためのボタンである。
【００４６】
音波形５０３は、マイクロフォン１２Ｌ、１２Ｒを介して現在入力されている音信号の波形を示す。音波形５０３は、ホームビュー２１０−１の音波形４０２と同様に、縦バー５０１の位置に次々と現れ、時間の経過に伴って左方向に向けて移動する。音波形５０３においても、連続する縦バーは、連続する音信号サンプルそれぞれのパワーに応じた長さを有する。
【００４７】
録音中においては、上述の音声区間検出が実行される。音信号内の１以上の音データ単位が音声区間（人の声）であると検出された時、それら１以上の音データ単位に対応する音声区間は、音声区間を示すオブジェクトとしての音声区間バー５０２によって可視化される。音声区間バー５０２の長さは、対応する音声区間の時間長によって変化する。
【００４８】
音声区間バー５０２は、話者クラスタリングエンジン３２２により入力音声が解析され、話者識別処理後に表示可能である。そのため、録音直後は音声区間バー５０２が表示不可能であるので、ホームビュー２１０−１と同様に、音波形５０３が表示される。右端でリアルタイムに音波形５０３が表示され、音波形５０３は時間の経過とともに画面の左側に流れ、ある程度経過すると、音声区間バー５０２に切り替わる。音波形５０３だけでは、音声によるパワーであるのか、雑音によるパワーであるのかが判別できないが、音声区間バー５０２により人の音声の録音が確認できる。リアルタイムの音波形５０３と、若干遅れたタイミングから始まる音声区間バー５０２が同じ行で表示されることにより、ユーザの視線は同じ行に留まることができ、視線がバラけることなく、視認性良く有用な情報が得られる。
【００４９】
音波形５０３から音声区間バー５０２に切り替わる際、一瞬にして切り替わるのではなく、波形表示からバー表示に徐々に切り替えられる。これにより、右端に現在のパワーが音波形５０３として表示され、表示が右から左に流れ、表示が更新する過程において、波形が連続的あるいはシームレスに変化してバーに収束するため、ユーザは表示を観察する際、不自然さを感じない。
【００５０】
画面の上部左側に、レコード名（初期状態では“新しいレコード”）と、日時が表示される。画面の上部中央に、録音時間（絶対時間でもよいが、ここでは録音開始からの経過時間）（例えば、００時５０分０２秒）が表示される。画面の上部右側に、話者アイコン５１２が表示される。現在発話中の話者が特定されると、当該話者のアイコンの下部に発話マーク５１４が表示される。音声区間バー５０２の下部には、１０秒毎の目盛りを持つ時間軸が表示される。図５は現在時刻（右端）から一定時間、例えば、３０秒前までの音声を可視化するものであり、左側にいく程、時間は過去になる。この３０秒間は変更可能である。
【００５１】
ホームビュー２１０−１の時間軸のスケールは一定であるが、録音ビュー２１０−２の時間軸のスケールは可変で、時間軸を左右にスワイプ、あるいはピンチイン、ピンチアウトすることにより、スケールを可変し表示時間（図５の例では、３０秒間）を可変することができる。また、時間軸を左右にフリックすることにより、時間軸が左右に移動し、表示時間は変わらないが、過去のある時刻から一定時間前に録音した音声の可視化も可能である。
【００５２】
音声区間バー５０２Ａ、５０２Ｂ、５０２Ｃ、５０２Ｄの上にタグ５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄが表示される。タグ５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄは、音声区間を選択するためのものであり、選択されると、タグの表示形態が変化する。タグの表示形態が変化したことは、タグが選択されたことを意味する。例えば、選択されたタグの色、大きさ、コントラストが変化する。タグによる音声区間の選択は、例えば、再生時に優先的に再生する音声区間を指定するために行なわれる。さらに、タグによる音声区間の選択は、音声認識の処理順番を制御するためにも利用される。通常、音声認識は時間が古い音声区間から順に行なわれるが、タグが付された音声区間は優先的に音声認識される。音声区間バー５０２Ａ、５０２Ｂ、５０２Ｃ、５０２Ｄに関連付けて、例えば、音声区間バーの下に音声認識結果を表示する吹き出し５０６Ａ、５０６Ｂ、５０６Ｃ、５０６Ｄが表示される。
【００５３】
音声区間バー５０２は時間の経過とともに左側に移動し、左端から徐々に画面外へ消えていく。それに伴い、音声区間バー５０２の下の吹き出し５０６も一緒に左側に移動し、左端から画面外へ消えていく。左端の音声区間バー５０２Ｄは徐々に画面外へ消えるが、吹き出し５０６Ｄも音声区間バー５０２Ｄと同様に徐々に消えても良いし、左端からある距離範囲に入ると、吹き出し５０６Ｄは全部消えても良い。
【００５４】
吹き出し５０６のサイズは有限であるので、テキスト全部が表示できない場合があり、その場合はテキストの一部が表示省略される。例えば、認識結果の先頭の数文字のみが表示され、残りの部分は表示が省略され、省略された認識結果は“…”で表示される。この場合、吹き出し５０６をクリックすると、ホップアップウィンドウが表示され、その中に全部の認識結果が表示されるようにしてもよい。音声区間５０２Ａの吹き出し５０６Ａは全て“…”を表示するが、これは、音声認識ができなかったことを示す。また、画面全体に空間的な余裕がある場合、テキストの文字数に応じて吹き出し５０６のサイズが変わってもよい。あるいは、吹き出し５０６内に表示される文字数に応じてテキストのサイズが変わってもよい。さらに、音声認識結果の文字数、音声区間の長さ、あるいは表示位置に応じて吹き出し５０６のサイズを変えてもよい。例えば、文字数が多い場合や音声区間バーが長い場合、吹き出し５０６の横幅を大きくしてもよいし、表示位置が右側になる程、吹き出し５０６の横幅を大きくしてもよい。
【００５５】
吹き出し５０６は音声認識処理の完了後表示されるので、吹き出し５０６が表示されていないということは、音声認識処理中あるいは処理前（未処理）であることが分かる。さらに、処理前（未処理）と処理中とを区別するために、処理前は吹き出し５０６を表示せず、処理中は空白の吹き出し５０６を表示してもよい。処理中を示す空白の吹き出し５０６が点滅されてもよい。さらに、音声認識の処理前（未処理）と処理中のステータスは吹き出し５０６の表示形態の変化により表すのではなく、音声区間バー５０２の表示形態の変化で表してもよい。例えば、音声区間バー５０２の色、コントラスト等をステータスに応じて変化させても良い。
【００５６】
後述するが、本実施形態では、全ての音声区間が音声認識処理される訳ではなく、ある音声区間は音声認識処理に供されない。そのため、音声認識結果が得られない場合、認識処理したが結果が得られなかったのか、認識処理がなされなかったのかを識別したいことがある。これに対処するために、図５では図示しない（図１１には図示）が、認識処理がなされない音声区間の吹き出しは全て“xxxx”を表示するようにしてもよい。上述した音声認識結果の表示に関するユーザインタフェースは設計事項であり、種々変更可能である。
【００５７】
図６は、タイトル「ＡＡＡ会議」のレコードの再生中にその再生が一時停止された状態の再生ビュー２１０−３の一例を示す。再生ビュー２１０−３は、話者識別結果ビュー領域６０１、シークバー領域６０２、再生ビュー領域６０３、コントロールパネル６０４を表示する。
【００５８】
話者識別結果ビュー領域６０１は、タイトル「ＡＡＡ会議」のレコードのシーケンス全体を表示する表示領域である。話者識別結果ビュー領域６０１は、このレコードのシーケンス内の複数の話者それぞれに対応する複数の時間軸７０１を表示してもよい。話者識別結果ビュー領域６０１においては、タイトル「ＡＡＡ会議」のレコードのシーケンス全体内で発話の量が多い順に、５人の話者が順番に並べられる。シーケンス全体内で最も発話の量が多い話者は話者識別結果ビュー領域６０１の一番上に表示される。ユーザは、特定の話者の音声区間（音声区間マーク）を順番にタップすることによって、この特定の話者の音声区間それぞれを聞くこともできる。
【００５９】
時間軸７０１の左端はこのレコードのシーケンスの開始時刻に対応し、時間軸７０１の右端はこのレコードのシーケンスの終了時刻に対応する。つまり、このレコードのシーケンスの開始から終了までの総時間が時間軸７０１に割り当てられる。しかし、総時間が長い場合、総時間全部を時間軸７０１に割り当てると、時間軸の目盛りが細かくなり過ぎて表示が見づらい場合があるので、録音ビューと同様に、時間軸７０１のサイズを可変としてもよい。
【００６０】
ある話者の時間軸７０１においては、その話者の音声区間の位置および時間長を示す音声区間マークが表示される。複数の話者には異なる色が割り当てられていてもよい。この場合、話者毎に、異なる色の音声区間マークが表示されてもよい。例えば、話者「星野」の時間軸７０１においては、音声区間マーク７０２は、話者「星野」に割り当てられた色（例えば赤色）で表示されてもよい。
【００６１】
シークバー領域６０２は、シークバー７１１と、移動可能なスライダ（ロケーターとも云う）７１２とを表示する。シークバー７１１には、このレコードのシーケンスの開始から終了までの総時間が割り当てられる。シークバー７１１上のスライダ７１２の位置は、現在再生位置を示す。スライダ７１２からは縦バー７１３が上方向に延びている。縦バー７１３は話者識別結果ビュー領域６０１を横切るので、ユーザは、現在再生位置がどの話者（主要話者）の音声区間であるかを容易に理解することができる。
【００６２】
シークバー７１１上のスライダ７１２の位置は、再生の進行に伴って右方向に向けて移動する。ユーザは、ドラッグ操作によってスライダ７１２を右方向または左方向に移動することができる。これにより、ユーザは、現在再生位置を任意の位置に変更することができる。
【００６３】
再生ビュー領域６０３は、現在再生位置の近傍の期間（例えば２０秒程度の期間）の拡大ビューである。再生ビュー領域６０３は、時間軸方向（ここでは横方向）に長い表示領域を含む。この再生ビュー領域６０３においては、現在再生位置の近傍の期間内に含まれる幾つかの音声区間（検出された実際の音声区間）が時系列順に表示される。縦バー７２０は、現在再生位置を示す。ユーザが再生ビュー領域６０３をフリックすると、縦バー７２０の位置が固定された状態で、再生ビュー領域６０３の表示内容が左または右にスクロールされる。この結果、現在再生位置も変更される。
【００６４】
図７は、図３の音声認識エンジン３２４の構成の一例を示す図である。音声認識エンジン３２４は、音声区間検出モジュール３７０、音声強調モジュール３７２、認識適合／不適合判定モジュール３７４、優先順位付きキュー３７６、優先順位コントロールモジュール３８０、音声認識クライアントモジュール３７８を含む。
【００６５】
オーディオキャプチャ１１３からのオーディオデータは音声区間検出モジュール３７０に入力される。音声区間検出モジュール３７０は、オーディオデータに対して音声区間検出（ＶＡＤ）を行い、音声・非音声（非音声は、雑音と無音を含む）の判定結果に基づいて上限時間（例えば十数秒）単位の音声区間を抽出する。オーディオデータは、発言単位、あるいは息継ぎ毎に音声区間とされる。音声が無音から有音に変わるタイミングと、有音から再び無音に変わるタイミングとが検出され、この間が音声区間とされてもよい。この区間が１０数秒以上ある場合、文字単位を考慮して１０数秒程度まで短縮する。上限時間がある理由は、音声認識サーバ２３０の負荷の関係である。一般に、会議等の長時間の音声の認識には、下記の問題がある。  
１）認識精度は辞書によるので、予め膨大な辞書データを登録する必要がある。  
２）音声を取得する状況（例えば、話者が離れたところに居る等）によっては、認識精度が変化（低下）することがある。  
３）長時間会議の場合では音声データ量が膨大となり、認識処理に時間を要することがある。
【００６６】
本実施形態では、所謂サーバ型音声認識システムを想定している。サーバ型音声認識システムは、不特定話者方式（学習不要）のため、予め膨大な辞書データを登録しないで良い。しかし、サーバ型音声認識システムでは、サーバに負荷が掛るため、十数秒程度以上の音声は認識できない場合がある。そのため、サーバ型音声認識システムは、検索キーワードを音声入力するような用途にしか使われておらず、会議音声のような長時間音声（例えば１〜３時間）を認識するような用途には不向きであった。
【００６７】
本実施形態では、音声区間検出モジュール３７０は長時間音声を十数秒程度の音声区間に分割する。これにより、長時間の会議音声が十数秒程度の多数の音声区間に分割されるので、サーバ型音声認識システムで音声認識が可能となる。
【００６８】
音声区間データは、さらに音声強調モジュール３７２、認識適合／不適合判定モジュール３７４による処理を受け、サーバ型音声認識システムに適した音声区間データとされる。音声強調モジュール３７２は、音声区間データに対して音声成分を強調する処理、例えば、ノイズサプレッサ処理とオートゲインコントロール処理を施す。これらの処理によって、図８に示すように音声特性（フォルマント）が強調され、後段の処理の音声認識の精度が向上する可能性が高くなる。図８は、横軸が時間、縦軸が周波数を示す。図８の（ａ）は強調前の音声区間データであり、（ｂ）は強調後の音声区間データである。ノイズサプレッサ処理とオートゲインコントロール処理としては、既存の手法を利用することができる。また、ノイズサプレッサ処理、オートゲインコントロール処理以外の音声成分の強調処理、例えば、残響抑圧処理、マイクロホンアレイ処理、音源分離処理等を採用することも可能である。
【００６９】
録音条件が悪い場合（例えば、話者までの距離が遠い等）は、音声成分そのものが欠損しているので、いくら音声強調を行っても音声成分を復活させることはできず、音声認識できないことがある。このような音声区間データに対して音声認識しても、意図した認識結果が得られないので、処理時間が無駄になるとともに、サーバの処理が無駄になる。そこで、音声強調モジュール３７２の出力が認識適合／不適合判定モジュール３７４に供給され、音声認識に適さない音声区間データを除外する処理が行われる。例えば、低域（例えば、周波数約1200Hz以下）の音声成分と中域（例えば、周波数約1700Hz〜4500Hz）の音声成分とを観察し、図９の（ａ）に示すように、両方ともにフォルマント成分が存在する場合、音声認識に適する音声区間データであり、それ以外の場合、適しないと判断する。図９の（ｂ）は低域に比べて中域のフォルマント成分が欠如している例（音声認識に適しない）を示す。認識適合／不適合の判定基準は、これに限らず、音声認識に不適合なデータを検出することが出来れば良い。
【００７０】
音声認識に適しないと判定された音声区間データは判定モジュール３７４から出力されず、音声認識に適すると判定された音声区間データのみが優先順位付きキュー３７６に蓄積される。音声区間データをキューに格納してから音声認識処理に供するのは、音声区間の検出処理に係る時間よりも音声認識の処理時間が長い（音声区間の先頭が検出されてから認識結果が出るまで１０数秒かかる）ので、その時間差を吸収するためである。優先順位付きキュー３７６はファーストイン／ファーストアウトのレジスタであり、原則、入力された順番でデータを出力するが、優先順位コントロールモジュール３８０により優先順位が与えられた場合、その優先順位に応じた順番でデータを出力する。優先順位コントロールモジュール３８０は、タグ５０４（図５）が選択された音声区間が優先して取り出されるように優先順位付きキュー３７６を制御する。また、優先順位コントロールモジュール３８０は、音声区間の表示位置にも応じて音声区間の優先順位を制御してもよい。例えば、画面の左端の音声区間は最も早く画面から消えるので、左端付近の音声区間に対しては音声認識をスキップする、吹き出しを表示しないという判断をしても良い。このように認識を制御することは、キュー３７６にデータが溜まり過ぎることを防止するためである。
【００７１】
優先順位付きキュー３７６から取り出された音声区間データは、音声認識クライアントモジュール３８０により、無線ＬＡＮコントローラ１１０、インターネット２２０を介して音声認識サーバ２３０に送信される。音声認識サーバ２３０は、不特定話者方式の音声認識エンジンを持ち、音声区間データの認識結果であるテキストデータを音声認識クライアントモジュール３８０に送信する。音声認識クライアントモジュール３８０は、サーバ２３０から送信されたテキストデータを図５の吹き出し５０６内に表示するよう表示処理部３４０を制御する。
【００７２】
図１０は、優先順位付きキュー３７６から音声区間データが取り出される様子を示す図である。図１０の（ａ）は、図５に示す４つの音声区間５０２Ａ、５０２Ｂ、５０２Ｃ、５０２Ｄのいずれもタグ５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄが選択されておらず、優先順位コントロールモジュール３８０は優先順位を全く制御しない場合の優先順位付きキュー３７６から音声区間データが取り出される様子を示す。優先順位付きキュー３７６には、音声区間５０２Ｄのデータ、音声区間５０２Ｃのデータ、音声区間５０２Ｂのデータ、音声区間５０２Ａのデータが古い順に蓄積され、蓄積された順番が優先順位と等しい。即ち、音声区間５０２Ｄ、５０２Ｃ、５０２Ｂ、５０２Ａがそれぞれ優先順位１、優先順位２、優先順位３、優先順位４であり、音声区間５０２Ｄのデータ、音声区間５０２Ｃのデータ、音声区間５０２Ｂのデータ、音声区間５０２Ａのデータの順に取り出され、音声認識される。そのため、図５の録音ビュー２１０−２では、音声区間５０２Ｄ、５０２Ｃ、５０２Ｂ、５０２Ａの順に吹き出し５０６Ｄ、５０６Ｃ、５０６Ｂ、５０６Ａが表示される。
【００７３】
図１０の（ｂ）は、優先順位コントロールモジュール３８０が優先順位を調整する場合の優先順位付きキュー３７６から音声区間データが取り出される様子を示す。図５に示すように、音声区間５０２Ｂのタグ５０４Ｂが選択されたので、優先順位付きキュー３７６に順に蓄積された音声区間５０２Ｄのデータ、音声区間５０２Ｃのデータ、音声区間５０２Ｂのデータ、音声区間５０２Ａのデータの中で、音声区間５０２Ｂのデータの優先順位が１位となる。また、音声区間５０２Ｄは最も古いので優先順位は自動的に高くなるが、左端付近にあるので、もう直に画面から消える。音声認識処理しても認識結果が出る頃には、既に画面から消えることが予想される。そのため、左端付近の音声区間に対しては音声認識をスキップするために、優先順位付きキュー３７６から当該音声区間のデータが取り出されないようになっている。
【００７４】
図１１は、図１０の（ｂ）に示すように優先順位付きキュー３７６から音声区間データが取り出された場合の録音ビュー２１０−２の一例を示す。音声区間５０２Ｂのデータが一番早く音声認識され、次に音声区間５０２Ｃのデータ、音声区間５０２Ａのデータ、音声区間５０２Ｄのデータの順で音声認識される。ここでは、音声区間５０２Ｃの吹き出し５０６Ｃは全て“xxxx”を表示するが、これは、音声認識に適しないデータであり、音声認識をしなかったことを示す。音声区間５０２Ａの吹き出し５０６Ａは全て“…”を表示するが、これは、音声認識処理はしたが、認識結果が得られなかったことを示す。音声区間５０２Ｄの優先順位は４であり、音声区間５０２Ａのデータの次に読み出すが、読み出す際に、既に左端に近い領域に移動しているので、優先順位付きキュー３７６から当該音声区間のデータが取り出されない。このため、音声認識がスキップされ、吹き出し５０６Ｄは表示されない。
【００７５】
図１２は、実施形態のボイスレコーダアプリケーション２０２による録音動作の一例を示すフローチャートである。ボイスレコーダアプリケーション２０２が起動されると、ブロック８０４で、図４に示すようなホームビュー２１０−１が表示される。ブロック８０６で、録音ボタン４００が操作されたか否か判定される。録音ボタン４００が操作された場合、ブロック８１４で、録音が開始される。ブロック８０６で、録音ボタン４００が操作されない場合、ブロック８０８で、レコード一覧４０３内のレコードが選択されたか否か判定される。ブロック８０８で、レコードが選択されない場合、ブロック８０６の録音ボタン操作の判定が繰り返される。レコードが選択された場合、ブロック８１０で、選択されたレコードの再生が開始され、図６に示すような再生ビュー２１０−３が表示される。
【００７６】
ブロック８１４で録音が開始されると、ブロック８１６で、オーディオキャプチャ１１３からのオーディオデータがボイスレコーダアプリケーション２０２に入力される。ブロック８１８で、オーディオデータに対して音声区間検出（ＶＡＤ）が行なわれ、音声区間が抽出され、オーディオデータの波形、音声区間が可視化され、図５に示すような録音ビュー２１０−２が表示される。
【００７７】
録音が開始されると、多数の音声区間が入力される。ブロック８２２で、最も古い音声区間が処理対象として選択される。ブロック８２４で、当該音声区間のデータが、音声強調モジュール３７２により音声特性（フォルマント）強調される。ブロック８２６で、強調後の音声区間のデータの低域の音声成分と中域の音声成分とが認識適合／不適合判定モジュール３７４により抽出される。
【００７８】
ブロック８２８で、音声区間データが優先順位付きキュー３７６に蓄積されているか否かが判定される。蓄積されている場合、ブロック８３６が実行される。蓄積されていない場合、ブロック８２６で低域の音声成分と中域の音声成分とが抽出された音声区間のデータが、音声認識に適するか否かがブロック８３０で判定される。一例として、低域（約1200Hz以下）と中域（約1700Hz〜4500Hz）の音声成分の両方ともにフォルマント成分が存在する場合、音声認識に適すると判定される。音声認識に不適合と判定された場合、ブロック８２２に戻り、次の音声区間が処理対象とされる。
【００７９】
音声認識に適すると判定された場合、ブロック８３２で、当該音声区間のデータが優先順位付きキュー３７６に蓄積される。ブロック８３４で、音声区間データが優先順位付きキュー３７６に蓄積されているか否かが判定される。蓄積されていない場合、ブロック８４４で録音終了か否か判定される。録音終了でない場合、ブロック８２２に戻り、次の音声区間が処理対象とされる。
【００８０】
ブロック８３４で蓄積されていると判断された場合、ブロック８３６で優先順位付きキュー３７６から１つの音声区間のデータが取り出され、音声認識サーバ２３０に送信される。音声認識サーバ２３０で音声区間データが音声認識され、ブロック８３８で、認識結果のテキストデータが音声認識サーバ２３０から返送される。ブロック８４０で、認識結果に基づいて、録音ビュー２０１−２の吹き出し５０６の表示内容が更新される。このため、キュー内に音声区間データが蓄積されている限りは、録音が終了しても音声認識は続く。
【００８１】
録音時に得られた認識結果は音声区間データとともに保存されるので、再生時に認識結果を表示してもよい。また、録音時に認識結果が得られなかった場合、再生時に認識しても良い。
【００８２】
図１３は、ブロック８３６の「優先順位コントロールモジュール３８０からの音声区間データの取り出し」の一例を示すフローチャートである。ブロック９０４で、キュー３７６内にタグ付きの音声区間データが蓄積されているか否か判定される。蓄積されている場合、ブロック９０６で、タグ付きの音声区間の優先順位が１位とされ、各音声区間の優先順位が変更された後、ブロック９０８が実行される。ブロック９０４で蓄積されていないと判定された場合も、ブロック９０８が実行される。
【００８３】
ブロック９０８で、優先順位の最も高い音声区間が取り出し候補とされる。ブロック９１２で、取り出し候補の音声区間を示すバー５０２の画面内の位置が左端領域であるか否か判定される。音声区間バーの表示位置が左端領域であることは、音声区間バーが画面から直に消えることを意味するので、音声認識の必要性が低い音声区間であると判断できる。そのため、音声区間バーの表示領域が左端領域である場合、音声認識処理を省略して、ブロック９０８で、次の音声区間が取り出し候補とされる。
【００８４】
音声区間バーの表示領域が左端領域でない場合、ブロック９１４で、取り出し候補の音声区間のデータが優先順位付きキュー３７６から取り出され、音声認識サーバ２３０に送信される。その後、ブロック９１６で、音声区間データが優先順位付きキュー３７６に蓄積されているか否かが判定される。蓄積されている場合、ブロック９０８で、次の音声区間が取り出し候補とされる。蓄積されていない場合、図１２のフローチャートに戻り、ブロック８３８（認識結果の受信）が実行される。
【００８５】
図１３の処理によれば、音声認識しても表示時間が短いものは音声認識が省略される。また、反対に、重要度が高い音声区間は優先的に音声認識されるので、直ぐに音声認識結果が表示される。
【００８６】
以上説明したように、第１の実施形態によれば、会議音声等の長時間のオーディオデータの取得(録音)中に、必要な音声データのみが音声認識されるため、音声認識結果の待ち時間の大幅な削減が見込める。加えて、音声認識に適さない音声は音声認識処理から除かれるため、認識精度の改善も見込めるとともに、無駄な処理、処理時間が発生することがない。さらに、録音順番ではなく、ユーザが所望する音声区間から優先的に音声認識するので、例えばユーザが重要と思う発言内容を素早く確認でき、より効果的に会議を振返ることができる。また、音声区間とその認識結果をタイムライン順に表示する際、表示エリアから直に消える位置に表示されている音声区間は音声認識を省略することもでき、限られた画面に限られた時間内に認識結果を有効に表示することができる。
【００８７】
なお、本実施形態の処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００８８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【００８９】
例えば、音声認識処理は、不特定話者方式の学習サーバ型の音声認識処理を説明したが、サーバを利用せず、タブレットＰＣ１０内の音声認識エンジン３２４がローカルに認識処理してもよいし、サーバを利用する場合でも、特定話者方式の認識処理を採用してもよい。
【００９０】
録音ビュー、再生ビューの表示形態は何ら限定されない。例えば、録音ビュー、再生ビューにおける音声区間を示す表示は、バーに限らず、ホームビューの場合のように波形を表示する形態でも、音声区間の波形と他の区間の波形を識別可能であればよい。さらには、ビューにおいては、音声区間と他の区間との波形が識別されなくても良い。即ち、音声区間は認識結果が付加的に表示されるので、どの区間も同じ表示であっても、認識結果の表示に基づいて音声区間が識別される。
【００９１】
音声区間データを優先順位付きキューに格納してから音声認識を行っているが、これに限らず、優先順位制御が不能な通常のファーストイン／ファーストアウトのレジスタに格納してから音声認識を行ってもよい。
【００９２】
画面の表示エリアの制限および／またはサーバの処理負荷に基づき、キューに蓄積された音声区間データのいくつかは音声認識処理がスキップされる。しかし、音声区間データ単位でスキップするのではなく、全ての音声区間データの先頭部分、あるいは吹き出しに表示される部分のみ音声認識してもよい。先頭部分のみを表示した後、時間があれば、現在時刻に近い音声区間から順に残りの部分を音声認識して、表示を更新してもよい。
【符号の説明】
【００９３】
１２Ｒ，１２Ｌ…マイク、２０…タッチスクリーンディスプレイ、１０１…ＣＰＵ、１１３…オーディオキャプチャ、２０２…ボイスレコーダアプリケーション、２３０…音声認識サーバ、３２１…録音エンジン、３２３…可視化エンジン、３２４…音声認識エンジン、５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄ…音声区間バー、５０３…音波形、５０４Ａ，５０４Ｂ，５０４Ｃ，５０４Ｄ…タグ、５０６Ａ，５０６Ｂ，５０６Ｃ，５０６Ｄ…吹き出し、３７６…優先順位付きキュー。
【図１】
0006464411.tif 000002
【図２】
0006464411.tif 000003
【図３】
0006464411.tif 000004
【図４】
0006464411.tif 000005
【図５】
0006464411.tif 000006
【図６】
0006464411.tif 000007
【図７】
0006464411.tif 000008
【図８】
0006464411.tif 000009
【図９】
0006464411.tif 000010
【図１０】
0006464411.tif 000011
【図１１】
0006464411.tif 000012
【図１２】
0006464411.tif 000013
【図１３】
0006464411.tif 000014