(57)【要約】  筆記者端末２００と情報配信装置１００とを用いる。情報配信装置１００は、発話音声の無音区間から息継ぎ区間を特定する息継ぎ検知部１０４と、筆記者の割当時間毎に、息継ぎ区間が、割当時間の終点を基準とした範囲内に存在するか否かを判定し、存在する場合に、割当時間の開始点から息継ぎ区間までの発話の音声データを生成し、存在しない場合に、割当時間の開始点から終点までの発話の音声データを生成するデータ処理部１０５と、音声データを筆記者端末２００に送信するデータ送信部１０６とを備える。筆記者端末２００は、音声データを受信し、入力を受け付けたテキストデータを、要約筆記の利用者が使用する利用者端末３００に送信する。
2014148190.tif 000002
【特許請求の範囲】
【請求項１】
話者の発話の要約筆記を支援するためのシステムであって、
前記要約筆記を行なう筆記者が使用する筆記者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を備え、
前記情報配信装置は、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、データ送信部と、を備え、
前記筆記者用の端末装置は、
前記情報配信装置から送信されてきた前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする要約筆記支援システム。
【請求項２】
前記情報配信装置の前記データ送信部が、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記端末装置に対して送信し、
前記筆記者用の端末装置が、外部からの指示に応じて、送信されてきた前記映像データから、静止画像を取り出す、画像加工部を更に備え、
前記筆記者用の端末装置の前記データ送信部は、入力が受け付けられた前記テキストデータと、取り出された前記静止画像の画像データとを、前記利用者用の端末装置に送信する、
請求項１に記載の要約筆記支援システム。
【請求項３】
前記息継ぎ検知部が、前記無音区間の長さが閾値以下の場合に、抽出した前記無音区間を前記話者の息継ぎ区間として特定する、
請求項１または２に記載の要約筆記支援システム。
【請求項４】
前記筆記者に割り当てられる割当時間の長さが、前記筆記者の要約筆記の能力に応じて設定されている、請求項１〜３のいずれかに記載の要約筆記支援システム。
【請求項５】
話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するための装置であって、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする情報配信装置。
【請求項６】
話者の発話の要約筆記を行なう筆記者が使用する端末装置であって、
前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする端末装置。
【請求項７】
話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を用いて、要約筆記を支援するための方法であって、
（ａ）前記情報配信装置によって、前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）前記情報配信装置によって、前記筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記情報配信装置によって、前記（ｂ）のステップで生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
（ｄ）前記筆記者用の端末装置によって、前記情報配信装置から送信されてきた前記音声データを受信する、ステップと、
（ｅ）前記筆記者用の端末装置によって、前記音声データに対応して入力されたテキストデータの入力を受け付けるステップと、
（ｆ）前記筆記者用の端末装置によって、前記（ｅ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を有することを特徴とする要約筆記支援方法。
【請求項８】
コンピュータによって、話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記（ｂ）のステップによって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項９】
話者の発話の要約筆記を行なう筆記者が使用するコンピュータに、
（ａ）前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、ステップと、
（ｂ）前記音声データに対応して入力されたテキストデータの入力を受け付ける、ステップと、
（ｃ）前記（ｂ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者の要約筆記を支援するための、要約筆記支援システム、情報配信装置、端末装置、要約筆記支援方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
両耳の聴力がマイナス１００デシベル以上の聴覚障がい者（以下、単に「聴覚障がい者」と記す）は、補聴器等を付けても、ほとんど音声中の言語情報を聞き取ることができない。このため従来から、聴覚障がい者が講演及び学校での授業等を聴講するに際して、手話通訳者を付ける場合と、要約筆記通訳者を付ける場合とがあった。【０００３】
このうち、要約筆記通訳者を付ける場合には、通常、聴覚障がい者１人に対して、例えば学校での授業であれば、要約筆記通訳者が２人以上付けられる。そして、これらの要約筆記者は、先生の話す内容などを、ＰＣ（Personal Computer）又は紙のノート等によって文字化し、これを聴覚障がい者に対して提示する。なお、要約筆記通訳者が２人以上必要となるのは、要約筆記作業は負担が大きく、１人では要約精度が低下しやすいからである。【０００４】
ところで、１８歳以下の聴覚障がい学生が平成２０年度の厚生労働省の調べでは全国で約２万人存在し、それに対し、正式に登録されている要約筆記通訳者は全国で約１万人である。その上で、聴覚障がい学生１人に対して２人以上の要約筆記通訳者が付くとすると、支援を受けることが可能な聴覚障がい学生は、単純に計算しても全体の１／４である。さらに、地域によって要約筆記者の数及び聴覚障がい学生の数には、ばらつきがある。これらの理由から、より少ない人数の聴覚障がい学生しか、学校において支援を受けることが出来ないのが現状である。【０００５】
そこで、要約筆記通訳者の数を増やすために各団体で養成等が行われ、新しい要約筆記通訳者は、１年間の講習及び訓練の義務付け等によって能力が鍛えられた上で、要約筆記者として登録される。しかし、要約筆記者の数は微増でしかないため、依然として支援を受けられない学生が多くいるという問題がある。【０００６】
ところで、特許文献１及び２は、字幕を書き起こす際に筆記者を支援するシステムを開示している。特許文献１及び２に開示されたシステムは、音声の再生速度を調整する機能と、字幕作成者が入力したテキストデータを映像データに自動的に合成する機能とを備えている。このようなシステムであれば、要約筆記通訳者の数が足りないという上記問題の解決に貢献できるとも考えられる。【０００７】
また、特許文献３は、プレゼンテーションの際に、音声を音声認識しながら、リアルタイムで認識結果を修正し、そして修正後の認識結果を字幕として表示するシステムを開示している。特許文献３に開示されたシステムを導入すれば、要約筆記通訳者の数が足りないという上記問題の解決により確実に貢献できると考えられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−２２３１９９号公報
【特許文献２】特開２００３−２２３２００号公報
【特許文献３】特開２００７−２５６７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１及び２に開示されたシステムは、筆記者が、放送又は放映の前に、映像を見ながら音声を聞いて字幕を作成する際に、筆記者を支援することを目的としており、リアルタイムでの発話を文字化する際の支援を目的としたものではない。このため、特許文献１又は２に開示されたシステムを採用しても、要約筆記通訳者不足を解消することは困難である。【００１０】
一方、また、特許文献３に開示されたシステムでは、発話に対してリアルタイムで字幕を表示することができるので、特許文献１及び２のような問題は生じないと考えられるが、音声認識が行なわれるため、それに起因する問題が存在している。【００１１】
つまり、特許文献３に開示されたシステムでは、音声認識精度の向上のため、１又は複数の文字列候補と文字列候補毎の確信度とに基づき、現在の処理状況に応じて、自動での候補提示、又は手動での候補提示が行なわれる。加えて、手動の場合に候補を提示できないときは、マッチングスコアに基づいて候補が提示される。【００１２】
しかしながら、音声認識における認識率は、発話環境によっては大きく低下する場合がある。例えば、発話の音声に対して周囲の環境音が大きい場合、複数の話者が同時に発生する場合、言葉に方言及び略語が含まれている場合である。このような場合、特許文献３に開示されたシステムでは、正確な情報を提供できないという問題がある。【００１３】
本発明の目的の一例は、上記問題を解消し、要約筆記を実施する者の要約筆記の経験が浅い場合でも、聴覚障がい者に正確な情報を提供し得る、要約筆記支援システム、情報配信装置、要約筆記支援方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、本発明の一側面における要約筆記支援システムは、話者の発話の要約筆記を支援するためのシステムであって、
前記要約筆記を行なう筆記者が使用する筆記者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を備え、
前記情報配信装置は、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、データ送信部と、を備え、
前記筆記者用の端末装置は、
前記情報配信装置から送信されてきた前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする。【００１５】
また、上記目的を達成するため、本発明の一側面における情報配信装置は、話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するための装置であって、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする。【００１６】
上記目的を達成するため、本発明の一側面における端末装置は、話者の発話の要約筆記を行なう筆記者が使用する端末装置であって、
前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする。【００１７】
また、上記目的を達成するため、本発明の一側面における要約筆記支援方法は、話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を用いて、要約筆記を支援するための方法であって、
（ａ）前記情報配信装置によって、前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）前記情報配信装置によって、前記筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記情報配信装置によって、前記（ｂ）のステップで生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
（ｄ）前記筆記者用の端末装置によって、前記情報配信装置から送信されてきた前記音声データを受信する、ステップと、
（ｅ）前記筆記者用の端末装置によって、前記音声データに対応して入力されたテキストデータの入力を受け付けるステップと、
（ｆ）前記筆記者用の端末装置によって、前記（ｅ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を有することを特徴とする。【００１８】
上記目的を達成するため、本発明の一側面における第１のコンピュータ読み取り可能な記録媒体は、コンピュータによって、話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記（ｂ）のステップによって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。【００１９】
また、上記目的を達成するため、本発明の一側面における第２のコンピュータ読み取り可能な記録媒体は、話者の発話の要約筆記を行なう筆記者が使用するコンピュータに、
（ａ）前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、ステップと、
（ｂ）前記音声データに対応して入力されたテキストデータの入力を受け付ける、ステップと、
（ｃ）前記（ｂ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
【発明の効果】
【００２０】
以上のように、本発明によれば、要約筆記を実施する者の要約筆記の経験が浅い場合でも、聴覚障がい者に正確な情報を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の実施の形態における要約筆記支援システムの全体構成を示す構成図である。
【図２】図２は、本発明の実施の形態における要約筆記支援システムの構成を具体的に示すブロック図である。
【図３】図３は、図２に示す音声認識部、息継ぎ検知部、及びデータ処理部での処理を模式的に示す図である。
【図４】図４は、本発明の実施の形態における情報配信装置の動作を示すフロー図である。
【図５】図５は、本発明の実施の形態における筆記者端末の動作を示すフロー図である。
【図６】図６は、本発明の実施の形態における利用者端末の動作を示すフロー図である。
【図７】図７は、本発明の実施の形態における情報配信装置、筆記者端末及び利用者端末を実現するコンピュータの一例を示すブロック図である。
【図８】図８は、本発明の実施例における音声認識部、息継ぎ検知部、及びデータ処理部での処理を示す図である。
【発明を実施するための形態】
【００２２】
（発明の概要）
本発明は、話者の発話に対して要約筆記を行なう筆記者を支援する。本発明では、情報配信装置は、筆記者に割り当てられている割当時間に基づいて、話者の音声データを区切り、得られた音声データを、ネットワークを介して、筆記者の端末装置に送信する。
【００２３】
このとき、筆記者に割り当てる割当時間の長さは、例えば、筆記者の要約筆記の能力に合わせて設定される。具体的には、要約筆記の経験が浅い筆記者の場合は、３０秒未満等の短い時間が割り当てられる。そして、音声データは、話者の息継ぎのタイミングに合せて区切られる。このため、筆記者の経験が浅く、短時間で要約を作成するのが難しい場合であっても、利用者である聴覚障がい者が理解しやすい要約が作成されることになる。
【００２４】
また、本発明の好ましい態様では、情報配信装置は、筆記者の端末装置に、音声データだけでなく、映像を配信することもできる。この態様では、筆記者は、配信されてきた映像の中から、要約に最も相応しい場面を選択でき、筆記者の選択した場面の静止画像が、要約のテキストデータと共に、利用者の端末装置へと送信される。このため、利用者における要約の理解がよりいっそう高まることになる。また、このとき、筆記者は、利用者の理解を助けるため、要約筆記の内容に加えて、自身のコメントを加えることもできる。
【００２５】
更に、上記の好ましい態様では、情報配信装置は、話者の周辺を撮影する複数のカメラから映像を取得し、取得した複数の映像を、筆記者の端末装置に配信することができる。この場合、筆記者は、より適切な場面を選択することができる。
【００２６】
（実施の形態）
以下、本発明の実施の形態における、要約筆記支援システム、情報配信装置、端末装置、要約筆記支援方法、及びプログラムについて、図１〜図７を参照しながら説明する。
【００２７】
［システム構成］
最初に、図１を用いて、要約筆記システムのシステム構成について説明する。図１は、本発明の実施の形態における要約筆記支援システムの全体構成を示す構成図である。
【００２８】
図１に示す、本実施の形態における要約筆記支援システム４００は、話者４０の発話の要約筆記を支援するためのシステムである。図１に示すように、要約筆記システム４００は、要約筆記を行なう筆記者５０が使用する筆記者用の端末装置（以下「筆記者端末」と表記する。）２００と、筆記者端末２００に発話の音声データを送信する情報配信装置１００とを備えている。
【００２９】
また、図１において、端末装置３００は、要約筆記の利用者６０である聴覚障がい者が利用する利用者用の端末装置（以下「利用者端末」と表記する。）である。利用者６０は、利用者端末３００を介して、筆記者５０による要約筆記サービスを受けることができる。
【００３０】
また、本実施の形態において、情報配信装置１００、筆記者端末２００、及び利用者端末３００は、インターネット等のネットワーク４１０を介して接続されており、互いに情報をやり取りする。なお、図１の例では、筆記者端末２００は２台、利用者装置３００は１台であるが、これらの端末装置の数は特に限定されるものではない。
【００３１】
図１に示すように、情報配信装置１００は、息継ぎ検知部１０４と、データ処理部１０５と、データ送信部１０６とを備えている。このうち、息継ぎ検知部１０４は、発話の音声から無音区間を抽出し、抽出した無音区間のうち、設定条件を満たす無音区間を話者４０の息継ぎ区間として特定する。
【００３２】
データ処理部１０５は、まず、各筆記者５０に割り当てられた時間（以下「割当時間」と表記する。）毎に、息継ぎ区間が、いずれかの割当時間の終点を基準とした範囲内に存在するかどうかを判定する。図１の例では、筆記者５０は２人であるので、各筆記者５０に交互に担当の割当時間が割り当てられる。
【００３３】
そして、データ処理部１０５は、息継ぎ区間が範囲内に存在すると判定する場合は、該当する割当時間の開始点から息継ぎ区間までにおける発話の音声データを生成する。一方、データ処理部１０５は、息継ぎ区間が範囲内に存在しないと判定する場合は、該当する割当時間の開始点から終点までにおける発話の音声データを生成する。
【００３４】
データ送信部１０６は、データ処理部１０５によって生成された音声データ（以下「要約筆記用音声データ」と表記する。）を、該当する割当時間が割り当てられている筆記者５０の筆記者端末２００に送信する。
【００３５】
また、図１に示すように、筆記者端末２００は、データ受信部２０１と、入力部２０３と、データ送信部２０７とを備えている。このうち、データ受信部２０１は、情報配信装置１００から送信されてきた要約筆記用音声データを受信する。
【００３６】
入力部２０３は、受信された要約筆記用音声データに対応して入力されたテキストデータの入力を受け付ける。データ送信部２０７は、入力が受け付けられたテキストデータを、利用者端末３００に送信する。
【００３７】
以上のように、本実施の形態では、各筆記者５０には、割当時間に合せた音声データが送信されるので、筆記者の経験が浅い場合は、時間が短い音声データを送信することができる。また、音声データは、話者の息継ぎのタイミングに合せて区切られる。このため、筆記者の経験が浅く、短時間で要約を作成するのが難しい場合であっても、利用者である聴覚障がい者が理解しやすい要約が作成されることになる。
【００３８】
特に、割当時間を３０秒未満等の短い時間に設定した場合は、筆記者５０は、聞いた音声をそのままテキスト化するだけでも良いため、特別な訓練を十分に受けていない筆記者５０であっても、聴覚障がい者をサポートすることができる。また、筆記者端末２００は、ネットワーク４１０を介して、情報配信装置１００と利用者端末３００とに接続されていれば良いことから、筆記者５０は、遠隔に存在していても要約筆記を行なうことができる。以上の理由から、本実施の形態によれば、要約筆記への参加障壁を下げることができるので、要約筆記によるサポートを受けることができる聴覚障がい者の数を増やすことができる。
【００３９】
続いて、要約筆記支援システム４００、情報配信装置１００、筆記者端末２００、利用者端末３００の構成について、図２及び図３を用いて更に具体的に説明する。図２は、本発明の実施の形態における要約筆記支援システムの構成を具体的に示すブロック図である。また、以下の例では、要約筆記支援システム４００は、例えば、学校、講演会等での講義に利用されているとする。
【００４０】
［システム構成：情報配信装置］
図２に示すように、情報配信装置１００には、映像入力装置１０と、音声入力装置２０とが接続されている。映像入力装置１０は、講義風景等を撮影するカメラであり、映像データを情報配信装置１００へと出力している。また、音声入力装置２０は、マイクであり、講師を含む話者の発話の音声を音声データに変換し、変換した音声データを情報配信装置１００へと出力している。
【００４１】
また、図２に示すように、情報配信装置１００は、息継ぎ検知部１０４、データ処理部１０５、データ送信部１０６に加えて、映像入力部１０１と、音声入力部１０２と、音声認識部１０３とを備えている。
【００４２】
映像入力部１０１は、映像入力装置１０から出力されてきた映像データを受け取り、これをデータ処理部１０５に入力する。この場合、データ処理部１０５は、入力された映像データを、割当時間に合せて分割し、分割後の映像データをデータ送信部１０６に出力する。その後、データ送信部１０６は、要約筆記用音声データと共に、分割された映像データを、該当する割当時間が割り当てられている筆記者５０の筆記者端末２００に送信する。
【００４３】
音声入力部１０２は、音声入力装置２０から出力されてきた音声データを受け取り、これを音声認識部１０３に出力する。音声認識部１０３は、この音声データを、音のレベルが設定値以下で無音であると見なせる状態が連続している区間（無音区間）と、そうでない状態が連続している区間（音声区間）とに分離する。そして、本実施の形態では、息継ぎ検知部１０４は、音声認識部１０３の処理結果から、無音区間を特定し、特定した無音区間の長さが閾値以下の場合に、抽出した無音区間を話者４０の息継ぎ区間として特定する。
【００４４】
ここで、音声認識部１０３、息継ぎ検知部１０４、及びデータ処理部１０５で行なわれる処理について図３を用いて説明する。図３は、図２に示す音声認識部、息継ぎ検知部、及びデータ処理部での処理を模式的に示す図である。
【００４５】
図３に示すように、音声認識部１０３は、発話音声２１の音声データが音声入力部１０２から入力されると、これを音声区間２２−１〜２２−３と無音区間２３−１〜２３−４とに分離する。本実施の形態では、音声区間と無音区間との分離は、既存の音声認識エンジンを利用することによって行なうことができる。そして、音声認識部１０３は、分離された無音区間２３−１〜２３−４の位置を特定する情報を、息継ぎ検知部１０４に出力する。
【００４６】
息継ぎ検知部１０４は、音声認識部１０３からの情報に基づいて、無音区間２３−１〜２３−４を特定し、各無音区間の長さが、閾値以下であるかどうかを判定する。息継ぎ検知部１０４は、長さが閾値以下の無音区間については息継ぎと判定し、そうでない無音区間については無音と判定する。図３の例では、無音区間２３−２〜２３−４は、それぞれ、息継ぎ区間２４−１〜２４−３と判定されている。なお、この場合の閾値は、情報配信装置の管理者によって状況等に応じて適宜設定されれば良い。
【００４７】
続いて、データ処理部１０５は、息継ぎ検知部１０４によって息継ぎと判定された息継ぎ区間２４−１〜２４−３と、筆記者５０に割り当てられた割当時間２５とを比較する。そして、データ処理部１０５は、各息継ぎ区間が、割当時間２５の終点２５ｂを基準とした範囲内に存在しているかどうかを判定する。具体的には、データ処理部１０５は、各息継ぎ区間が、終点２５ｂの前に設定される前指定区間２６と後に設定される後指定区間２７とを合せた区間内に存在しているかどうかを判定する。
【００４８】
図３の例では、息継ぎ区間２４−２が、前指定区間２６と後指定区間２７とを合せた区間内に存在しているので、データ処理部１０５は、割当時間２５の開始点２５ａから息継ぎ区間までにおける発話の音声データ（要約筆記用音声データ）２８を生成する。つまり、この場合は、データ処理部１０５は、割当時間２５の終点２５ｂを息継ぎ区間２４−２の開始点に変更して、要約筆記用音声データ２８を生成する。なお、割当時間２５の終点２５ｂは、息継ぎ区間２４−３中に存在すれば良く、その開始点以外の点、例えば、中間点、終点に変更されても良い。
【００４９】
一方、図３の例と異なり、いずれの息継ぎ区間も、前指定区間２６と後指定区間２７とを合せた区間内に存在していない場合は、データ処理部１０５は、割当時間２５の開始点２５ａから終点２５ｂまでにおける発話の音声データ（破線で表示）を生成する。
【００５０】
また、息継ぎ区間が、割当時間の終点を基準とした範囲内に存在している場合は、データ処理部１０５は、割当時間の終点を、この息継ぎ区間の終点に変更し、これに合せて、次の割当時間の開始点を変更する。更に、データ処理部１０５は、割当時間の終点を変更した場合は、変更後の割当時間に基づいて、上述した映像データの分割を実行する。
【００５１】
また、本実施の形態では、各筆記者５０に割り当てられる割当時間の長さは、各筆記者５０の要約筆記の能力に応じて設定される。例えば、筆記者５０の経験が浅い場合は、音声データを聞きながらのテキスト入力が困難にならないよう、３０秒以下に設定されるのが良い。また、割当時間が短すぎると、利用者６０において、不便となるので、割当時間の長さは、例えば、１５秒以上に設定されるのが良い。
【００５２】
［システム構成：筆記者端末］
図２に示すように、筆記者端末２００には、音声出力装置３０、表示装置３１、及び入力装置３２が接続されている。音声出力装置３０は、例えば、筆記者端末２００に備えられているスピーカー等である。表示装置３１は、例えば、筆記者端末２００に備えられている液晶表示装置等である。入力装置３２は、マウス、キーボード、タッチパネルといった入力機器であり、入力部２０３に接続されている。
【００５３】
また、図２に示すように、筆記者端末２００は、データ受信部２０１、入力部２０３、データ送信部２０７に加えて、データ再生部２０２と、画像加工部２０４と、表示部２０５と、データ処理部２０６とを備えている。
【００５４】
データ再生部２０２は、データ受信部２０１において、要約筆記用音声データと映像データとが受信されると、これらを取得する。そして、データ再生部２０２は、要約筆記用音声データを音声出力装置３０に出力し、これを再生させる。また、データ再生部２０２は、映像データを表示部２０５に出力する。表示部２０５は、映像データを表示装置３１の画面に表示させる。
【００５５】
画像加工部２０４は、入力装置３２から入力部２０３を介して入力された筆記者５０の指示に応じて、映像データから、静止画像を取り出し、取り出した静止画像の画像データをデータ処理部２０６に出力する。データ処理部２０６は、筆記者５０が入力したテキストデータ、即ち要約の内容と、画像加工部２０４から出力されてきた静止画像の画像データとを、一組のデータセットとし、これをデータ送信部２０７に出力する。
【００５６】
データ送信部２０７は、データ処理部２０６からデータセットを受け取ると、このデータセットを利用者端末３００に送信する。
【００５７】
［システム構成：利用者端末］
図２に示すように、利用者端末３００は、データ受信部３０１と、データ再生部３０２と、表示部３０３とを備えている。このうち、データ受信部３０１は、筆記者端末２００から送信されてくるデータセットを受信し、これをデータ再生部３０２に入力する。
【００５８】
データ再生部３０２は、データセットを、それに含まれるテキストデータと、静止画像の画像データとに分解し、それぞれを表示部３０３に入力する。表示部３０３は、テキストデータと画像データとを受け取ると、それぞれを表示装置３３の画面上の所定の領域に表示させる。表示装置３３は、筆記者端末２００の表示装置３１と同様に、例えば、利用者端末３００に備えられている液晶表示装置等である。
【００５９】
また、上述した情報配信装置１００、筆記者端末２００、利用者端末３００は、後述する処理を実行するプログラムをコンピュータに実行させることによって構築できる。この場合、コンピュータとしては、パーソナルコンピュータ、サーバコンピュータ、更には、スマートフォン、タブレット型端末も挙げられる。
【００６０】
［システム動作］
次に、本発明の実施の形態における要約筆記支援システム４００の動作について図４〜図６を用いて説明する。以下の説明においては、適宜図１〜図３を参酌する。また、本実施の形態では、要約筆記支援システム４００を動作させることによって、要約筆記支援方法が実施される。よって、本実施の形態における要約筆記支援方法の説明は、以下の要約筆記支援システム４００の動作説明に代える。
【００６１】
［システム動作：情報配信装置］
まず、図４を用いて、情報配信装置１００における動作について説明する。図４は、本発明の実施の形態における情報配信装置の動作を示すフロー図である。
【００６２】
最初に、図４に示すように、情報配信装置１００は、筆記者端末２００及び利用者端末３００との間で、ネットワーク通信の接続確認を実行する（ステップＡ１）。具体的には、情報配信装置１００上のプログラムと、筆記者端末２００上のプログラムと、利用者端末３００上のプログラムとの間で、接続を確立するためのデータ通信が行なわれる。
【００６３】
そして、授業が開始され、講師を含む話者が音声を発する。これにより、映像入力装置１０から、情報配信装置１００に、映像データが入力され、映像入力部１０１は、映像データの取得を開始する（ステップＡ２）。また、映像入力部１０１は、取得した映像データをデータ処理部１０５に入力する。
【００６４】
同時に、音声入力装置２０から、情報配信装置１００に音声データが入力され、音声入力部１０２は音声データの取得を開始する（ステップＡ３）。また、音声入力部１０２は、取得した音声データを音声認識部１０３に入力する。
【００６５】
また、本実施の形態において、映像データとしては、ＭＥＰＧ−４等のフォーマットで生成された動画データが挙げられる。また、音声データとしては、ＰＣＭ等のフォーマットで生成された音データが挙げられる。
【００６６】
次に、音声認識部１０３は、音声データが音声入力部１０２から入力されると、これを音声区間と無音区間とに分離する（図３参照）（ステップＡ４）。そして、音声認識部１０３は、分離された無音区間の位置を特定する情報を、息継ぎ検知部１０４に出力する。
【００６７】
次に、息継ぎ検知部１０４は、音声認識部１０３からの情報に基づいて、無音区間を特定し、各無音区間の長さが、閾値以下であるかどうかを判定することによって、息継ぎ区間を特定する（ステップＡ５）。また、息継ぎ検知部１０４は、息継ぎ区間を特定する情報を、データ処理部１０５に出力する。
【００６８】
次に、データ処理部１０５は、配信用のデータを生成する（ステップＡ６）。具体的には、データ処理部１０５は、息継ぎ検知部１０４から受け取った情報に基づいて、各息継ぎ区間が、割当時間の終点を基準とした範囲内に存在しているかどうかを判定し、判定結果に基づいて、要約筆記用音声データを生成する（図３参照）。
【００６９】
また、データ処理部１０５は、映像入力部１０１から入力された映像データを、割当時間（変更された場合は変更後の割当時間）に合せて分割し、配信用の映像データを生成する。そして、データ処理部１０５は、要約筆記用音声データと、配信用の映像データとを、データ送信部１０６に出力する。
【００７０】
次に、データ送信部１０６は、出力されてきた映像データと要約筆記用音声データとを、これらのデータの割当時間が割り当てられている筆記者５０の筆記者端末２００に送信する（ステップＡ７）。また、情報配信装置１００においては、上述のステップＡ１〜Ａ７は、繰り返し実行される。
【００７１】
［システム動作：筆記者端末］
続いて、図５を用いて、筆記者端末２００における動作について説明する。図５は、本発明の実施の形態における筆記者端末の動作を示すフロー図である。
【００７２】
最初に、図５に示すように、筆記者端末２００において、データ受信部２０１は、情報配信装置１００から送信されてきた映像データと要約筆記用音声データとを受信する（ステップＢ１）。
【００７３】
次に、データ再生部２０２は、要約筆記用音声データを音声出力装置３０に出力し、映像データを表示部２０５に出力する（ステップＢ２）。これにより、表示部２０５は、映像データを表示装置３１の画面に表示させ（ステップＢ３）、音声出力装置３０は、音声データを再生する（ステップＢ５）。
【００７４】
次に、画像加工部２０４は、入力装置３２から筆記者５０が画像の選択を指示した場合は、入力部２０３を経由して、選択指示を受け取る。そして、画像加工部２０４は、選択指示に応じて、映像データから、静止画像を取り出し、取り出した静止画像の画像データをデータ処理部２０６に出力する（ステップＢ４）。
【００７５】
また、入力部２０３は、ステップＢ５で再生された要約筆記用音声データに対応して、筆記者５０が入力装置３２からテキストを入力すると、それを受け付け、入力されたテキストのテキストデータをデータ処理部２０６に出力する（ステップＢ６）。
【００７６】
次に、データ処理部２０６は、筆記者５０が入力したテキストデータ、即ち要約の内容と、画像加工部２０４から出力されてきた静止画像の画像データとを、一組のデータセットとし、これをデータ送信部２０７に出力する（ステップＢ７）。
【００７７】
次に、データ送信部２０７は、データ処理部２０６からデータセットを受け取ると、このデータセットを利用者端末３００に送信する（ステップＢ８）。その後、次の割当時間となると、再度ステップＢ１〜Ｂ８が実行される。
【００７８】
［システム動作：利用者端末］
続いて、図６を用いて、利用者端末３００における動作について説明する。図６は、本発明の実施の形態における利用者端末の動作を示すフロー図である。
【００７９】
最初に、図６に示すように、利用者端末３００において、データ受信部３０１は、筆記者端末２００から送信されてくるデータセットを受信し、これをデータ再生部３０２に入力する（ステップＣ１）。
【００８０】
次に、データ再生部３０２は、データセットを、それに含まれるテキストデータと、静止画像の画像データとに分解し、それぞれを表示部３０３に入力する（ステップＣ２）。
【００８１】
次に、表示部３０３は、テキストデータと画像データとを受け取ると、それぞれを表示装置３３の画面上の所定の領域に表示させる（ステップＣ３）。ステップＣ１〜Ｃ３は、筆記者端末２００からデータセットが送信されてくる度に行なわれ、各筆記者端末２００から送信されてきたテキストデータ及び画像データは、時系列に沿って、表示される。また、このとき、利用者６０における要約筆記の理解を高めるため、各テキストデータと各画像データとは、同一の時間軸に沿って、表示されているのが好ましい。
【００８２】
［実施の形態における効果］
以上のように本実施の形態によれば、各筆記者５０の割当時間は短時間に設定され、更に、音声データは話者４０の息継ぎのタイミングに合せて区切られているので、筆記者５０は、聞いた音声をそのままテキスト化するだけでも良い。よって、筆記者５０の経験が浅い場合、筆記者５０が特別な訓練を十分に受けていない場合であっても、聴覚障がい者への要約筆記が可能となる。また、筆記者端末２００は、ネットワーク４１０を介して、情報配信装置１００と利用者端末３００とに接続されていれば良く、筆記者５０は、遠隔に存在していても良い。以上の理由から、本実施の形態によれば、要約筆記によるサポートを受けることができる聴覚障がい者の数を増やすことができる。
【００８３】
［プログラム］
本実施の形態における第１のプログラムは、コンピュータに、図４に示すステップＡ１〜Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における情報配信装置１００を実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、映像入力部１０１、音声入力部１０２、音声認識部１０３、息継ぎ検知部１０４、データ処理部１０５、及びデータ送信部１０６として機能し、処理を行なう。
【００８４】
また、本実施の形態における第２のプログラムは、コンピュータに、図５に示すステップＢ１〜Ｂ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における筆記者端末２００を実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、データ受信部２０１、データ再生部２０２、入力部２０３、画像加工部２０４、表示部２０５、データ処理部２０６、及びデータ送信部２０７として機能し、処理を行なう。
【００８５】
ここで、実施の形態におけるプログラムを実行することによって、情報配信装置１００、筆記者端末２００、及び利用者端末３００を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における情報配信装置、筆記者端末及び利用者端末を実現するコンピュータの一例を示すブロック図である。
【００８６】
図７に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
【００８７】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【００８８】
また、記憶装置１１３の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【００８９】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【００９０】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
【実施例１】
【００９１】
続いて、図８を用いて、本発明の実施例について説明する。なお、以下の実施例の説明は、図４〜図６に示した各ステップに沿って行う。図８は、本発明の実施例における音声認識部、息継ぎ検知部、及びデータ処理部での処理を示す図である。【００９２】
［ステップＡ１］
まず、情報配信装置１００は、筆記者端末２００及び利用者端末３００との間で、ネットワーク通信の接続確認を実行する（ステップＡ１）。そして、話者が、授業において、「１＋２＝３（いちたすにいこーるさん）」と発声したとする。【００９３】
［ステップＡ２、Ａ３］
これにより、映像入力部１０１は、ＭＥＰＧ−４等でフォーマットされた映像データを取得し（ステップＡ２）、取得した映像データをデータ処理部１０５に入力する。音声入力部１０２は、ＰＣＭ等でフォーマットされた音声データを取得し（ステップＡ３）、取得した音声データを音声認識部１０３に入力する。【００９４】
［ステップＡ４］
次に、音声認識部１０３は、図８に示すように、発話音声２１の音声データがリアルタイムで音声入力部１０２から入力されると、これを音声区間２２−１〜２２−３と無音区間２３−１〜２３−４とに分離する。そして、音声認識部１０３は、分離された無音区間２３−１〜２３−４の位置（開始点及び終点）を特定する情報を、息継ぎ検知部１０４に出力する。【００９５】
［ステップＡ５］
次に、息継ぎ検知部１０４は、音声認識部１０３からの情報に基づいて、無音区間２３−１〜２３−４を特定し、各無音区間の長さが、閾値である１秒以下であるかどうかを判定する。図８の例では、無音区間２３−２〜２３−４それぞれの長さは１秒間であったので、それぞれ、息継ぎ区間２４−１〜２４−３と判定されている。【００９６】
［ステップＡ６］
続いて、データ処理部１０５は、息継ぎ検知部１０４によって息継ぎと判定された息継ぎ区間２４−１〜２４−３と、筆記者５０に割り当てられた割当時間２５とを比較する。そして、データ処理部１０５は、各息継ぎ区間が、割当時間２５の終点２５ｂの前に設定される前指定区間２６と後に設定される後指定区間２７とを合せた区間内に存在しているかどうかを判定する。なお、本実施例では、割当時間２５の長さは２０秒間に設定されている。また、前指定区間２６及び後指定区間２７の長さはそれぞれ５秒間に設定されている。【００９７】
具体的には、データ処理部１０５は、まず、８秒間の音声区間２２−１の後に、１秒間の無音区間２３−２を確認するが、これについては条件を満たさないと判断する。一方、データ処理部１０５は、８秒間の音声区間２２−２の後に、１秒間の無音区間２３−３を確認するが、無音区間２３−３の開始点は、割当区間２５の開始点２５ａから１７秒後の位置にあり、その長さは１秒間であるので、条件を満たすと判断する。【００９８】
そして、データ処理部１０５は、割当区間の見直しを行ない、割当時間２５の終点２５ｂを息継ぎ区間２４−２の開始点（開始点２５ａから１７秒）に変更して、要約筆記用音声データ２８を生成する。また、データ処理部１０５は、映像入力部１０１から入力された映像データを、変更後の割当時間（１７秒）に合せて分割し、配信用の映像データを生成する。【００９９】
［ステップＡ６］
そして、データ処理部１０５は、要約筆記用音声データと、配信用の映像データとを、データ送信部１０６に出力する。また、本実例では、音声データの送信は、ＶＯＩＣＥ／ＩＰプロトコルに従って行なわれ、映像データの送信はＴＣＰ／ＩＰプロトコルに従って行なわれる。【０１００】
［ステップＢ１］
筆記者端末２００では、データ受信部２０１が、映像データと要約筆記用音声データとを受信する。【０１０１】
［ステップＢ２、Ｂ３、Ｂ５］
次に、データ再生部２０２は、要約筆記用音声データを音声出力装置３０に出力し、映像データを表示部２０５に出力する。これにより、映像データが表示装置３１の画面に表示させる。また、スピーカーである音声出力装置３０から、音声が再生される。本実施例では、「いちたすにいこーるさん」という話者の声が聞こえる。【０１０２】
［ステップＢ４］
そして、筆記者が、映像を見ながら、入力装置３２から、話者の音声と関係している黒板の文字が記入されている箇所を選択すると、画像加工部２０４は、選択された箇所の静止画像を取り出し、取り出した静止画像の画像データをデータ処理部２０６に出力する。【０１０３】
［ステップＢ６］
また、筆記者が、音声をききながら、入力装置３２から、「１＋２＝３（いちたすにいこーるさん）」を入力すると、入力部２０３は、入力されたテキストのテキストデータをデータ処理部２０６に出力する。【０１０４】
［ステップＢ７、Ｂ８］
次に、データ処理部２０６は、筆記者５０が入力したテキストデータと静止画像の画像データとを、一組のデータセットとして、データ送信部２０７に出力する。そして、データ送信部２０７は、データ処理部２０６からデータセットを受け取ると、ＴＣＰ／ＩＰに従って、このデータセットを利用者端末３００に送信する。【０１０５】
［ステップＣ１、Ｃ２］
利用者端末３００では、データ受信部３０１は、筆記者端末２００から送信されてくるデータセットを受信し、これをデータ再生部３０２に入力する。そして、データ再生部３０２は、データセットを、それに含まれるテキストデータと、静止画像の画像データとに分解し、それぞれを表示部３０３に入力する。【０１０６】
［ステップＣ３］
次に、表示部３０３は、テキストデータと画像データとを受け取ると、それぞれを表示装置３３の画面上の所定の領域に表示させる。具体的には、表示部３０３は、テキストデータ「１＋２＝３」を、画面の文字表示エリアに表示し、静止画像を、画面の画像表示エリアに表示する。【０１０７】
以上の処理により、話者の発話についての要約筆記の内容と、関連する画像とが、利用者の端末装置３００に表示されるので、利用者である聴覚障がい者は、授業の内容を理解することができる。【０１０８】
上述した実施の形態及び実施例の一部又は全部は、以下に記載する（付記１）〜（付記２０）によって表現することができるが、以下の記載に限定されるものではない。【０１０９】
（付記１）
話者の発話の要約筆記を支援するためのシステムであって、
前記要約筆記を行なう筆記者が使用する筆記者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を備え、
前記情報配信装置は、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、データ送信部と、を備え、
前記筆記者用の端末装置は、
前記情報配信装置から送信されてきた前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする要約筆記支援システム。【０１１０】
（付記２）
前記情報配信装置の前記データ送信部が、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記端末装置に対して送信し、
前記筆記者用の端末装置が、外部からの指示に応じて、送信されてきた前記映像データから、静止画像を取り出す、画像加工部を更に備え、
前記筆記者用の端末装置の前記データ送信部は、入力が受け付けられた前記テキストデータと、取り出された前記静止画像の画像データとを、前記利用者用の端末装置に送信する、
付記１に記載の要約筆記支援システム。【０１１１】
（付記３）
前記息継ぎ検知部が、前記無音区間の長さが閾値以下の場合に、抽出した前記無音区間を前記話者の息継ぎ区間として特定する、
付記１または２に記載の要約筆記支援システム。【０１１２】
（付記４）
前記筆記者に割り当てられる割当時間の長さが、前記筆記者の要約筆記の能力に応じて設定されている、付記１〜３のいずれかに記載の要約筆記支援システム。【０１１３】
（付記５）
話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するための装置であって、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする情報配信装置。【０１１４】
（付記６）
前記データ送信部が、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記端末装置に対して送信する、
付記５に記載の情報配信装置。【０１１５】
（付記７）
前記息継ぎ検知部が、抽出した前記無音区間の長さが閾値以下の場合に、抽出した前記無音区間を前記話者の息継ぎ区間として特定する、
付記５または６に記載の情報配信装置。【０１１６】
（付記８）
前記筆記者毎に割り当てられる割当時間の長さが、前記筆記者の要約筆記の能力に応じて設定されている、付記５〜７のいずれかに記載の情報配信装置。【０１１７】
（付記９）
話者の発話の要約筆記を行なう筆記者が使用する端末装置であって、
前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする端末装置。【０１１８】
（付記１０）
前記情報配信装置が、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記端末装置に対して送信してきた場合に、外部からの指示に応じて、送信されてきた前記映像データから、静止画像を取り出す、画像加工部、を更に備え、
前記データ送信部は、入力が受け付けられた前記テキストデータと、取り出された前記静止画像の画像データとを、前記利用者用の端末装置に送信する、
付記９に記載の端末装置。【０１１９】
（付記１１）
話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を用いて、要約筆記を支援するための方法であって、
（ａ）前記情報配信装置によって、前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）前記情報配信装置によって、前記筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記情報配信装置によって、前記（ｂ）のステップで生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
（ｄ）前記筆記者用の端末装置によって、前記情報配信装置から送信されてきた前記音声データを受信する、ステップと、
（ｅ）前記筆記者用の端末装置によって、前記音声データに対応して入力されたテキストデータの入力を受け付けるステップと、
（ｆ）前記筆記者用の端末装置によって、前記（ｅ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を有することを特徴とする要約筆記支援方法。【０１２０】
（付記１２）
（ｇ）前記情報配信装置によって、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記端末装置に対して送信する、ステップと、
（ｈ）前記筆記者用の端末装置によって、外部からの指示に応じて、前記（ｇ）のステップで送信されてきた前記映像データから、静止画像を取り出す、ステップと、
前記（ｆ）のステップにおいて、前記（ｅ）のステップで入力が受け付けられた前記テキストデータと、前記（ｈ）のステップで取り出された前記静止画像の画像データとを、前記利用者用の端末装置に送信する、
付記１１に記載の要約筆記支援方法。【０１２１】
（付記１３）
前記（ａ）のステップで、前記無音区間の長さが閾値以下の場合に、抽出した前記無音区間を前記話者の息継ぎ区間として特定する、
付記１１または１２に記載の要約筆記支援方法。【０１２２】
（付記１４）
前記筆記者に割り当てられる割当時間の長さが、前記筆記者の要約筆記の能力に応じて設定されている、付記１１〜１３のいずれかに記載の要約筆記支援方法。【０１２３】
（付記１５）
コンピュータによって、話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するためのプログラムを記録したコンピュータ読み取り可能な記録媒体命令であって、
前記コンピュータに、
（ａ）前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記（ｂ）のステップによって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。【０１２４】
（付記１６）
前記（ｃ）のステップで、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記端末装置に対して送信する、
付記１５に記載のコンピュータ読み取り可能な記録媒体。【０１２５】
（付記１７）
前記（ａ）のステップで、抽出した前記無音区間の長さが閾値以下の場合に、抽出した前記無音区間を前記話者の息継ぎ区間として特定する、
付記１５または１６に記載のコンピュータ読み取り可能な記録媒体。【０１２６】
（付記１８）
前記筆記者毎に割り当てられる割当時間の長さが、前記筆記者の要約筆記の能力に応じて設定されている、付記１５〜１７のいずれかに記載のコンピュータ読み取り可能な記録媒体。【０１２７】
（付記１９）
話者の発話の要約筆記を行なう筆記者が使用するコンピュータに、
（ａ）前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、ステップと、
（ｂ）前記音声データに対応して入力されたテキストデータの入力を受け付ける、ステップと、
（ｃ）前記（ｂ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。【０１２８】
（付記２０）
前記プログラムが、
（ｄ）前記情報配信装置が、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記コンピュータに送信してきた場合に、外部からの指示に応じて、送信されてきた前記映像データから、静止画像を取り出す、ステップを更に前記コンピュータに実行させる命令を含み、
前記（ｃ）のステップにおいて、入力が受け付けられた前記テキストデータと、取り出された前記静止画像の画像データとを、前記利用者用の端末装置に送信する、
付記１９に記載のコンピュータ読み取り可能な記録媒体。【０１２９】
また、本発明は、上述した実施の形態及び実施例に限定されず、話者の発話の通訳を支援するために用いることもできる。即ち、本発明は、通訳の支援に用いられる、システム、情報配信装置、端末装置、通訳支援方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関していても良い。この場合、これらの特徴は以下の通りとなる。【０１３０】
本発明における、話者の発話の通訳を支援するためのシステムは、
前記通訳を行なう通訳者が使用する通訳者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を備え、
前記情報配信装置は、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
通訳者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記通訳者の前記端末装置に送信する、データ送信部と、を備え、
前記通訳者用の端末装置は、
前記情報配信装置から送信されてきた前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、通訳の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする。【０１３１】
本発明における、話者の発話の通訳を行なう通訳者が使用する通訳者用の端末装置に、前記発話の音声データを送信するための情報配信装置は、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
通訳者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記通訳者の前記端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする。【０１３２】
本発明における、話者の発話の通訳を行なう通訳者が使用する端末装置は、
前記発話の音声データを送信する情報配信装置から、前記通訳者に割り当てられた割当時間毎に、前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、通訳の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする。【０１３３】
本発明における、話者の発話の通訳を行なう通訳者が使用する通訳者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を用いて、通訳を支援するための通訳支援方法は、
（ａ）前記情報配信装置によって、前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）前記情報配信装置によって、前記通訳者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記情報配信装置によって、前記（ｂ）のステップで生成された前記音声データを、前記割当時間が割り当てられている前記通訳者の前記端末装置に送信する、ステップと、
（ｄ）前記通訳者用の端末装置によって、前記情報配信装置から送信されてきた前記音声データを受信する、ステップと、
（ｅ）前記通訳者用の端末装置によって、前記音声データに対応して入力されたテキストデータの入力を受け付けるステップと、
（ｆ）前記通訳者用の端末装置によって、前記（ｅ）のステップで入力が受け付けられた前記テキストデータを、通訳の利用者が使用する利用者用の端末装置に送信する、ステップと、
を有することを特徴とする。【０１３４】
本発明における、コンピュータによって、話者の発話の通訳を行なう通訳者が使用する通訳者用の端末装置に、前記発話の音声データを送信するためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
前記コンピュータに、
（ａ）前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）通訳者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記（ｂ）のステップによって生成された前記音声データを、前記割当時間が割り当てられている前記通訳者の前記端末装置に送信する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。【０１３５】
本発明における、別のコンピュータ読み取り可能な記録媒体は、
話者の発話の通訳を行なう通訳者が使用するコンピュータに、
（ａ）前記発話の音声データを送信する情報配信装置から、前記通訳者に割り当てられた割当時間毎に、前記音声データを受信する、ステップと、
（ｂ）前記音声データに対応して入力されたテキストデータの入力を受け付ける、ステップと、
（ｃ）前記（ｂ）のステップで入力が受け付けられた前記テキストデータを、通訳の利用者が使用する利用者用の端末装置に送信する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。【０１３６】
以上、実施の形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施の形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【０１３７】
この出願は、２０１３年３月１９日に出願された日本出願特願２０１３−０５６２９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１３８】
以上のように、本発明によれば、要約筆記を実施する者の要約筆記の経験が浅い場合でも、聴覚障がい者に正確な情報を提供することができる。本発明は、要約筆記が必要な分野であれば、学校等における授業に限られず、種々の講演等にも有用である。
【符号の説明】
【０１３９】
１０  映像入力装置
２０  音声入力装置
２１  発話音声
２２−１〜２２−３  音声区間
２３−１〜２３−４  無音区間
２４−１〜２４−４  息継ぎ区間
２５  割当時間
２５ａ  開始点
２５ｂ  終点
２６  前指定区間
２７  後指定区間
２８  要約筆記用音声データ
３０  音声出力装置
３１  表示装置
３２  入力装置
３３  表示装置
４０  話者
５０  筆記者
６０  利用者
１００  情報配信装置
１０１  映像入力部
１０２  音声入力部
１０３  音声認識部
１０４  息継ぎ検知部
１０５  データ処理部
１０６  データ送信部
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
２００  筆記者端末
２０１  データ受信部
２０２  データ再生部
２０３  入力部
２０４  画像加工部
２０５  表示部
２０６  データ処理部
２０７  データ送信部
３００  利用者端末
３０１  データ受信部
３０２  データ再生部
３０３  表示部
４００  要約筆記支援システム
４１０  ネットワーク
【図１】
2014148190.tif 000003
【図２】
2014148190.tif 000004
【図３】
2014148190.tif 000005
【図４】
2014148190.tif 000006
【図５】
2014148190.tif 000007
【図６】
2014148190.tif 000008
【図７】
2014148190.tif 000009
【図８】
2014148190.tif 000010
【手続補正書】
【提出日】平成27年9月18日(2015.9.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
話者の発話の要約筆記を支援するためのシステムであって、
前記要約筆記を行なう筆記者が使用する筆記者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を備え、
前記情報配信装置は、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、データ送信部と、を備え、
前記筆記者用の端末装置は、
前記情報配信装置から送信されてきた前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする要約筆記支援システム。
【請求項２】
前記情報配信装置の前記データ送信部が、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記端末装置に対して送信し、
前記筆記者用の端末装置が、外部からの指示に応じて、送信されてきた前記映像データから、静止画像を取り出す、画像加工部を更に備え、
前記筆記者用の端末装置の前記データ送信部は、入力が受け付けられた前記テキストデータと、取り出された前記静止画像の画像データとを、前記利用者用の端末装置に送信する、
請求項１に記載の要約筆記支援システム。
【請求項３】
前記息継ぎ検知部が、前記無音区間の長さが閾値以下の場合に、前記無音区間を前記話者の息継ぎ区間として特定する、
請求項１または２に記載の要約筆記支援システム。
【請求項４】
前記筆記者に割り当てられる割当時間の長さが、前記筆記者の要約筆記の能力に応じて設定されている、請求項１〜３のいずれかに記載の要約筆記支援システム。
【請求項５】
話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するための装置であって、
前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、息継ぎ検知部と、
筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、データ処理部と、
前記データ処理部によって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする情報配信装置。
【請求項６】
話者の発話の要約筆記を行なう筆記者が使用する端末装置であって、
前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、データ受信部と、
前記音声データに対応して入力されたテキストデータの入力を受け付ける入力部と、
入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、データ送信部と、を備えている、
ことを特徴とする端末装置。
【請求項７】
話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置と、前記端末装置に前記発話の音声データを送信する情報配信装置と、を用いて、要約筆記を支援するための方法であって、
（ａ）前記情報配信装置によって、前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）前記情報配信装置によって、前記筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記情報配信装置によって、前記（ｂ）のステップで生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
（ｄ）前記筆記者用の端末装置によって、前記情報配信装置から送信されてきた前記音声データを受信する、ステップと、
（ｅ）前記筆記者用の端末装置によって、前記音声データに対応して入力されたテキストデータの入力を受け付けるステップと、
（ｆ）前記筆記者用の端末装置によって、前記（ｅ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を有することを特徴とする要約筆記支援方法。
【請求項８】
コンピュータによって、話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するためのプログラムであって、
前記コンピュータに、
（ａ）前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記（ｂ）のステップによって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
を実行させるプログラム。
【請求項９】
話者の発話の要約筆記を行なう筆記者が使用するコンピュータに、
（ａ）前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、ステップと、
（ｂ）前記音声データに対応して入力されたテキストデータの入力を受け付ける、ステップと、
（ｃ）前記（ｂ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を実行させるプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、話者の要約筆記を支援するための、要約筆記支援システム、情報配信装置、端末装置、要約筆記支援方法、及びこれらを実現するためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の目的の一例は、上記問題を解消し、要約筆記を実施する者の要約筆記の経験が浅い場合でも、聴覚障がい者に正確な情報を提供し得る、要約筆記支援システム、情報配信装置、要約筆記支援方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
上記目的を達成するため、本発明の一側面における第１のプログラムは、コンピュータによって、話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するためのプログラムであって、
前記コンピュータに、
（ａ）前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記（ｂ）のステップによって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
を実行させることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、上記目的を達成するため、本発明の一側面における第２のプログラムは、話者の発話の要約筆記を行なう筆記者が使用するコンピュータに、
（ａ）前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、ステップと、
（ｂ）前記音声データに対応して入力されたテキストデータの入力を受け付ける、ステップと、
（ｃ）前記（ｂ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を実行させることを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
［システム構成］
最初に、図１を用いて、要約筆記支援システムのシステム構成について説明する。図１は、本発明の実施の形態における要約筆記支援システムの全体構成を示す構成図である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
図１に示す、本実施の形態における要約筆記支援システム４００は、話者４０の発話の要約筆記を支援するためのシステムである。図１に示すように、要約筆記支援システム４００は、要約筆記を行なう筆記者５０が使用する筆記者用の端末装置（以下「筆記者端末」と表記する。）２００と、筆記者端末２００に発話の音声データを送信する情報配信装置１００とを備えている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、本実施の形態において、情報配信装置１００、筆記者端末２００、及び利用者端末３００は、インターネット等のネットワーク４１０を介して接続されており、互いに情報をやり取りする。なお、図１の例では、筆記者端末２００は２台、利用者端末３００は１台であるが、これらの端末装置の数は特に限定されるものではない。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
図１に示すように、情報配信装置１００は、息継ぎ検知部１０４と、データ処理部１０５と、データ送信部１０６とを備えている。このうち、息継ぎ検知部１０４は、発話の音声から無音区間を特定し、特定した無音区間のうち、設定条件を満たす無音区間を話者４０の息継ぎ区間として特定する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
音声入力部１０２は、音声入力装置２０から出力されてきた音声データを受け取り、これを音声認識部１０３に出力する。音声認識部１０３は、この音声データを、音のレベルが設定値以下で無音であると見なせる状態が連続している区間（無音区間）と、そうでない状態が連続している区間（音声区間）とに分離する。そして、本実施の形態では、息継ぎ検知部１０４は、音声認識部１０３の処理結果から、無音区間を特定し、特定した無音区間の長さが閾値以下の場合に、特定した無音区間を話者４０の息継ぎ区間として特定する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
図３の例では、息継ぎ区間２４−２が、前指定区間２６と後指定区間２７とを合せた区間内に存在しているので、データ処理部１０５は、割当時間２５の開始点２５ａから息継ぎ区間までにおける発話の音声データ（要約筆記用音声データ）２８を生成する。つまり、この場合は、データ処理部１０５は、割当時間２５の終点２５ｂを息継ぎ区間２４−２の開始点に変更して、要約筆記用音声データ２８を生成する。なお、割当時間２５の終点２５ｂは、息継ぎ区間２４−２中に存在すれば良く、その開始点以外の点、例えば、中間点、終点に変更されても良い。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
また、息継ぎ区間が、割当時間の終点を基準とした範囲内に存在している場合は、データ処理部１０５は、割当時間の終点を、この息継ぎ区間の開始点に変更し、これに合せて、次の割当時間の開始点を変更する。更に、データ処理部１０５は、割当時間の終点を変更した場合は、変更後の割当時間に基づいて、上述した映像データの分割を実行する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正の内容】
【０１１１】
（付記３）
前記息継ぎ検知部が、前記無音区間の長さが閾値以下の場合に、前記無音区間を前記話者の息継ぎ区間として特定する、
付記１または２に記載の要約筆記支援システム。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
（付記７）
前記息継ぎ検知部が、前記無音区間の長さが閾値以下の場合に、前記無音区間を前記話者の息継ぎ区間として特定する、
付記５または６に記載の情報配信装置。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
（付記８）
前記筆記者に割り当てられる割当時間の長さが、前記筆記者の要約筆記の能力に応じて設定されている、付記５〜７のいずれかに記載の情報配信装置。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
（付記１３）
前記（ａ）のステップで、前記無音区間の長さが閾値以下の場合に、前記無音区間を前記話者の息継ぎ区間として特定する、
付記１１または１２に記載の要約筆記支援方法。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
（付記１５）
コンピュータによって、話者の発話の要約筆記を行なう筆記者が使用する筆記者用の端末装置に、前記発話の音声データを送信するためのプログラムであって、
前記コンピュータに、
（ａ）前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）筆記者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記（ｂ）のステップによって生成された前記音声データを、前記割当時間が割り当てられている前記筆記者の前記端末装置に送信する、ステップと、
を実行させるプログラム。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
（付記１６）
前記（ｃ）のステップで、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記端末装置に対して送信する、
付記１５に記載のプログラム。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
（付記１７）
前記（ａ）のステップで、前記無音区間の長さが閾値以下の場合に、前記無音区間を前記話者の息継ぎ区間として特定する、
付記１５または１６に記載のプログラム。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
（付記１８）
前記筆記者に割り当てられる割当時間の長さが、前記筆記者の要約筆記の能力に応じて設定されている、付記１５〜１７のいずれかに記載のプログラム。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
（付記１９）
話者の発話の要約筆記を行なう筆記者が使用するコンピュータに、
（ａ）前記発話の音声データを送信する情報配信装置から、前記筆記者に割り当てられた割当時間毎に、前記音声データを受信する、ステップと、
（ｂ）前記音声データに対応して入力されたテキストデータの入力を受け付ける、ステップと、
（ｃ）前記（ｂ）のステップで入力が受け付けられた前記テキストデータを、要約筆記の利用者が使用する利用者用の端末装置に送信する、ステップと、
を実行させるプログラム。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１２８
【補正方法】変更
【補正の内容】
【０１２８】
（付記２０）
前記プログラムが、
（ｄ）前記情報配信装置が、更に、前記筆記者に割り当てられた割当時間に対応する映像データを、前記コンピュータに送信してきた場合に、外部からの指示に応じて、送信されてきた前記映像データから、静止画像を取り出す、ステップを更に前記コンピュータに実行させ、
前記（ｃ）のステップにおいて、入力が受け付けられた前記テキストデータと、取り出された前記静止画像の画像データとを、前記利用者用の端末装置に送信する、
付記１９に記載のプログラム。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
また、本発明は、上述した実施の形態及び実施例に限定されず、話者の発話の通訳を支援するために用いることもできる。即ち、本発明は、通訳の支援に用いられる、システム、情報配信装置、端末装置、通訳支援方法、及びこれらを実現するためのプログラムに関していても良い。この場合、これらの特徴は以下の通りとなる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
本発明における、コンピュータによって、話者の発話の通訳を行なう通訳者が使用する通訳者用の端末装置に、前記発話の音声データを送信するためのプログラムは、
前記コンピュータに、
（ａ）前記発話の音声から無音区間を特定し、特定した前記無音区間のうち、設定条件を満たす前記無音区間を前記話者の息継ぎ区間として特定する、ステップと、
（ｂ）通訳者に割り当てられた割当時間毎に、前記息継ぎ区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、
前記息継ぎ区間が前記範囲内に存在すると判定する場合に、当該割当時間の開始点から前記息継ぎ区間までにおける前記発話の音声データを生成し、
前記息継ぎ区間が前記範囲内に存在しないと判定する場合に、当該割当時間の開始点から終点までにおける前記発話の音声データを生成する、ステップと、
（ｃ）前記（ｂ）のステップによって生成された前記音声データを、前記割当時間が割り当てられている前記通訳者の前記端末装置に送信する、ステップと、
を実行させることを特徴とする。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０１３５
【補正方法】変更
【補正の内容】
【０１３５】
本発明における、別のプログラムは、
話者の発話の通訳を行なう通訳者が使用するコンピュータに、
（ａ）前記発話の音声データを送信する情報配信装置から、前記通訳者に割り当てられた割当時間毎に、前記音声データを受信する、ステップと、
（ｂ）前記音声データに対応して入力されたテキストデータの入力を受け付ける、ステップと、
（ｃ）前記（ｂ）のステップで入力が受け付けられた前記テキストデータを、通訳の利用者が使用する利用者用の端末装置に送信する、ステップと、
を実行させることを特徴とする。
【国際調査報告】
2014148190.tif 000011
2014148190.tif 000012
2014148190.tif 000013
2014148190.tif 000014
2014148190.tif 000015
2014148190.tif 000016