(57)【要約】【課題】特殊なアプリケーションを使用すること無く、通常のＰＣ程度の処理パワーであっても、発話内容をリアルタイムで字幕提示するとともに、受講者の漢字の読み能力に応じてルビを付加することのできる装置等を提供する。【解決手段】話者の発話した内容に基づいてリアルタイムで入力されたかな漢字混じり文の文字コードを受信する手段と、所定の学習レベルに応じた漢字かな辞書を用いて、受信した文字コードを所定の学習レベルでルビを付加する処理を行う手段と、付加されたルビの書式を設定する手段と、書式設定されたルビ付きのかな漢字混じり文を字幕として出力するための手段と、を備え、発話内容をリアルタイムでかな漢字交じり文に変換するとともに、ルビを自動的に付加して提示する。【選択図】図１
2008191976.tif 000002
【特許請求の範囲】
【請求項１】
話者の発話した内容に基づいてリアルタイムで入力されたかな漢字混じり文の文字コードを受信する文字コード受信手段と、
所定の学習レベルに応じた漢字かな辞書を用いて、前記文字コード受信手段で受信した文字コードを、前記所定の学習レベルでルビを付加する処理を行うルビ付加手段と、
前記ルビ付加手段によって付加されたルビの書式を設定するルビ書式設定手段と、
前記ルビ書式設定手段によって書式設定されたルビ付きのかな漢字混じり文を字幕として出力するための字幕提示手段と、
を備えるリアルタイム字幕提示装置。
【請求項２】
前記ルビ付加手段は、ルビの付加に加え、漢字かな辞書を用いて、前記学習レベルに応じた漢字かな変換処理を行い、
ルビ書式設定手段は、ルビの書式設定に加え、前記ルビ付加手段によって変換された学習レベルに応じたかな漢字混じり文の書式を設定する、
ことを特徴とする請求項１記載のリアルタイム字幕提示装置。
【請求項３】
前記文字コード受信手段は、話者の発話した内容がリアルタイムで入力されたかな漢字混じり文の文字コードを、所定長の文字コードのまとまりで受信し、
前記ルビ付加手段は、前記所定長のまとまり単位で、学習レベルに応じた漢字かな変換及びルビ付加処理を行い、
前記ルビ書式設定手段は、前記所定長のまとまり単位で、ルビの書式設定を行い、
前記字幕提示手段は、前記ルビ書式設定手段により前記所定長のまとまり単位で書式設定されたルビ付きのかな漢字混じり文を、それまでに出力されていた字幕の後ろに続けて出力する、
ことを特徴とする前記請求項１又は２記載のリアルタイム字幕提示装置。
【請求項４】
学習レベルを設定するための学習レベル設定手段を備え、
前記ルビ付加手段は、
複数の学習レベル別の漢字かな辞書を有し、前記文字コード受信手段で受信した文字コードを、前記学習レベル設定手段により設定された学習レベルに応じて、漢字かな変換するとともにルビを付加する処理を行う、
ことを特徴とする請求項１乃至３のいずれかに記載のリアルタイム字幕提示装置。
【請求項５】
前記字幕提示手段は、ルビ付き字幕を配信する機能を備える、
ことを特徴とする請求項１乃至４のいずれかに記載のリアルタイム字幕提示装置。
【請求項６】
前記請求項５記載のリアルタイム字幕提示装置から配信されたルビ付き字幕を受信して、リアルタイムでルビ付き字幕を表示することのできるブラウザ、
を備える端末装置。
【請求項７】
講義室に設けられる講義室側システムと、前記講義室から離れた場所に設けられる遠隔地側システムとがネットワークを介して接続され、
前記講義室側システムは、
話者が発話した内容を受信するマイクと、
一以上の、前記請求項１乃至５のいずれかに記載のリアルタイム字幕提示装置と、
を備え、
前記遠隔地側システムは、
前記マイクが受信した音声に基づいて、話者が発話した内容をリアルタイムで文字入力して、かな漢字混じり文の文字コードに変換するための文字入力手段、
を備え、
前記リアルタイム字幕提示装置が備える前記文字コード受信手段は、前記文字入力手段によって入力、変換された文字コードを受信する、
リアルタイム字幕提示システム。
【請求項８】
所定の学習レベルに応じた漢字かな辞書と、装置の動作を制御するための制御手段と、を備えるリアルタイム字幕提示装置において、話者の発話した内容をリアルタイムで自動的にルビ付きの字幕として提示する方法であって、
前記制御手段が、
話者の発話した内容に基づいてリアルタイムで入力されたかな漢字混じり文の文字コードを受信するよう制御するステップと、
前記漢字かな辞書を用いて、前記受信した文字コードを、前記所定の学習レベルでルビを付加する処理を行うよう制御するステップと、
前記付加されたルビの書式を設定するステップと、
前記書式設定によって書式設定されたルビ付きのかな漢字混じり文を字幕として出力するステップと、
を備えるリアルタイム字幕提示方法。
【請求項９】
請求項８に記載のリアルタイム字幕提示方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話内容をリアルタイムで自動的にルビ付きの字幕として提示するための情報処理技術に関する。
【背景技術】
【０００２】
従来、テレビ番組放送において、字幕付きのテレビ番組が放送されている。このような字幕放送は、聴覚障害者がテレビ番組を楽しむためには特に有益である。しかし、字幕放送の制作には多大な労力と時間を要することに加え、せっかく字幕を入れても、難しい漢字が含まれていると視聴者が字幕を読むことができず、視聴者がテレビ番組を楽しむことができない。そこで、字幕放送制作の労力を低減するとともに、視聴者が字幕を簡単に読めるようにするために、字幕にルビを付与する技術が提案されている（特許文献１）。
【特許文献１】特開２００５−１７６０８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、特許文献１記載の発明は、事前に収録された番組に対して、番組を放送する前に予め字幕を作っておくものであるため、生放送の番組に対して、リアルタイムに字幕を作成し、ルビを付与することはできない。
【０００４】
しかし、聴覚障害者の教育の場では、講師が講義した発話内容を即座にリアルタイムに文字に変換して、聴覚障害者である受講者に字幕のような形で提示することが求められる。
【０００５】
発明者らは、聴覚障害者に対する教育の場で使用可能な、リアルタイムで発話内容を字幕として提示するシステムの研究・開発を行ってきている。そして、発話内容をリアルタイムでかな漢字混じり文として提示するとともに、全ての漢字に自動的にルビを付加して提示するシステムを開発した。しかし、このシステムを講義で使用したところ、「ルビが多すぎるとかえって読みづらい」、「簡単な漢字にはルビはいらない」等の意見が寄せられた。
【０００６】
また、実際に講義で使用することを想定すると、一人ひとりの受講者が使用するパーソナルコンピュータ（ＰＣ）等の端末装置に、ルビ付きの字幕を提示できるようにすることが望ましい。したがって、特殊なアプリケーションを使用することは望ましく無いし、また、通常以下の処理パワーしか有さないＰＣであっても、リアルタイムで問題なくルビ付き字幕を提示できることが望ましい。
【０００７】
本発明は、かかる実情に鑑みてなされたものであり、特殊なアプリケーションを使用すること無く、通常のＰＣ程度の処理パワーであっても、発話内容をリアルタイムでかな漢字交じり文に変換して字幕提示するとともに、ルビを自動的に付加して提示することのできる装置等を提供することを目的とする。また、リアルタイムでルビ付き字幕を提示するにあたり、学年別のような受講者の漢字の読み能力に応じた漢字のみにルビを自動付加して提示可能な装置等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明によるリアルタイム字幕提示装置は、話者の発話した内容に基づいてリアルタイムで入力されたかな漢字混じり文の文字コードを受信する文字コード受信手段と、所定の学習レベルに応じた漢字かな辞書を用いて、文字コード受信手段で受信した文字コードを、所定の学習レベルでルビを自動的に付加する処理を行うルビ付加手段と、ルビ付加手段によって付加されたルビの書式を設定するルビ書式設定手段と、ルビ書式設定手段によって書式設定されたルビ付きのかな漢字混じり文を字幕として出力するための字幕提示手段と、を備える。かかる発明によれば、特殊なアプリケーションを使用しなくても、通常のＰＣ程度の処理パワーで発話内容をリアルタイムで漢字かな交じり文に変換するとともに、ルビを自動的に付加して提示することのできる装置を提供できるようになる。
【０００９】
なお、本発明及び明細書において、「ルビを付ける」とは、漢字の傍らにその読み方を示すための読み仮名（振り仮名）を付けることを意味し、具体的には、ディスプレイ等に表示された漢字の近傍に読み仮名を提示することを指す。例えば、漢字の上方部に当該漢字よりも小さいフォントで読み仮名を提示したり、漢字の直後に括弧書きで当該漢字の読みを提示したりすることを含む。また、「かな漢字混じり文」とは、ひらがな・カタカナ等のかな文字と漢字文字とを含む文のことであり、例えば、日本語入力エディタ（いわゆるＩＭＥ）を用いてかな漢字変換した後に生成される文などのことである。また、本発明及び明細書において、「漢字かな辞書」とは、漢字とその読みとを対応付けて記憶した辞書データベースのことであり、「漢字かな変換」とは、かな漢字混じり文の中の一部又は全部の漢字をかなに変換する処理のことをいう。
【００１０】
このとき、好適には、ルビ付加手段は、ルビの付加に加え、漢字かな辞書を用いて、前記学習レベルに応じた漢字かな変換処理を行い、ルビ書式設定手段は、ルビの書式設定に加え、ルビ付加手段によって変換された学習レベルに応じたかな漢字混じり文の書式を設定する、ことを特徴とする。かかる発明によれば、ルビの自動付加に加えて、受講者の読み能力に応じて、漢字表記をひらがな表記に変換することができるようになる。
【００１１】
また、好適には、文字コード受信手段は、話者の発話した内容がリアルタイムで入力されたかな漢字混じり文の文字コードを、所定長の文字コードのまとまりで受信し、ルビ付加手段は、所定長のまとまり単位で、学習レベルに応じた漢字かな変換及びルビ付加処理を行い、ルビ書式設定手段は、所定長のまとまり単位で、ルビの書式設定を行い、字幕提示手段は、ルビ書式設定手段により所定長のまとまり単位で書式設定されたルビ付きのかな漢字混じり文を、それまでに出力されていた字幕の後ろに続けて出力する、ことを特徴とする。かかる発明によれば、所定のまとまり単位で、発話内容を順次字幕にしてルビを自動的に付加することができるようになる。
【００１２】
さらに好適には、学習レベルを設定するための学習レベル設定手段を備え、ルビ付加手段は、複数の学習レベル別の漢字かな辞書を有し、文字コード受信手段で受信した文字コードを、学習レベル設定手段により設定された学習レベルに応じて、漢字かな変換するとともにルビを付加する処理を行う、ことを特徴とする。かかる発明によれば、学年別のような受講者の漢字の読み能力に応じた漢字のみにルビを自動付加して提示可能な装置を提供できるようになる。
【００１３】
また、本発明によるリアルタイム字幕提示装置は、字幕提示手段がルビ付き字幕を配信する機能を備えることが好ましい。このとき、ブラウザを備える端末装置を用いて、リアルタイム字幕提示装置から配信されたルビ付き字幕を受信して、リアルタイムでルビ付き字幕を表示することが好ましい。かかる発明によれば、学年別のような受講者の漢字の読み能力に応じた漢字のみにルビを自動付加した字幕をリアルタイムで配信、又は、受信する装置を提供できるようになる。
【００１４】
さらに、本発明によるリアルタイム字幕提示システムは、講義室に設けられる講義室側システムと、講義室から離れた場所に設けられる遠隔地側システムとがネットワークを介して接続される。このとき、講義室側システムは、話者が発話した内容を受信するマイクと、一以上の上記リアルタイム字幕提示装置と、を備える。また、遠隔地側システムは、マイクが受信した音声に基づいて、話者が発話した内容をリアルタイムで文字入力して、かな漢字混じり文の文字コードに変換するための文字入力手段、を備える。このとき、リアルタイム字幕提示装置が備える文字コード受信手段は、文字入力手段によって入力、変換された文字コードを受信する。かかる発明によれば、遠隔地においてリアルタイムで字幕入力ができる遠隔地入力方式を利用して、学習レベル別のルビ付き字幕を提示できるようになる。
【００１５】
また、本発明によるリアルタイム字幕提示方法は、所定の学習レベルに応じた漢字かな辞書と、装置の動作を制御するための制御手段と、を備えるリアルタイム字幕提示装置において、話者の発話した内容をリアルタイムで自動的にルビ付きの字幕として提示する方法である。このとき、制御手段が、話者の発話した内容に基づいてリアルタイムで入力されたかな漢字混じり文の文字コードを受信するよう制御するステップと、漢字かな辞書を用いて、受信した文字コードを、所定の学習レベルでルビを付加する処理を行うよう制御するステップと、付加されたルビの書式を設定するステップと、書式設定によって書式設定されたルビ付きのかな漢字混じり文を字幕として出力するステップと、を備える。
【００１６】
本発明のプログラムは、本発明のリアルタイム字幕提示方法の各処理ステップをコンピュータに実行させることを特徴とする。本発明のプログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。
【００１７】
なお、本明細書等において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。
【発明の効果】
【００１８】
本発明のリアルタイム字幕提示装置等によれば、特殊なアプリケーションを使用すること無く、通常のＰＣ程度の処理パワーであっても、発話内容をリアルタイムでかな漢字交じり文に変換するとともに、ルビを自動的に付加して提示することができるという効果を奏する。また、リアルタイムでルビ付き字幕を提示するにあたり、学年別のような受講者の漢字の読み能力に応じた漢字のみにルビを自動付加して提示可能になるという格別の効果を有する。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。
【００２０】
図１は、本発明の一実施形態に係るリアルタイム字幕提示システム１００の全体構成を示すブロック図である。図１に示すように、リアルタイム字幕提示システム１００は、講義室側システム１０と遠隔地側システム５０とに分かれ、これらが通信回線Ｎを介して相互に接続されて構成される。
【００２１】
講義室側システム１０は、講義室側に設けられるシステムであり、話者が話している音声を受信して送出する音声受信・送出部２０と、リアルタイムで字幕を提示する字幕提示部３０と、遠隔地側システム５０に音声や映像を送出して字幕データを受信するデータ受信・音声映像送出部４０とにより構成される。
【００２２】
音声受信・送出部２０は、話者が発話した音声を受信し電気信号に変換するワイヤレスマイク２１と、ワイヤレスマイク２１で受け取った音声信号を受け取り、増幅して送出するワイヤレスアンプ２２を含む。字幕提示部３０は、学年別にルビ付きされた字幕データを表示するための端末装置として使用される学年別ルビ付き字幕提示用パソコン３１と、学年別ルビ付き字幕提示用パソコン３１の画像信号をビデオ信号に変換するスキャンコンバータ３２と、学年別ルビ付き字幕をスクリーン３４に投射するプロジェクタ３３を含む。また、データ受信・音声映像送出部４０は、テレビ会議を行うテレビ会議装置４１と、遠隔地側システム５０と通信するためのターミナルアダプタ４２を含む。
【００２３】
遠隔地側システム５０は、講義室から離れた遠隔地側に設けられるシステムであり、話者の音声を基に入力担当者が文字を入力する文字入力部６０と、データの流れを制御するデータ制御部７０と、文字入力部６０で入力された文章に修正担当者が誤字、脱字がある場合に修正する文字修正部８０と、講義室側システム１０から音声や映像を受信して字幕データを送出するデータ送出・音声映像受信部９０とにより構成される。
【００２４】
文字入力部６０は、入力担当者が使用する入力用パソコン６１と、入力するキーボードを切替えるキーボード切替器６２と、速記用に開発された入力用ステノワードＰＣキーボード６３を含む。文字修正部８０は、修正担当者が使用する修正用パソコン８１と、入力するキーボードを切替えるキーボード切替器８２と、速記用に開発された修正用ステノワードＰＣキーボード８３を含む。
【００２５】
データ制御部７０は、入力用パソコン６１と修正用パソコン８１及び入力用ステノワードＰＣキーボード６３と修正用ステノワードＰＣキーボード８３の間のデータの流れを制御する校正器７１を含む。また、データ送出・音声映像受信部９０は、テレビ会議を行うテレビ会議装置９１と、講義室側システム１０と通信するためのターミナルアダプタ９２と、話者の発した音声を出力するスピーカ９３と、講義室に設置される学年別ルビ付き字幕提示用パソコン３１に提示されている字幕を表示するための講義室の字幕提示確認用モニタ９４を含む。なお、テレビ会議装置４１、９１は、遠隔に位置するシステム間で音声、映像、文字等のデータを相互にやり取りするための装置であり、市販のテレビ会議装置を利用可能である。
【００２６】
通信回線Ｎは、講義室側システム１０と遠隔地側システム５０との間で信号を送受信するための通信回線である。本実施形態では、通信回線ＮにＩＳＤＮ回線を用いる。
【００２７】
なお、学年別ルビ付き字幕提示用パソコン３１、入力用パソコン６１、及び修正用パソコン８１は、コンピュータにより構成される。これらのコンピュータはそれぞれ、コンピュータ各部の動作の制御及び演算を行うＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、各種の情報を格納する外部記憶装置、入出力インタフェース、通信インタフェース及びこれらを結ぶバスを備える専用又は汎用のコンピュータを適用することができる。そして、ＣＰＵが、メモリまたは外部記憶装置などに記憶された所定のプログラムを実行することにより、各コンピュータに所定の機能を実現させる。
【００２８】
次に、リアルタイム字幕提示システム１００の動作の概要について説明する。
【００２９】
図２は、リアルタイム字幕提示システム１００において、話者の発した音声をリアルタイムで字幕付けする処理の流れを示すフローチャートである。
【００３０】
講義室にいる話者の音声は、ワイヤレスマイク２１、ワイヤレスアンプ２２、テレビ会議装置４１、ターミナルアダプタ４２、通信回線Ｎを介して、遠隔地側システム５０へ送出される（Ｓ１０１）。
【００３１】
遠隔地にいる入力担当者は、講義室側システム１０から送出された音声をスピーカ９３で聞きながら、文字入力部６０の入力用ステノワードＰＣキーボード６３にリアルタイムで話者の言葉を入力する（Ｓ１０２）。このステノワードＰＣキーボード６３は速記用に開発されたものであり、複数のキーを同時に押すことで文字列を生成し、習熟すれば３００文字／秒以上の速度で文字の入力が可能である。
【００３２】
入力された文字は、２台のキーボード６３、８３と２台のパソコン６１、８１間のデータの流れを制御する校正器７１を通り、入力用パソコン６１と修正用パソコン８１のキーボード端子に送出される。その後、それぞれのパソコン６１、８１でかな漢字変換される（Ｓ１０３）。
【００３３】
修正担当者は、修正用パソコン８１でかな漢字変換された文章の誤字、脱字を判断した後、修正作業を行うか否かを決める（Ｓ１０４）。
【００３４】
修正作業をしない場合、すなわち誤字、脱字がないと判断された場合、修正用パソコン８１は、この修正用パソコン８１でかな漢字変換した文章の文字コードを、ＲＳ−２３２Ｃ等のシリアルポートから所定の速度で、テレビ会議装置９１、ターミナルアダプタ９２、通信回線Ｎを介して、講義室側システム１０の学年別ルビ付き字幕提示用パソコン３１へ送出する（Ｓ１０５）。
【００３５】
一方、修正作業をする場合、すなわち誤字、脱字があると判断された場合、修正用パソコン８１でかな漢字変換された文章の誤字、脱字の修正処理を行い、修正された文字コードを、講義室側システム１０の学年別ルビ付き字幕提示用パソコン３１へ送出する（Ｓ１０６）。
【００３６】
講義室に設置された学年別ルビ付き字幕提示用パソコン３１は、遠隔地側システム５０から送信された文字コードをＲＳ−２３２Ｃ等のシリアルポートで受信する。その後、リアルタイムでかな漢字混じり文と、学年別に対応した漢字のみにルビを自動的に付加して提示する（リアルタイム学年別ルビ付加提示処理）。また、学年別ルビ付き字幕は、スキャンコンバータ３２とプロジェクタ３３を介して、大画面のスクリーン３４へ提示される（Ｓ１０７）。
【００３７】
なお、学年別ルビ付き字幕は、スキャンコンバータ３２からテレビ会議装置４１、ターミナルアダプタ４２、通信回線Ｎを介して、遠隔地に設置される講義室の字幕提示確認用モニタ９４へ提示される。入力担当者と修正担当者は、このモニタを確認することで、システム全体が正常に動作しているか否かを判断する。
【００３８】
また、入力担当者又は修正担当者は、入力作業中又は修正作業中に、必要に応じて、ルビの新規登録又は修正を行うことができる。新規登録又は修正されたルビの情報は、後述の漢字かな辞書データベースに記録される。これにより、辞書にルビが登録されていなかった漢字が出てきたり、辞書を修正する必要が生じた場合であっても、随時ルビの登録又は修正を行い、正しいルビを提示できるようになる。
【００３９】
図３は、ステップＳ１０４において、誤字や脱字があり修正を要すると判断された場合の修正処理（Ｓ１０６）の流れを示すフローチャートである。
【００４０】
修正担当者は、文字修正部の修正用ステノワードＰＣキーボード（以下「修正用キーボード」という。）８３の予め定めた所定のキー（例えば、デリミタキー）を押して修正作業の開始を指示する。校正器７１は、入力用パソコン６１で入力された文字コードを修正用パソコン８１へ送出することを一時停止する（Ｓ１１１）。
【００４１】
そして、修正担当者は、文字修正部８０で誤字、脱字の修正を行う。校正器７１は、修正担当者の修正作業中に、入力担当者が入力した文字コードを、バッファメモリに蓄積すると同時に入力用パソコン６１へ送出する。入力用パソコン６１は、校正器７１が送出した文字コードをかな漢字変換する（Ｓ１１２）。
【００４２】
修正担当者は、修正作業終了後、文字修正部８０の修正用キーボード８３の所定キー（例えば、デリミタキー）を押して修正作業の終了を指示する。修正された文章は、文字コードとして、修正用パソコン８１のシリアルポートから所定の速度で、テレビ会議装置９１、ターミナルアダプタ９２、通信回線Ｎを介して、講義室側システム１０の学年別ルビ付き字幕提示用パソコン３１へ送出される（Ｓ１１３）。
【００４３】
校正器７１は、ステップＳ１１２で蓄積したバッファメモリの文字コード（修正担当者の修正作業中に、入力担当者が入力した文字コード）を、入力担当者が入力した文字入力速度と無関係に、一定の送信速度で修正用パソコン８１へ送出する。そして、修正用パソコン８１は、当該送出されたバッファメモリ内の文字コード（修正担当者の修正作業中に、入力担当者が入力した文字コード）を受信して、漢字かな変換を行う（Ｓ１１４）。
【００４４】
次に、本発明の特徴である、ステップＳ１０７のリアルタイム学年別ルビ付加提示処理について説明する。
【００４５】
図４は、学年別ルビ付き字幕提示用パソコン３１の機能構成を示す図である。図４に示すように、学年別ルビ付き字幕提示用パソコン３１は、かな漢字混じり文の文字コードを受信する文字コード受信手段３５と、受信した文字コードに基づいて、事前に設定した変換レベル（学年別）で漢字にルビを付加するルビ付加手段３６と、ルビの配置や書式を設定するルビ書式設定手段３７と、配置や書式が設定されたルビ付き文を表示する字幕提示手段３８とを備える。
【００４６】
文字コード受信手段３５は、遠隔地側システム５０でリアルタイムに入力されたかな漢字混じり文の文字コードを受信する機能を備えている。本実施形態では、ＲＳ−２３２Ｃ等のシリアルポートを、文字コード受信手段３５として用いる。
【００４７】
ルビ付加手段３６は、学年等の学習レベル別の漢字かな辞書データベースを備え、入力された漢字を、事前に設定したレベル毎にひらがなに変換して提示する機能を備えている。すなわち、このルビ付加手段３６にかな漢字混じり文を入力すると、事前に設定したレベルに応じて漢字にルビを付加して提示する。また、必要に応じて、事前に設定したレベルで漢字かな変換処理を行う。漢字かな変換辞書データベースは、学年別ルビ付き字幕提示用パソコン３１のローカルの記憶手段に記憶されたものを利用してもよいし、ネットワークで接続される外部のデータベースを利用してもよい。本実施形態では、ウェブページ内に表示されている漢字を事前に設定した変換レベル（学年別）で、漢字にルビを付加して提示する機能を有するルビ付加用ブラウザを使用して、ルビ付加手段３６を実現する。ここで、ルビ付加のレベルは、全ての漢字にルビを付加するレベル、小学１年〜６年、中学、高校までの９レベルの中で、自由に選択できるものとした。なお、ルビ付加用ブラウザは、当該ブラウザのページ内に文字コードを書き込んだ後、ページ更新処理を実行することによって、ルビ付加機能を実行する。このようなルビ付加用ブラウザとして、市販ソフトの「らくらくブラウザ」（登録商標）（http://pr.fujitsu.com/jp/news/2003/08/21-1.html）を適用可能である。
【００４８】
ルビ書式設定手段３７は、ルビ付加手段３６によって生成されたルビ付きのかな漢字混じり文に対して、文字とルビの配置、フォントサイズ、及び文字色、ルビ色を設定する機能を備えている。本実施形態では、市販の表計算ソフトの機能を用いて、ルビ書式設定手段３７を実現する。具体的には、表計算ソフトのセル内の文字とルビのフォントサイズ等を設定する機能を用いる。なお、このような表計算ソフトとして、Ｍｉｃｒｏｓｏｆｔ  Ｅｘｃｅｌ（登録商標）（以下「Ｅｘｃｅｌ」という。）を適用可能である。
【００４９】
字幕提示手段３８は、ルビ書式設定手段３７で配置及び書式が設定されたルビ付き字幕をリアルタイムで視聴者に提示する機能を備えている。本実施形態では、市販の文書作成（ワードプロセッサ）ソフトを利用して、視聴者に提示するルビ付加字幕を表示する。なお、このような文書作成ソフトとして、Ｍｉｃｒｏｓｏｆｔ  Ｗｏｒｄ（商標）（以下「Ｗｏｒｄ」という。）を適用可能である。
【００５０】
なお、学年別ルビ付き字幕提示用パソコン３１が備えるべき全ての機能は、Ｗｏｒｄ、Ｅｘｃｅｌ、らくらくブラウザ、及び、Ｖｉｓｕａｌ  Ｂａｓｉｃ（登録商標）（具体的には、Ｍｉｃｒｏｓｏｆｔ  Ｖｉｓｕａｌ  Ｂａｓｉｃ（Ｖｅｒ．６．０）及びＥｘｃｅｌ  ２００２  Ｖｉｓｕａｌ  Ｂａｓｉｃ  ｆｏｒ  Ａｐｐｌｉｃａｔｉｏｎｓ）を用いて実現可能である。
【００５１】
図５は、ステップＳ１０７の学年別ルビ付加提示処理の流れを示すフローチャートである。
【００５２】
まず、遠隔地側システム５０においてリアルタイムで入力されたかな漢字混じり文の文字コードを、文字コード受信手段３５で受信する（Ｓ１２１）。具体的には、かな漢字混じり文の文字コードをＲＳ−２３２Ｃポートを介して受信する。このとき、文字コード受信手段３５は、一以上の形態素単位のまとまり、すなわち、話者の発話した音声のうち数秒から十数秒程度の長さを文字に変換した分量の文字コードを一度に受信する。よって、一度に受信する文字コードの分量は、おおよそ数文字から数十文字程度である。
【００５３】
ルビ付加手段３６は、受信した文字コードを受け取り、漢字かな辞書データベースを参照して、事前に設定した変換レベルで漢字かな変換処理を行うとともに、当該変換レベルで漢字にルビを付加する処理を行う（Ｓ１２２）。具体的には、まず、受信した文字コードを、ルビ付加用ブラウザが参照するページ、すなわち、学年別ルビ付き字幕提示用パソコン３１のローカルディスク、に書き込む。そして、文字コードが書き込まれたページを更新することによって、学年別のレベルに応じたかな漢字混じり文に、レベルに応じて所定の漢字にルビが自動的に付加されたものが出力される。なお、この処理は、ステップＳ１２１で受信した所定のまとまり単位で行われる。
【００５４】
次に、ルビ書式設定手段３７は、ルビ付加手段３６のルビ付加用ブラウザに出力されている学年別のルビが付加されたかな漢字混じり文を受け取り、視聴者へ提示するかな漢字混じり文のフォント、フォントサイズ、文字色を設定する。また、ふりがな（ルビ）のフォント、フォントサイズ、ルビ色、及び、漢字にルビを振る配置を設定する（Ｓ１２３）。なお、この処理も、ステップＳ１２１で受信した所定のまとまり単位で行われる。
【００５５】
その後、字幕提示手段３８は、ルビ書式設定手段３７によって所定の書式及び配置で学年別にルビが付加されたかな漢字混じり文をステップＳ１２１で受信した所定のまとまり単位で受け取り、この受け取ったルビ付きのかな漢字混じり文を、これまでに表示されている字幕（ルビが付加されたかな漢字混じり文）の後ろに続けて貼り付けて、ディスプレイ等の出力装置に表示させる（Ｓ１２４）。
【００５６】
こうして、学年別ルビ付き字幕提示用パソコン３１は、遠隔地側システム５０からリアルタイムで入力されるかな漢字混じり文を、所定のまとまり単位で、リアルタイムで学年別のレベルに応じたルビを自動的に付加等することによって、話者の発話した音声を所定のまとまり毎にリアルタイムで字幕に追加して提示する。そして、この処理を繰り返すことによって、ある程度の時間遅れはあるものの、ほぼリアルタイムで学年別ルビ付き字幕を提示することが可能になる。
【００５７】
図６乃至図８は、学年別ルビ付き字幕提示用パソコン３１に提示されるルビ付き字幕提示画面の一例である。図６は、小学６年レベルのルビ付き字幕提示画面の一例である。図７は、小学３年レベルのルビ付き字幕提示画面の一例である。図８は、小学６年レベルのルビ付き字幕提示画面の他の例である。図６及び図７は、漢字の上部にルビが配置される例である。また、図８は、ルビを振る漢字の後ろに括弧書きでルビを入れる例である。図６と図７を比較すると、図６の方がルビ付き文字が少なく、図６の方が高学年向けの字幕であることが分かる。また、図６と図８を比較すると、ルビの振り方に違いがあることが分かる。視聴者は、各自の使用する端末装置（各学年別ルビ付き字幕提示用パソコン３１）において、自己の能力に応じたレベル（学年）及びルビの配置を事前に設定しておくことによって、各端末装置ごとに、各視聴者の設定したレベル及び配置のルビ付き字幕がリアルタイムで表示される。
【００５８】
また、本字幕提示システム１００において、学年別ルビ付き提示用パソコン３１をウェブサーバとして機能させて、字幕提示手段３８によって学年別のルビ付き字幕をリアルタイムで配信するようにしてもよい。このとき、受講者は、ウェブブラウザを備える端末装置を用いて当該ウェブサーバから配信される情報を受信することによって、学年別のルビ付き字幕をリアルタイムで端末装置に表示させることができる。これにより、端末装置に上述のソフトウェアがインストールされていなくても、ウェブブラウザさえ備えていれば、学年別のルビ付き字幕を表示できるようになる。これは、受講者が携帯電話機やモバイルＰＣ等の携帯型端末装置を使用する場合に、特に有効である。
【００５９】
図９は、ウェブサイトを閲覧する機能（ウェブブラウザ）を備える携帯電話機を用いて、このような学年別ルビ付き提示用パソコン３１のウェブサーバから配信されるルビ付き字幕情報を受信したときの表示画面の一例を示す図である。携帯電話機のように、出力される文字の大きさが所定サイズで固定されているといった表示画面に制約がある場合には、漢字の上部に小さいフォントでルビを振ることができないので、図９に示すように、漢字の後ろに括弧書きでルビを入れる出力形式が好ましい。
【００６０】
以上のとおり、本発明では、市販のパソコン等の端末装置を用いて、リアルタイムに学年別のルビ付き字幕を生成し、表示することができる。このとき、ユーザが使用する端末装置（パソコン）側では、特殊なアプリケーションを使用する必要が無く、一般的なアプリケーションを使用するだけで学年別のルビ付き字幕を生成することが可能であるため、学年別ルビ付き字幕を表示可能な端末装置を安価に提供することができるようになる。また、このような端末装置を通常の講義や講演などで使用すれば、受講者は、話者が話した内容を、リアルタイムで自分のレベルに合ったルビ付き字幕で確認することができるため、講義・講演の内容をより深く理解できるようになる。
【００６１】
なお、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述の各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
【００６２】
また、上記実施形態では、学年別ルビ付き字幕提示用コンピュータとして、パソコン（ＰＣ）３１を使用したが、パソコン以外の様々なコンピュータを利用可能である。例えば、携帯電話機、携帯情報端末（ＰＤＡ）、その他のコンピュータを利用可能である。
【００６３】
また、上記実施形態では、かな漢字混じり文の文字コードを通信する際の方式として、ＲＳ−２３２Ｃ等のシリアルポートを用いて通信する例を示したが、他の任意の通信方式を利用可能であることは言うまでもない。
【００６４】
さらに、上記実施形態では、講義室側システム１０と遠隔地側システム５０とを接続する通信回線ＮにＩＳＤＮ回線を使用する例を示したが、ターミナルアダプタとＩＳＤＮ回線を使用することに換えて、他の通信機器及び通信回線の組み合わせを使用してもよい。その場合、通信回線Ｎとしては、ＬＡＮ、インターネット、専用線、パケット通信網、電話回線、企業内ネットワーク、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。
【００６５】
また、上記実施形態では、講義室側システム１０は、講義室に設けられるものとして説明したが、話者及び受講者がいる場所であれば如何なるところに設けてもよい。また、上記実施形態では、遠隔地側システム５０が講義室から離れた遠隔地に設けられるものとして説明したが、文字入力者及び文字修正者がいる場所であれば如何なるところに設けてもよい。さらに、講義室側システム１０と遠隔地側システム５０を一体的に設けてもよい。
【００６６】
さらに、本発明を応用して、ハイビジョンテレビ番組等の生放送の番組に対して、リアルタイムで学年別ルビ付き字幕を提示することも可能である。
【００６７】
また、上記実施形態において、漢字かな辞書データベースに専門用語辞書を含むよう構成し、文字コード受信手段３５が受信したかな漢字混じり文にルビを自動的に付加する処理に加え、受信したかな漢字混じり文の中に専門用語が出てくるか否かを専門用語辞書に基づいてルビ付加手段３６が判断し、専門用語が出てくる場合には、ルビ書式設定手段３７が当該専門用語をハイライト表示するよう設定し、字幕提示手段３８が、当該専門用語をハイライト表示させることも可能である。これにより、受講者は、専門用語が出てきたときに、容易に識別できるようになる。
【００６８】
さらに、上記実施形態では、話者の発話内容をリアルタイムに文字入力する方式として、速記用のキーボードを使用する例を示したが、キーボード入力に換えて、音声認識ソフトを用いた音声入力方式を採用して、音声入力によりリアルタイムで学年別ルビ付き字幕を提示することも可能である。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態に係るリアルタイム字幕提示システム１００の全体構成を示すブロック図である。
【図２】リアルタイムで字幕付けする処理の流れを示すフローチャートである。
【図３】誤字・脱字の修正処理の流れを示すフローチャートである。
【図４】学年別ルビ付き字幕提示用パソコン３１の機能構成を示す図である。
【図５】学年別ルビ付加提示処理の流れを示すフローチャートである。
【図６】小学６年レベルのルビ付き字幕提示画面の一例である。
【図７】小学３年レベルのルビ付き字幕提示画面の一例である。
【図８】小学６年レベルのルビ付き字幕提示画面の他の例である。
【図９】携帯電話機におけるルビ付き字幕提示画面の一例を示す図である。
【符号の説明】
【００７０】
１０   講義室側システム
２０   音声受信・送出部
２１   ワイヤレスマイク
２２   ワイヤレスアンプ
３０   字幕提示部
３１   字幕提示用パソコン
３２   スキャンコンバータ
３３   プロジェクタ
３４   スクリーン
３５   文字コード受信手段
３６   ルビ付加手段
３７   ルビ書式設定手段
３８   字幕提示手段
４０   データ受信・音声映像送出部
４１   テレビ会議装置
４２   ターミナルアダプタ
５０   遠隔地側システム
６０   文字入力部
７０   データ制御部
８０   文字修正部
９０   データ送出・音声映像受信部
１００ リアルタイム字幕提示システム
【図１】
2008191976.tif 000003
【図２】
2008191976.tif 000004
【図３】
2008191976.tif 000005
【図４】
2008191976.tif 000006
【図５】
2008191976.tif 000007
【図６】
2008191976.tif 000008
【図７】
2008191976.tif 000009
【図８】
2008191976.tif 000010
【図９】
2008191976.tif 000011