(57)【要約】      （修正有）【課題】電子ペンにより描画されたストロークを処理するシステムにおいて、描画されたストロークからの文字の認識及び翻訳の処理の負担を軽減することが可能になる情報配信システムを提供する。【解決手段】コンピュータ装置３は、電子ペンによって生成されたストローク情報により表わされる第１言語の文字列を、文字情報として認識する文字認識手段と、文字認識手段により認識された文字情報を端末４に送信する送信手段とを備える。端末４は、コンピュータ装置３から送信された文字情報を受信する受信手段４２と、受信手段４２において受信された文字情報により表わされる第１言語の文字列を、第２言語の文字列に翻訳する翻訳手段４４３と、翻訳手段４４３により第２言語に翻訳された文字列を表示させる表示制御手段４４４とを備える。【選択図】図７
0003169046.tif 000002
【実用新案登録請求の範囲】
【請求項１】
コンピュータ装置から端末へ、電子ペンで書き込み媒体に記入されたストロークに関する情報を配信する情報配信システムであって、
前記コンピュータ装置は、
前記電子ペンによって生成されたストローク情報により表わされる第１言語の文字列を、文字情報として認識する文字認識手段と、
前記文字認識手段により認識された前記文字情報を前記端末に送信する送信手段と、
を備え、
前記端末は、
前記コンピュータ装置から送信された前記文字情報を受信する受信手段と、
前記受信手段において受信された前記文字情報により表わされる前記第１言語の文字列を、第２言語の文字列に翻訳する翻訳手段と、
前記翻訳手段により前記第２言語に翻訳された前記文字列を表示させる表示制御手段と、
を備える
ことを特徴とする情報配信システム。
【請求項２】
前記コンピュータ装置は、
前記翻訳手段により前記文字情報として認識された前記第１言語の文字列を表示する表示手段に表示させる表示制御手段をさらに有する
ことを特徴とする請求項１に記載の情報配信システム。
【請求項３】
前記端末は、
前記翻訳手段により翻訳される前記第２言語として、所定言語を設定する翻訳言語設定手段をさらに有する
ことを特徴とする請求項１又は２に記載の情報配信システム。
【請求項４】
前記端末は、
キーワードを設定するキーワード設定手段と、
前記翻訳手段により前記第２言語に翻訳された前記文字列を検索対象として、前記キーワード設定機能手段により設定された前記キーワードに関連するワードを検出するキーワード検出手段と、
前記キーワード設定手段により前記検索対象が前記キーワードに関連するワードが検出された場合に、報知手段によって報知する報知制御手段をさらに有する
ことを特徴とする請求項１乃至３の何れか一項に記載の情報配信システム。
【請求項５】
前記キーワード検出手段は、前記キーワードとその同義語ないし類義語を検出することを特徴とする請求項４に記載の情報配信システム。
【考案の詳細な説明】
【技術分野】
【０００１】
本考案は、電子ペンによりストロークを描画するシステムにおいて、描画されたストロークから文字列を文字情報として認識し、その文字情報を翻訳するための情報配信システムに関する。
【背景技術】
【０００２】
記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto  pen）」が知られている。アノトペンは、所定のドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、文字等を書くための通常のインクカートリッジに加えて、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像等の記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話等の端末装置に送信される（例えば、特許文献１参照）。また、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能については、同社の例えば特許文献２に記載されている。
【０００３】
このような電子ペンやコンピュータ等で構成されるシステムを用いて、ドットパターンが印刷された書き込みボードに対して、電子ペンで描画ストロークを記入する技術が、特許文献３に開示されている。
【０００４】
また、サーバから送信されたデータに基づき各端末において文字を認識し、認識した文字を翻訳する技術が特許文献４に開示されている。
【０００５】
また、携帯端末の表示内容、コンテンツ内容、受信した配信データ等の各種情報の中に、予め設定されたキーワードが包含されているか否かを検出し、包含されている場合にはその旨をユーザに報知する技術が特許文献５〜７に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３８４２２８３号公報
【特許文献２】特表２００３−５２９８５３号公報
【特許文献３】特表２００３−５０８８３１号公報
【特許文献４】特開平６−２５９６００号公報
【特許文献５】特開２００１−３２５０６０号公報
【特許文献６】特開２００９−１５５９８号公報
【特許文献７】特開２０１０−２２６２４５号公報
【考案の概要】
【考案が解決しようとする課題】
【０００７】
しかしながら、このような特許文献１〜７に記載の技術により構築しうるシステムでは、書き込みボード上の描画ストロークについての文字認識は各端末装置でそれぞれ別々に独立して行われることになり、システム全体として、文字認識の処理負担が大きくなってしまう。
【０００８】
本考案は、このような状況に鑑みてなされたものであり、描画されたストロークを処理するシステムにおいて、描画されたストロークからの文字の認識及び翻訳にかかる処理負担を軽減することを目的とする。
【課題を解決するための手段】
【０００９】
本考案に係る情報配信システムは、コンピュータ装置から端末へ、電子ペンで書き込み媒体に記入されたストロークに関する情報を配信する情報配信システムであって、前記コンピュータ装置は、前記電子ペンによって生成されたストローク情報により表わされる第１言語の文字列を、文字情報として認識する文字認識手段と、前記文字認識手段により認識された前記文字情報を前記端末に送信する送信手段と、を備え、前記端末は、前記コンピュータ装置から送信された前記文字情報を受信する受信手段と、前記受信手段において受信された前記文字情報により表わされる前記第１言語の文字列を、第２言語の文字列に翻訳する翻訳手段と、前記翻訳手段により前記第２言語に翻訳された前記文字列を表示させる表示制御手段と、を備えることを特徴とする。
【００１０】
この構成によれば、書き込み媒体に記入されたストロークにより表わされる第１言語の文字列を、文字情報としてコンピュータ装置により一括して認識することができる。したがって、文字情報の認識をコンピュータ装置の一カ所で一括して行うことができ、システム全体にかかる処理負担の軽減を行うことができる。さらに、端末側では、コンピュータ装置により一括して行われた文字の認識結果に基づいて、各端末において翻訳を行うことができる。したがって、各端末において行われる翻訳をコンピュータ装置で行う必要がなく、翻訳にかかる処理負担を軽減することができる。
【００１１】
上記情報配信システムにおいて、前記コンピュータ装置は、前記翻訳手段により前記文字情報として認識された前記第１言語の文字列を表示する表示手段に表示させる表示制御手段をさらに有するとよい。
このように、書き込み媒体に記入したユーザは、表示制御手段により表示手段に表示された文字列を見ることにより、書き込み媒体に記入されたストロークからの文字列の認識が適切に行われたか否かを確認することができる。
【００１２】
上記情報配信システムにおいて、前記端末は、前記翻訳手段により翻訳される前記第２言語として、所定言語を設定する翻訳言語設定手段をさらに有するとよい。
このように、各端末毎に翻訳される所定言語を翻訳言語設定手段により予め設定しておくことにより、コンピュータ装置は、設定された所定言語に基づいて翻訳することができる。したがって、各端末において必要であるか否か不確定の言語にまで予めコンピュータ装置において翻訳しておく必要がなく、各端末において設定された言語にのみ翻訳することで、処理負担を軽減することができる。
【００１３】
また、上記情報配信システムにおいて、前記端末は、キーワードを設定するキーワード設定手段と、前記翻訳手段により前記第２言語に翻訳された前記文字列を検索対象として、前記キーワード設定機能手段により設定された前記キーワードに関連するワードを検出するキーワード検出手段と、前記キーワード設定手段により前記検索対象が前記キーワードに関連するワードが検出された場合に、報知手段によって報知する報知制御手段をさらに有するとよい。
このように、各端末毎にキーワードを設定しておくことにより、翻訳された文字列の中にユーザが設定したキーワードに関連するワードが含まれている場合には、ユーザに所定の内容を報知することにより、設定されたキーワードに関連するワードが翻訳された文字列に含まれることをユーザに伝達することができる。また、各端末は、設定された必要最小限のキーワードに関連するワードのみを検索対象とすれば足りるので、処理の負担軽減を図ることができる。
【００１４】
また、上記情報配信システムにおいて、前記キーワード検出手段は、前記キーワードとその同義語ないし類義語を検出するとよい。
このように、翻訳された文字列の中にユーザが設定したキーワードのみならず、該キーワードと語形は異なるが意義はほぼ同じ言葉や意義が類似する言葉が含まれている場合には、設定されたキーワードのみならず、その同義語ないし類義語が翻訳された文字列に含まれることをユーザに伝達することができる。したがって、ユーザは、キーワードを設定するだけで、そのキーワードのみならず、そのキーワードに関連する幅広いワードを報知対象に含めることができるので、ユーザのキーワードの設定に対する負担軽減を図ることができる。
【考案の効果】
【００１５】
本考案によれば、描画されたストロークを処理するシステムにおいて、描画されたストロークからの文字の認識及び翻訳にかかる処理の負担を軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態における情報配信システムのシステム構成図である。
【図２】本実施形態におけるホワイトボードの横断面を示す図である
【図３】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図４】（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。
【図５】電子ペンの構造を示す概略図である。
【図６】コンピュータ装置の機能ブロック図である。
【図７】端末の機能ブロック図である。
【図８】コンピュータ装置の処理フローを示すフローチャートである。
【図９】端末の処理フローを示すフローチャートである。
【考案を実施するための形態】
【００１７】
以下、図面を参照しながら、本考案の実施形態について説明する。
【００１８】
［情報配信システムの構成］
図１は、本実施形態に係る情報配信システムの構成を示す。
本実施形態の情報配信システムは、１人の講師が、１人又は複数人の聴講者に講義をする教室等に設置されているものとする。図１に示すように、本実施形態に係る情報配信システム１０は、電子ペン１と、ホワイトボード２（ドットパターンあり）と、コンピュータ装置３と、各聴講者に１台ずつ使用されるｎ台の端末４−１〜４−ｎとを有する。
【００１９】
講師は、ホワイトボード２に対して、電子ペン１で描画ストロークを記入したり、電子イレイサー（図示せず）で当該描画ストロークを消去したりすることによって講義を進める。電子ペン１からの記入情報は、Bluetooth（登録商標）により、コンピュータ装置３に無線送信される。
【００２０】
コンピュータ装置３は、パーソナルコンピュータ（Personal  computer）等で構成されている。コンピュータ装置３は、電子ペン１からの記入情報を受信して、ホワイトボード２上に記入されている描画ストロークにより表わされる文字列（１文字含む）を文字情報として認識する。そして、コンピュータ装置３は、当該認識した文字情報に対応する文字列をディスプレイ（後述する図６の表示手段３５）に表示させるとともに、当該文字情報を、Wi-Fi（無線ＬＡＮの標準規格IEEE802.11シリーズに準拠していることを示す、業界団体による証明マーク。本実施形態では、Wi-Fiマークが付された無線ＬＡＮ機器間の無線通信方式を示すためにも用いる。）により、ｎ台の各端末４−１〜４−ｎに無線送信する。
【００２１】
図１のホワイトボード２上には、講師が電子ペン１を用いて手書きで記入した「おはよう」という描画ストロークが表示されている。なお本実施形態では、電子ペン１により記入される第１言語は日本語である。
コンピュータ装置３は、ホワイトボード２上に手書きで「おはよう」という描画ストロークが記入される際に電子ペン１から逐次送信されてくる記入情報を受信する。そして、コンピュータ装置３は、当該記入情報に基づいて、当該描画ストロークにより表わされる「おはよう」という日本語の文字列を、文字情報として認識する。
ここで、文字情報の認識手法としては、既存の手書き文字認識（Handwriting  recognition）や光学文字認識（OCR:Optical  Character  Recognition）に基づく手法が採用可能である。
コンピュータ装置３は、描画ストロークを文字認識した結果の「おはよう」という日本語の文字列をコンピュータ装置３のディスプレイに表示するとともに、当該文字列を示す文字情報を、各端末４−１，４−２，４−３，・・・，４−ｎに送信する。
【００２２】
ｎ台の各端末４−１〜４−ｎは、スマートフォンで構成されており、ｎ人の各聴講者（ユーザ）に１台ずつ提供されている。なお、以下、端末４−１〜４−ｎを個々に区別する必要がない場合、これらをまとめて単に「端末４」と呼ぶ。なお、各端末は、iPad（登録商標）、ＰＤＡ等であってもよい。
端末４は、コンピュータ装置３から送信される第１言語の文字情報を受信して記憶させるとともに、当該文字情報に対応する文字列（原文）を、予め設定された第２言語（以下、「設定言語」という）に翻訳し、設定言語に翻訳された文字列（訳文）（以下、「翻訳文字列」という）をディスプレイに表示させる。
【００２３】
端末４−１には、設定言語として英語が設定されている。そこで、端末４−１は、例えば「おはよう」という日本語の文字列を示す文字情報をコンピュータ装置３から受信すると、この「おはよう」という日本語の文字列を、「Good  morning」という英語の翻訳文字列に翻訳する。そして、端末４−１は、図１に示すように、「Good  morning」という英語の翻訳文字列をディスプレイに表示させる。
【００２４】
端末４−２には、設定言語としてドイツ語が設定されている。そこで、端末４−２は、例えば「おはよう」という日本語の文字列を示す文字情報をコンピュータ装置３から受信すると、この「おはよう」という日本語の文字列を、「Guten  morgen」というドイツ語の翻訳文字列に翻訳する。そして、端末４−２は、図１に示すように、「Guten  morgen」というドイツ語の翻訳文字列をディスプレイに表示させる。
【００２５】
端末４−３には、設定言語として中国語が設定されている。そこで、端末４−３は、例えば「おはよう」という日本語の文字列を示す文字情報をコンピュータ装置３から受信すると、この「おはよう」という日本語の文字列を、「早上好」という中国語の翻訳文字列に翻訳する。そして、端末４−３は、図１に示すように、「早上好」という中国語の翻訳文字列をディスプレイに表示させる。
【００２６】
端末４−４には、設定言語として日本語が設定されている。この場合、端末４−４は、例えば「おはよう」という日本語の文字列を示す文字情報をコンピュータ装置３から受信すると、この「おはよう」という日本語の文字列を、翻訳しない。そして、端末４−４は、図１に示すように、「おはよう」という日本語の文字列をディスプレイに表示させる。即ち、設定言語とコンピュータ装置３から受信した文字情報の言語とが同じ場合には、翻訳を行わずに、コンピュータ装置３から受信した文字情報の言語の文字列をディスプレイに表示させる。
【００２７】
さらに、端末４は、コンピュータ装置３から送信された文字情報に対応する翻訳文字列を検索対象として、所定のキーワードがヒットするか否かを検出する。なお、キーワードそのものの同一検索のみならず、端末４の記憶手段４３に同義語辞書や類義語辞書を持たせ当該キーワードの同義語や類義語も検索するようにしてもよい。
端末４は、検索対象の文字列中から所定のキーワードがヒットした場合、当該キーワードに予め対応付けられている各種処理を実行する。
例えば、「重要」というキーワードに対して、バイブレータ機能をオンにする処理が対応付けられている場合、コンピュータ装置３から送信された文字情報内から「重要」というキーワードが含まれていることが検出されると、バイブレータ機能がオンになり、端末４が振動する。これにより、端末４を保持している聴講者は、端末４に今表示された翻訳文字列が重要なものであることを容易に認識することができる。
なお、キーワードは、端末４の聴講者（ユーザ）の便宜のためには翻訳後の設定言語であると好適であるが、特にこれに限定されず、コンピュータ装置３から送信された文字情報の言語（翻訳前の言語）であってもよい。
【００２８】
図２は、このような情報配信システムのうち、ホワイトボード２の横断面を示す図である。図２に示すように、アノト方式のドットパターン（コード化パターン）を構成する各ドット２１は、白色のホワイトボード基板２２の全面に重畳して印刷されている。ここで、各ドット２１は、電子ペン１で読み取ることができるように、赤外線を吸収するカーボンを含有するインクで印刷されている。各ドット２１によるドットパターンが重畳して印刷されているホワイトボード基板２２の上には、ＥＢ（Electron  Beam：電子線）硬化樹脂により形成されたＥＢ硬化樹脂保護層２３が積層されている。ＥＢ硬化樹脂保護層２３は、ホワイトボード基板２２上に印刷された各ドット２１を電子ペン１や電子イレイサーによる摩擦から保護し、ホワイトボード２の経年使用による劣化を防止する。
【００２９】
［ドットパターン］
続いて、ホワイトボード２に形成されるアノト方式のドットパターン（コード化パターン）について説明する。図３は、ホワイトボード２に印刷されるドットパターンのドットとそのドットが変換される値との関係を説明する図である。図３に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。即ち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、ホワイトボード２上の位置座標が決定されるよう構成されている。
【００３０】
図４（ａ）は、あるドットパターンの配列を示している。図４（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、ホワイトボード２上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがホワイトボード２上のどの位置にあるのか）を保持している。図４（ｂ）は、図４（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応付けられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。
【００３１】
［電子ペン］
次に電子ペン１について説明する。図５に示すように、電子ペン１は、その筐体１０１の内部に、マーカーペン１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。マーカーペン１０４の先端は、インクを備えるペン先部１０３となっており、講師（ユーザ）は、電子ペン１のペン先部１０３をホワイトボード２上に当接させて、文字等の描画ストローク（手書きストローク）を記入したり、タップ（ペン先部１０３によるホワイトボード２への軽叩）したりする。ここで、電子ペン１のペン先部１０３がホワイトボード２に最初に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つの描画ストロークとなり、文字や図形等は、１つ又は複数個の描画ストロークからなる。また、電子ペン１をペンダウンすることでペン先部１０３からホワイトボード２上に流出するインクにより、描画ストロークと略同一軌道の軌跡がホワイトボード２上に表示される。
【００３２】
バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりホワイトボード２に文字やマークを書いたりタップしたりする際にペン先部１０３からマーカーペン１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００３３】
プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、ユーザが電子ペン１でホワイトボード２に文字等を書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報と、後述するペンＩＤとを関連付けて、記入情報としてコンピュータ装置３へ送信する。また、ユーザが１つの描画ストロークを記入し終えて電子ペン１をホワイトボード２から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報とペンＩＤとを関連付けて、記入情報としてコンピュータ装置３へ送信する。
【００３４】
ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、ホワイトボード２上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がホワイトボード２に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、ドットのインク素材は、赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットによって吸収される。そのため、ドットの部分は、赤外線の反射量が比較的少なく、ドット以外の部分は赤外線の反射量が比較的多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、ドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図４（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【００３５】
プロセッサ１０８は、講師（ユーザ）の記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入する描画ストローク（筆跡）のホワイトボード２上におけるＸ，Ｙ座標（単に「位置座標」、「座標情報」とも呼ぶ）を連続的に演算していく。即ち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図４（ａ）に示されるようなドットパターンの画像データを図４（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えている。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ，Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、ホワイトボード２における６×６のドットパターンは、ホワイトボード２内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がホワイトボード２のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。
【００３６】
メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、座標属性情報（時刻情報と、筆圧データと、Ｘ、Ｙ座標データ）とを関連付けて、記入情報としてコンピュータ装置３へ送信する。通信ユニット１１１によるコンピュータ装置３への送信は、Bluetooth（登録商標）等の無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されてコンピュータ装置３に送信された１個又は複数個の記入情報（座標属性情報）は、コンピュータ装置３により描画ストローク情報として記憶される。換言すると、１つの描画ストロークは、１個又は複数個のＸ，Ｙ座標（座標点）からなり、コンピュータ装置３は、ペンダウン情報及びペンアップ情報によって、１つの描画ストロークを構成する１個又は複数個の座標属性情報を認識する。このように、ユーザの１つの描画ストロークの記入により、電子ペン１によって生成される座標属性情報の集合を「描画ストローク情報」と呼ぶ。また、ペン先部１０３は、筆圧をマーカーペン１０４を介して圧力センサ１０７に伝達する。
【００３７】
［コンピュータ装置の構成］
次に、コンピュータ装置３の構成について説明する。
コンピュータ装置３は、ハードウェアとして、電子ペン１や端末４とのデータ通信が可能な通信部、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ等の出力部、マウスやキーボード等の入力部を含むパーソナルコンピュータ等で構成される。
【００３８】
図６は、コンピュータ装置３の機能ブロック図である。コンピュータ装置３は、機能的には、入力手段３１、受信手段３２、記憶手段３３、処理手段３４、表示手段３５及び送信手段３６を備える。そして、コンピュータ装置３は、電子ペン１から受信した記入情報に基づいて所定の処理を行う。
【００３９】
入力手段３１は、マウスやキーボード等により構成され、ユーザの操作に応じた各種情報を入力して、処理手段３４に供給する。
受信手段３２は、アンテナ受信回路等により構成され、電子ペン１からの記入情報を受信すると、処理手段３４に伝送する。
送信手段３６は、認識された文字情報を各端末４に送信する。なお、端末４へのデータ送信方式は、有線であっても無線であってもよいが、本実施形態ではWi-Fiによる無線通信方式が採用されている。
表示手段３５は、ディスプレイ等によって構成され、処理手段３４によって指示された内容を画像として表示する。
【００４０】
記憶手段３３は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段３３は、処理手段３４の処理命令により、電子ペン１から受信した記入情報をペンＩＤ毎に記憶したり、認識された文字情報を記憶したりする。また、記憶手段３３は、本情報配信システム１０で使用するプログラムや辞書データベース、ホワイトボード２に形成されたドットパターンの位置座標に関する座標定義情報等を予め記憶している。
【００４１】
処理手段３４は、主に、情報取得制御手段３４１、文字認識手段３４２、表示制御手段３４３、及びデータ送信手段３４４により構成される。処理手段３４は、ユーザの電子ペン１による入力に応じて、記入情報から描画ストロークを特定して、描画ストロークに基づいて認識した文字情報に対応する、翻訳文字列を各端末４に表示させるために必要となる、各種の処理を実行する。
【００４２】
情報取得制御手段３４１は、電子ペン１から送信される記入情報を受信手段３２を介して受信し、受信した記入情報を記憶手段３３に記憶する制御を実行する。
【００４３】
文字認識手段３４２は、情報取得制御手段３４１により取得された記入情報に含まれるＸ，Ｙ座標情報に基づいて、記憶手段３３に記憶された座標定義情報を参照して描画ストロークを特定し、当該描画ストロークにより表わされる文字列を文字情報（文字コード）として認識する。文字認識手段３４２は、認識した文字情報を表示制御手段３４３及びデータ送信手段３４４に供給したり、記憶手段３３に記憶させたりする。
【００４４】
表示制御手段３４３は、文字認識手段３４２により認識された文字情報に対応する文字列を表示手段３５に表示させる制御を実行する。
【００４５】
データ送信手段３４４は、文字認識手段３４２により認識された文字情報を送信手段３６を制御して各端末４に送信する。
【００４６】
［端末の構成］
次に、端末４について説明する。端末４は、ハードウェアとして、コンピュータ装置３とのデータ通信が可能な通信部、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ等の出力部、タッチパネル等の入力部を含むスマートフォン等で構成される。
【００４７】
図７は、端末４の機能ブロック図である。端末４は、機能的には、入力手段４１、受信手段４２、記憶手段４３、処理手段４４、表示手段４５及び報知手段４６を備える。そして、端末４は、コンピュータ装置３から受信した文字情報を用いて、各種の処理を実行する。
【００４８】
入力手段４１は、いわゆるタッチパネル等により構成され、表示手段４５の表示面に聴講者（ユーザ）の指を接触させる操作に伴い、各種情報を入力し、処理手段４４に供給する。
受信手段４２は、アンテナ受信回路等により構成され、コンピュータ装置３からの文字情報を受信すると、処理手段４４に伝送する。なお、コンピュータ装置３とのデータ通信方式は、有線であっても無線であってもよいが、上述したように本実施形態ではWi-Fiによる無線通信方式が採用されている。
表示手段４５は、ディスプレイ等によって構成され、処理手段４４によって指示された内容を画像として表示する。
【００４９】
記憶手段４３は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段４３は、処理手段４４の処理命令により、コンピュータ装置３から受信した文字情報、又は、後述の翻訳手段４４３による翻訳後の文字情報を記憶する。また、記憶手段４３は、後述の翻訳手段４４３が翻訳処理を実行するために必要な翻訳データを含む翻訳辞書を記憶する。
【００５０】
処理手段４４は、主に、情報取得制御手段４４１、翻訳言語設定手段４４２、翻訳手段４４３、表示制御手段４４４、キーワード設定手段４４５、キーワード検出手段４４６、及び報知制御手段４４７により構成される。処理手段４４は、コンピュータ装置３から送信された文字情報に対応する翻訳文字列を表示手段４５に表示させるために必要となる、各種の処理を実行する。
【００５１】
情報取得制御手段４４１は、コンピュータ装置３から送信される文字情報を、受信手段４２を制御して受信し、受信した文字情報を記憶手段４３に記憶する制御を実行する。
【００５２】
翻訳言語設定手段４４２は、情報取得制御手段４４１により取得された文字情報の言語（第１言語）が後述の翻訳手段４４３により翻訳される言語（第２言語）を、設定言語として予め設定する。具体的には、翻訳開始前に、端末４を使用する聴講者（ユーザ）が、入力手段４１を操作して、所望の言語（例えば、ユーザの母国語）を指示する。翻訳言語設定手段４４２は、この入力手段４１を介したユーザからの指示にしたがって、設定言語を設定する。そして、翻訳言語設定手段４４２は、設定した設定言語の情報を記憶手段４３に記憶する。
【００５３】
翻訳手段４４３は、情報取得制御手段４４１により取得された文字情報に対応する文字列（原文）を設定言語に翻訳し、その結果得られる設定言語の翻訳文字列（訳文）の文字情報を表示制御手段４４４及びキーワード検出手段４４６へ供給する。
文字列の翻訳は、翻訳言語設定手段４４２により予め設定された設定言語に基づいて行われる。
なお、翻訳手段４４３は、情報取得制御手段４４１により取得された文字情報の言語が、設定言語と同一である場合には、取得された文字情報をそのまま表示制御手段４４４及びキーワード検出手段４４６に供給する。
【００５４】
表示制御手段４４４は、翻訳手段４４３から供給された文字情報に対応する文字列を表示手段４５に表示する制御を実行する。
即ち、情報取得制御手段４４１により設定言語以外の文字情報が取得された場合、設定言語に翻訳された翻訳文字列が表示手段４５に表示される。これに対して、情報取得制御手段４４１により設定言語と同一の言語の文字情報が取得された場合、当該文字情報に対応する文字列がそのまま表示手段４５に表示される。以降では、表示手段４５に表示される翻訳文字列に後者の場合も含むものとして説明する。
【００５５】
キーワード設定手段４４５は、翻訳手段４４３による翻訳後の翻訳文字列を検索対象として、どのようなキーワードを検索するか及び当該キーワードがヒットした場合にどのような処理を実行するかを予め設定して、記憶手段４３に記憶する。具体的には、端末４を使用するユーザ（聴講者）が、入力手段４１を操作して、所望のキーワード及び処理内容を指示する。キーワード設定手段４４５は、この入力手段４１を介したユーザからの指示にしたがって、キーワード及び処理内容を設定する。キーワード設定手段４４５により設定されるキーワードとしては、単語、句（フレーズ）、ユーザの名前、記号（☆印）等、ユーザの所望する文字列（１文字含む）であれば足りる。また、キーワードの数は、１つに限定されず、複数であっても構わない。また、キーワードに対応付ける処理内容は、ユーザからの指示によらずに、第１キーワード、第２キーワード・・・に対して予め設定されていてもよい。
【００５６】
キーワード検出手段４４６は、翻訳手段４４３による翻訳後の翻訳文字列を検索対象として、キーワード設定手段４４５により設定された１以上のキーワードの何れかにヒットするか否かを検出する。キーワード検出手段４４６は、所定のキーワードにヒットした場合、当該所定のキーワードに対応付けられた処理内容を報知制御手段４４７に通知する。
【００５７】
報知制御手段４４７は、キーワード検出手段４４６から所定のキーワードに対応付けられた処理内容が通知された場合、当該処理内容でユーザに報知する制御を実行する。
報知手段４６による報知としては、スピーカ（図示せず）による音声出力、バイブレータによる振動、ディスプレイ（表示手段４５）による画像表示等が行われる。
スピーカによる音声出力の例としては、「ピンポーン」と電子音を再生したり、キーワードが検出された旨等の所定の音声メッセージを設定言語で再生したりすることで実現可能である。
バイブレータによる振動の例としては、端末４に設定されたバイブレーション機能をオンにして、当該端末４を振動させることで実現可能である。
また、表示手段４５による画像表示の例としては、当該キーワードの文字列を線種や色を変更して表示したり、当該キーワードの文字列に下線や括弧を付加して表示したり、キーワードが検出されたことを示す所定の画像を表示させることで実現可能である。
【００５８】
［コンピュータ装置の処理フロー］
次に、図８を参照して電子ペン１を用いた情報配信システム１０によるコンピュータ装置３の処理フローについて説明する。
【００５９】
初めに、コンピュータ装置３では、情報取得制御手段３４１が受信手段３２を制御して記入情報を受信し、記憶手段３３に記憶させる（Ｓ１０１）。
具体的には、講師（ユーザ）が、ホワイトボード２に対し電子ペン１で文字等を記入すると、電子ペン１は、記入情報をコンピュータ装置３へ逐次送信する。
より具体的には、電子ペン１は、ペンダウン時には、ペンダウン情報及びペンＩＤを関連付けた記入情報を生成して、当該記入情報をコンピュータ装置３へ送信する。また、電子ペン１は、描画ストロークの記入中は、当該描画ストロークに沿って撮影したドットパターンから演算した座標情報を含む座標属性情報と、ペンＩＤとを関連付けた記入情報を連続的に繰り返し生成してコンピュータ装置３へ逐次送信する。そして、電子ペン１は、ペンアップ時には、ペンアップ情報及びペンＩＤを関連付けた記入情報を生成してコンピュータ装置３へ送信する。
情報取得制御手段３４１は、このようにして逐次送信されてくる記入情報を、受信手段３２を制御し受信して記憶手段３３に記憶させる。そして、情報取得制御手段３４１は、ペンアップ情報を含む記入情報を受信すると、１本の描画ストロークが記入終了したと判断して、文字認識手段３４２に通知する。
【００６０】
次に、文字認識手段３４２は、情報取得制御手段３４１により取得された記入情報に基づき描画ストロークを特定し、特定した描画ストロークにより表わされる文字列を文字情報として認識する（ステップＳ１０２）。
【００６１】
次に、表示制御手段３４３は、文字認識手段３４２が認識した文字情報に対応する文字列を表示手段３５に表示させる（ステップＳ１０３）。例えば、ホワイトボード２に電子ペン１で日本語の「お」「は」「よ」「う」という描画ストロークが記入されるにつれて、文字認識された日本語の「お」「は」「よ」「う」という文字列が表示手段３５に表示される。図１には、手書きの「おはよう」という描画ストロークがホワイトボード２に記入されて、文字認識された日本語の「おはよう」という文字列が表示手段３５に表示された状態が示されている。
【００６２】
また、データ送信手段３４４は、文字認識手段３４２が認識した文字情報を、逐次、送信手段３６を制御して各端末４へ送信する（ステップＳ１０４）。これにより、コンピュータ装置３で一括して実行された文字認識の結果が、各端末４で共有可能になる。この処理が終了するとコンピュータ装置３の処理が終了する。
【００６３】
［端末の処理フロー］
次に、図９を参照して電子ペン１を用いた情報配信システム１０による端末４の処理フローについて説明する。
【００６４】
端末４の処理は、翻訳言語設定手段４４２により設定言語が予め設定されていること及びキーワード設定手段４４５によりキーワードとそのキーワードに対応する処理内容とが予め設定されていることを前提として、文字情報がコンピュータ装置３から送信されてくると開始される。
即ち、講師が電子ペン１で描画ストロークをホワイトボード２に記入すると、コンピュータ装置３が、電子ペン１から逐次送信されてくる記入情報を受信する。そして、コンピュータ装置３は、記入情報に基づいて描画ストロークを特定し、当該描画ストロークにより表わされる文字列を、文字情報として認識して、各端末４に送信する。すると、各端末４において、次のような処理が実行される。
【００６５】
初めに、情報取得制御手段４４１は、受信手段４２を制御して文字情報を受信し、記憶手段４３に記憶させるとともに、翻訳手段４４３に通知する（ステップＳ２０１）。
【００６６】
次に、翻訳手段４４３は、翻訳言語設定手段４４２により設定された設定言語に基づいて、第１言語の文字列に対応する文字情報を翻訳し（ステップＳ２０２）、その結果得られる設定言語の翻訳文字列の文字情報を表示制御手段４４４及びキーワード検出手段４４６に供給する。翻訳処理にあたり、翻訳手段４４３は、情報取得制御手段４４１により取得された文字情報を逐次翻訳するが、句読点や時間間隔等に基づいて区切りを認識するまでは、文字情報の蓄積にあわせて文字列の頭から繰り返し翻訳をし直す。
【００６７】
次に、表示制御手段４４４は、翻訳手段４４３から供給された文字情報に対応する設定言語の翻訳文字列を表示手段４５に表示させる（ステップＳ２０３）。
また、キーワード検出手段４４６は、翻訳手段４４３によって翻訳された翻訳文字列の中に、キーワード設定手段４４５により予め設定されたキーワードが含まれているか否かを検出して、キーワード検出結果を出力する。即ちここではキーワードが検出されたか否かを判断する（ステップＳ２０４）。
【００６８】
翻訳文字列の中にキーワードが包含されていない場合には、キーワード検出手段４４６は、キーワードが検出されなかったと判断する（ステップＳ２０４：ＮＯ）。この場合、端末４の処理は終了する。
【００６９】
これに対して、翻訳された文字の中にキーワード設定手段４４５により設定した文字が含まれている場合には、キーワード検出手段４４６は、キーワードが検出されたと判断する（ステップＳ２０４：ＹＥＳ）。この場合、キーワード検出手段４４６は、検出したキーワードに対応する処理内容を、報知制御手段４４７に通知する。
すると、報知制御手段４４７は、通知された処理内容に応じて報知手段４６を制御して、設定したキーワードが含まれていることをユーザに報知する（ステップＳ２０５）。
【００７０】
このように、キーワードが検出されて（ステップＳ２０４：ＹＥＳ）、ステップＳ２０５の処理が実行されることで、翻訳文字列が端末４に単に表示されるのみならず、端末４を使用するユーザに対して、興味をひくキーワードが講師によって記入されたことを報知することができる。各端末４を使用するユーザ自身の名前をキーワードとして設定すると、講師がマイク等を使用せずに、あるユーザを指名する方法として利用できる。すなわち、講師は、電子ペン１でユーザの名前を記入することによって、該当するユーザが使用する端末４からそのユーザに報知させることができる。また、名前とその役割分担等をホワイトボード２に記入したときにも、名前が記入されたユーザに、端末４によって注意喚起することもできる。
具体的には、各端末４を使用するユーザは、入力手段４１を操作することで、所望のキーワードの設定を指示することができる。設定可能なキーワードは特に限定されないため、ユーザは、自身にとって興味のある分野の単語やフレーズ等をキーワードとして設定することができる。このような指示を受けて、当該キーワードがキーワード設定手段４４５により設定された状態で、講師が、電子ペン１で当該キーワードの原文をホワイトボード２に記入した場合には、翻訳手段４４３により設定言語に翻訳されたキーワードがキーワード検出手段４４６により検出される。そして、キーワードが検出された旨が報知制御手段４４７の制御の下、報知手段４６を構成する、スピーカ、バイブレータ、ディスプレイ等により報知される。
【００７１】
［本実施形態による作用効果］
以上説明したように本実施形態によれば、情報配信システム１０は、コンピュータ装置３から端末４へ、電子ペン１でホワイトボード２に記入されたストロークにより構成される文字に関する情報を配信する。
コンピュータ装置３においては、文字認識手段３４２により、電子ペンで生成されたストローク情報により表わされる第１言語の文字列が、文字情報として文字認識され、文字認識手段３４２により認識された文字情報が、送信手段３６によって端末４へ送信される。
端末４は、コンピュータ装置３から送信された文字情報を受信手段４２によって受信し、受信手段４２によって受信された文字情報により表わされる第１言語の文字列を、翻訳手段４４３によって第２言語の文字列に翻訳する翻訳し、翻訳手段４４３により第２言語に翻訳された文字列を表示制御手段が表示手段に表示させる。
このように、電子ペン１により記入されたストロークにより表わされる第１言語の文字列を、文字情報としてコンピュータ装置のプロセッサにより一括して認識することができるため、従来は各端末で行っていた重複した処理を解消し、システム全体にかかる処理負担の軽減を行うことができる。
また、各端末４において、コンピュータ装置３により一括して行われた文字の認識結果に基づいて、各端末においてそれぞれ翻訳を行うことができるため、各端末４において必要であるか否か不確定の言語にまで予めコンピュータ装置３において翻訳しておく必要がなく、翻訳にかかる処理負担の軽減を図ることができる。
【００７２】
［変形例］
なお、本考案は、上記実施形態に限られない。
例えば、端末４のキーワード検出手段４４６は、翻訳手段４４３から出力された翻訳文字列を検索対象として、キーワードが含まれるか否かを検出しているが、検索対象はこれに限られない。
例えば、キーワード検出手段４４６は、コンピュータ装置３のデータ送信手段３４４により送信された文字情報、即ち、翻訳前の言語の文字列を検索対象としてもよい。この場合、キーワード設定手段４４５は、翻訳前の言語でキーワードを設定する。講師側が聴講者に強調したいキーワードを設定する使い方をする場合に好適である。
【００７３】
また、上記実施形態では、端末４は、翻訳言語設定手段４４２によって設定言語（第２言語）を設定しているが、予め各端末４に、第２言語を設定しておいてもよい。この場合、設定する第２言語用の辞書データベースのセットのみで各端末４をセットアップすればよく、端末４のメモリを節約できる。
【００７４】
また、上記実施形態では、電子ペン１を用いる対象は、ホワイトボード２とされたが、特にこれに限られず、アノト式のドットパターンが印刷された任意の書き込み媒体であればよい。
【００７５】
また、上記実施形態では、コンピュータ装置３から端末４に送信される文字情報は、１文字単位の情報とされたが、特にこれに限られず、数文字の情報であってもよいし、文字列や文章単位の情報であってもよい。
【００７６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００７７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００７８】
１…電子ペン
２…ホワイトボード
３…コンピュータ装置
４…端末
１０…情報配信システム
３１…入力手段
３２…受信手段
３３…記憶手段
３４…処理手段
３５…表示手段
３６…送信手段
３４１…情報取得制御手段
３４２…文字認識手段
３４３…表示制御手段
３４４…データ送信手段
４１…入力手段
４２…受信手段
４３…記憶手段
４４…処理手段
４５…表示手段
４６…報知手段
４４１…情報取得制御手段
４４２…翻訳言語設定手段
４４３…翻訳手段
４４４…表示制御手段
４４５…キーワード設定手段
４４６…キーワード検出手段
４４７…報知制御手段
【図１】
0003169046.tif 000003
【図２】
0003169046.tif 000004
【図３】
0003169046.tif 000005
【図４】
0003169046.tif 000006
【図５】
0003169046.tif 000007
【図６】
0003169046.tif 000008
【図７】
0003169046.tif 000009
【図８】
0003169046.tif 000010
【図９】
0003169046.tif 000011