(57)【要約】【課題】失読症などのユーザーが会議資料などに記載された文章を簡単に理解できるようにする。【解決手段】画像処理装置１は、文書の文字領域に含まれる文字列を抽出する文字列抽出部１１と、文字列に含まれる文字を先頭から順に抽出する文字抽出部１２と、文字抽出部１２により抽出された文字の筆順に関する筆順情報に基づき当該文字の筆順を示す動画像を生成する動画像生成部１３と、動画像生成部１３により生成される動画像に基づき、文字抽出部１２による抽出順に従って一文字ずつ筆順を表示させるための文字列動画像を生成する文字列動画像生成部１４と、を備える構成である。【選択図】図１
2015225506.tif 000002
【特許請求の範囲】
【請求項１】
文書の文字領域に含まれる文字列を抽出する文字列抽出手段と、
前記文字列に含まれる文字を先頭から順に抽出する文字抽出手段と、
前記文字抽出手段により抽出された文字の筆順に関する筆順情報に基づき当該文字の筆順を示す動画像を生成する動画像生成手段と、
前記動画像生成手段により生成される動画像に基づき、前記文字抽出手段による抽出順に従って一文字ずつ筆順を表示させるための文字列動画像を生成する文字列動画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ所定の表示手段に表示させる表示制御手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記文字列抽出手段により抽出された文字列を解析することにより前記文字列の所定の位置に区切りを設ける区切り設定手段、
をさらに備え、
前記表示制御手段は、前記文字列動画像に基づいて筆順を一文字ずつ表示しているとき、前記区切り設定手段によって設定された区切り位置で再生動作を一時停止させることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記文字列動画像の再生に関する再生情報を取得する再生情報取得手段、
をさらに備え、
前記表示制御手段は、前記再生情報に基づいて筆順を一文字ずつ前記表示手段に表示させることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記再生情報には、文字種類ごとに再生速度が設定されており、
前記表示制御手段は、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させるとき、前記再生情報に設定された文字種類ごとの再生速度に基づいて再生速度を調整することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
ユーザーが操作入力可能な入力手段と、
前記入力手段により入力される情報に基づいて前記再生情報を更新する更新手段と、
をさらに備えることを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
ユーザーが操作入力可能な入力手段と、
前記入力手段により入力される情報に基づいて前記筆順情報を更新する更新手段と、
をさらに備えることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項８】
コンピュータを、
文書の文字領域に含まれる文字列を抽出する文字列抽出手段、
前記文字列に含まれる文字を先頭から順に抽出する文字抽出手段、
前記文字抽出手段により抽出された文字の筆順に関する筆順情報に基づき当該文字の筆順を示す動画像を生成する動画像生成手段、及び、
前記動画像生成手段により生成される動画像に基づき、前記文字抽出手段による抽出順に従って一文字ずつ筆順を表示させるための文字列動画像を生成する文字列動画像生成手段、
として機能させることを特徴とするプログラム。
【請求項９】
前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ所定の表示手段に表示させる表示制御手段としてさらに機能させることを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記文字列抽出手段により抽出された文字列を解析することにより前記文字列の所定の位置に区切りを設ける区切り設定手段、
としてさらに機能させ、
前記表示制御手段は、前記文字列動画像に基づいて筆順を一文字ずつ表示しているとき、前記区切り設定手段によって設定された区切り位置で再生動作を一時停止させることを特徴とする請求項９に記載のプログラム。
【請求項１１】
前記文字列動画像の再生に関する再生情報を取得する再生情報取得手段、
としてさらに機能させ、
前記表示制御手段は、前記再生情報に基づいて筆順を一文字ずつ前記表示手段に表示させることを特徴とする請求項９又は１０に記載のプログラム。
【請求項１２】
前記再生情報には、文字種類ごとに再生速度が設定されており、
前記表示制御手段は、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させるとき、前記再生情報に設定された文字種類ごとの再生速度に基づいて再生速度を調整することを特徴とする請求項１１に記載のプログラム。
【請求項１３】
所定の入力手段により入力される情報に基づいて前記再生情報を更新する更新手段、
としてさらに機能させることを特徴とする請求項１１又は１２に記載のプログラム。
【請求項１４】
所定の入力手段により入力される情報に基づいて前記筆順情報を更新する更新手段、
としてさらに機能させることを特徴とする請求項８乃至１３のいずれかに記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像等の画像処理を行うための画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、文字の筆順を学習するなどの目的から、文字を筆順どおりに動画にて表示する文字練習システムが提案されている（例えば、特許文献１）。また、入力された文字を一文字ずつ筆順を示す動画像でスクリーンに表示するネットワークスクリーンシステムも提案されている（例えば、特許文献２）。
【０００３】
ところで、失読症などのように、文字自体は脳に記憶されているにもかかわらず文字の読解が困難となる症例が存在することが知られている。文字の読解が困難な場合、通常、音声出力により文字情報を受け取って認識するという方法が採られる。しかし、例えば会議などのように口頭での説明を聞く必要がある場面においては、音声により文字情報を認識するという方法を採ると、口頭での説明を聞きながら資料の文字情報を音声により認識しなければならず、いずれかの情報を聞き漏らすおそれがある。また会議中に音声出力を行うと、会議の進行を妨げるおそれもある。
【０００４】
失読症の場合、文字を筆順どおり動画像にて表示すると、筆順に基づいてその文字を理解することができる場合がある。すなわち、筆順を示す動画像を見、その筆順どおりの文字を記憶していた場合には筆順から当該文字を想起することができるため、当該文字を理解することができるのである。そこで、会議における資料等について、文字を筆順どおりの動画像で表示することが考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８０９００号公報
【特許文献２】特開２００７−１８７９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１及び２の従来技術はいずれも一文字ずつ入力を受け付け、入力された一文字につき筆順を示す動画像を表示するものである。これに対して会議等における資料は、通常は複数の文字を含む文章が記載されているものである。そうすると、特許文献１及び２の従来技術を適用すると、資料中の文章を構成する複数の文字を一文字ずつ入力して動画像を表示させなければならず、作業が煩雑であり、会議に集中することができなくなる。
【０００７】
そこで本発明は、上記問題点を解決すべくなされたものであり、失読症などのユーザーが例えば会議中においても資料などに記載された文章を簡単に理解できるようにした画像処理装置及びプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に係る発明は、画像処理装置であって、文書の文字領域に含まれる文字列を抽出する文字列抽出手段と、前記文字列に含まれる文字を先頭から順に抽出する文字抽出手段と、前記文字抽出手段により抽出された文字の筆順に関する筆順情報に基づき当該文字の筆順を示す動画像を生成する動画像生成手段と、前記動画像生成手段により生成される動画像に基づき、前記文字抽出手段による抽出順に従って一文字ずつ筆順を表示させるための文字列動画像を生成する文字列動画像生成手段と、を備えることを特徴とする構成である。
【０００９】
請求項２に係る発明は、請求項１に記載の画像処理装置において、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ所定の表示手段に表示させる表示制御手段をさらに備えることを特徴とする構成である。
【００１０】
請求項３に係る発明は、請求項２に記載の画像処理装置において、前記文字列抽出手段により抽出された文字列を解析することにより前記文字列の所定の位置に区切りを設ける区切り設定手段、をさらに備え、前記表示制御手段は、前記文字列動画像に基づいて筆順を一文字ずつ表示しているとき、前記区切り設定手段によって設定された区切り位置で再生動作を一時停止させることを特徴とする構成である。
【００１１】
請求項４に係る発明は、請求項２又は３に記載の画像処理装置において、前記文字列動画像の再生に関する再生情報を取得する再生情報取得手段、をさらに備え、前記表示制御手段は、前記再生情報に基づいて筆順を一文字ずつ前記表示手段に表示させることを特徴とする構成である。
【００１２】
請求項５に係る発明は、請求項４に記載の画像処理装置において、前記再生情報には、文字種類ごとに再生速度が設定されており、前記表示制御手段は、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させるとき、前記再生情報に設定された文字種類ごとの再生速度に基づいて再生速度を調整することを特徴とする構成である。
【００１３】
請求項６に係る発明は、請求項４又は５に記載の画像処理装置において、ユーザーが操作入力可能な入力手段と、前記入力手段により入力される情報に基づいて前記再生情報を更新する更新手段と、をさらに備えることを特徴とする構成である。
【００１４】
請求項７に係る発明は、請求項１乃至５のいずれかに記載の画像処理装置において、ユーザーが操作入力可能な入力手段と、前記入力手段により入力される情報に基づいて前記筆順情報を更新する更新手段と、をさらに備えることを特徴とする構成である。
【００１５】
請求項８に係る発明は、プログラムであって、コンピュータを、文書の文字領域に含まれる文字列を抽出する文字列抽出手段、前記文字列に含まれる文字を先頭から順に抽出する文字抽出手段、前記文字抽出手段により抽出された文字の筆順に関する筆順情報に基づき当該文字の筆順を示す動画像を生成する動画像生成手段、及び、前記動画像生成手段により生成される動画像に基づき、前記文字抽出手段による抽出順に従って一文字ずつ筆順を表示させるための文字列動画像を生成する文字列動画像生成手段、として機能させることを特徴とする構成である。
【００１６】
請求項９に係る発明は、請求項８に記載のプログラムにおいて、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ所定の表示手段に表示させる表示制御手段としてさらに機能させることを特徴とする構成である。
【００１７】
請求項１０に係る発明は、請求項９に記載のプログラムにおいて、前記文字列抽出手段により抽出された文字列を解析することにより前記文字列の所定の位置に区切りを設ける区切り設定手段、としてさらに機能させ、前記表示制御手段は、前記文字列動画像に基づいて筆順を一文字ずつ表示しているとき、前記区切り設定手段によって設定された区切り位置で再生動作を一時停止させることを特徴とする構成である。
【００１８】
請求項１１に係る発明は、請求項９又は１０に記載のプログラムにおいて、前記文字列動画像の再生に関する再生情報を取得する再生情報取得手段、としてさらに機能させ、前記表示制御手段は、前記再生情報に基づいて筆順を一文字ずつ前記表示手段に表示させることを特徴とする構成である。
【００１９】
請求項１２に係る発明は、請求項１１に記載のプログラムにおいて、前記再生情報には、文字種類ごとに再生速度が設定されており、前記表示制御手段は、前記文字列動画像に基づいて前記文字列に含まれる文字の筆順を一文字ずつ前記表示手段に表示させるとき、前記再生情報に設定された文字種類ごとの再生速度に基づいて再生速度を調整することを特徴とする構成である。
【００２０】
請求項１３に係る発明は、請求項１１又は１２に記載のプログラムにおいて、所定の入力手段により入力される情報に基づいて前記再生情報を更新する更新手段、としてさらに機能させることを特徴とする構成である。
【００２１】
請求項１４に係る発明は、請求項８乃至１３のいずれかに記載のプログラムにおいて、所定の入力手段により入力される情報に基づいて前記筆順情報を更新する更新手段、としてさらに機能させることを特徴とする構成である。
【発明の効果】
【００２２】
本発明によれば、文書に含まれる文字列の先頭から順に一文字ずつ筆順を表示させるための文字列動画像が生成される。そのため、文字列動画像を表示すれば、失読症などのユーザーが会議資料などに記載された文章を容易に理解することができるようになる。
【図面の簡単な説明】
【００２３】
【図１】画像処理機能を有するコンピュータＣＰＵで実現される機能ブロックの一例を示す図である。
【図２】再生情報の一例を示す図である。
【図３】（ａ）は抽出された文字列の一例を示す図である。（ｂ）は抽出された文字の一例を示す図である。
【図４】（ａ）は文書の一例を示す図であり、（ｂ）は文字列動画像が再生可能な文書画面の一例を示す図である。
【図５】動画像の表示態様の一例を示す図である。
【図６】動画像が表示される領域の一例を示す図である。
【図７】再生情報更新画面の一例を示す図である。
【図８】筆順情報更新画面の一例を示す図である。
【図９】画像処理に関する処理手順の一例を示すフローチャートである。
【図１０】文字列抽出処理の処理手順の一例を示すフローチャートである。
【図１１】文字抽出処理の処理手順の一例を示すフローチャートである。
【図１２】動画像生成処理の処理手順の一例を示すフローチャートである。
【図１３】文字列動画像生成処理の処理手順の一例を示すフローチャートである。
【図１４】文字列動画像表示処理の処理手順の一例を示すフローチャートである。
【図１５】更新処理の処理手順の一例を示すフローチャートである。
【図１６】サンプルテスト処理画面の表示態様の一例を示す図である。
【図１７】サンプルテスト処理の処理手順の一例を示すフローチャートである。
【図１８】画像処理装置とコンピュータを用いた全体構成図の一例を示す図である。
【図１９】画像処理装置とコンピュータのＣＰＵで実現される機能ブロックの一例を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。
【００２５】
（第１実施形態）
図１は、本発明の一実施形態に関する画像処理装置１の機能構成の一例を示すブロック図である。画像処理装置１は、例えば一般的なパーソナルコンピュータ（ＰＣ）やタブレット端末などによって構成される。この画像処理装置１は、ＣＰＵ２と記憶部３と表示部４と操作部５とを備えている。ＣＰＵ２は、画像処理装置１に予めインストールされた各種プログラムを実行するものである。記憶部３は、例えばハードディスクドライブなどによって構成される不揮発性の記憶手段であり、各種プログラムや情報などを記憶する。表示部４は、カラー液晶ディスプレイなどによって構成される表示手段である。操作部５は、例えばキーボードやマウス、キーパッド、タッチパッドなどによって構成され、ユーザーが操作入力可能な入力手段である。この画像処理装置１は、記憶部３に予めインストールされているプログラム２０を実行することにより、文書データに含まれる文字列を抽出し、更にその文字列を構成する文字を一文字ずつ抽出して各文字の筆順を示す動画像を文字列の先頭から順に表示することができるように構成される。また記憶部３には、プログラム２０のインストールに伴い、辞書情報２１、筆順情報２２及び再生情報２３が予め記憶される。これらの情報２１，２２，２３は、ＣＰＵ２においてプログラム２０が起動することに伴い、ＣＰＵ２によって参照される情報である。
【００２６】
ＣＰＵ２は、プログラム２０を実行することにより、文字列抽出部１１、文字抽出部１２、動画像生成部１３、文字列動画像生成部１４、表示制御部１５、区切り設定部１６及び更新部１７として機能する。このプログラム２０は、画像処理装置１において実行されることにより、文字列に含まれる個々の文字の筆順を示す動画像を一連の文字列の順番に従って順次表示させる文字列動画像を生成させるプログラムである。このプログラム２０は、単独で機能するプログラムであってもよいし、他のドキュメント編集機能や表示機能を有するプログラムに組み込まれて動画像を生成する機能を追加するアドインソフトであってもよい。
【００２７】
辞書情報２１は、文法に基づく品詞情報を含むものであり、例えば名詞、形容詞、動詞、副詞、接続詞、助詞、助動詞などの品詞ごとに単語が登録された情報である。さらに、辞書情報２１は、品詞情報に加えて単語の意味などの情報を含んでいてもよい。
【００２８】
筆順情報２２は、文字ごとの筆順が登録された情報である。この筆順情報２２には、漢字やひらがな、カタカナ、アルファベットなど、多数の文字について第一画から最終画までの各字画の始点、軌跡、終点が登録されている。初期設定における筆順情報２２は、各文字について正確な筆順が予め登録されている。ただし、ユーザーが操作部５を介して文字を指定して筆順を入力したときには、その指定された文字の筆順をユーザーによって入力された筆順に更新することが可能である。
【００２９】
再生情報２３は、文書データに含まれる文字列に基づいて生成された文字列動画像を再生して表示する際に参照される情報である。図２は、この再生情報２３の一例を示す図である。例えば図２（ａ）に示す再生情報２３は、再生速度情報２３ａ、カラー情報２３ｂ、サイズ情報２３ｃ等により構成される。再生速度情報２３ａは、文字列動画像の再生速度を定義した情報であり、初期状態においては標準的な再生速度が予め設定されている。カラー情報２３ｂは、文字列動画像の再生時に表示する色を定義した情報であり、初期状態においては例えば黒が設定されている。サイズ情報２３ｃは、文字列動画像を再生する際に表示部４に表示する表示領域のサイズを定義した情報であり、初期状態においては標準的なサイズが予め設定されている。これら再生速度情報２３ａ、カラー情報２３ｂ及びサイズ情報２３ｃは、いずれもユーザーが操作部５を介して適宜変更することが可能である。図２（ｂ）は、図２（ａ）とは異なる再生情報２３の例を示している。図２（ｂ）に示す再生情報２３は、再生速度情報２３ａが、漢字やひらがな、アルファベットなどの文字種類ごとに登録されている。したがって、この再生情報２３では、文字種類ごとに異なる再生速度を設定することが可能である。また文字列動画像を再生して表示する際には、文字列に含まれる句読点の位置など所定の区切り位置において文字列動画像の再生を一時的に停止させることが可能である。図２（ｂ）に示す再生情報２３は、そのような区切り位置での一時停止機能のオンオフが設定可能となっており、区切り設定情報２３ｄに予めオンオフが登録される。
【００３０】
なお、本実施形態では、辞書情報２１、筆順情報２２及び再生情報２３が画像処理装置１に設けられた記憶部３に記憶される場合を例示するが、本発明はこれに限られるものではなく、これらの情報２１，２２，２３は画像処理装置１の外部のサーバーに記憶されていてもよく、或いはその他の記憶媒体に記憶されていてもよい。
【００３１】
ＣＰＵ２は、ユーザーによるプログラム２０の起動指示を検知すると、記憶部３からプログラム２０を読み出して実行し、上述したように文字列抽出部１１、文字抽出部１２、動画像生成部１３、文字列動画像生成部１４、表示制御部１５、区切り設定部１６及び更新部１７として機能する。
【００３２】
文字列抽出部１１は、ユーザーによって指定された文書データを取得し、その文書データから文字列を抽出して当該文字列を構成する文字を識別し、また、文字列の属性情報を取得して当該文字列の順番、すなわち文字列を読む順番を識別する処理部である。処理対象となる文書データは、テキストデータを含むものであってもよいし、テキストデータを含まず画像データのみからなるものであってもよい。例えば、ドキュメント編集機能を有するプログラムによって生成された文書データであれば、その文書データにテキストデータが含まれるため、文字列抽出部１１は、文書データに含まれるテキストデータに基づいて文字列を抽出する。また文書データがスキャン機能などによって読み込まれたものであれば、文書データはテキストデータを含まない画像データとなる。この場合、文字列抽出部１１は、ＯＣＲ（optical character recognition）などの文字認識処理を行うことにより、画像データからテキストデータを検出する。文字列抽出部１１は、文書データから一連のテキストデータを検出すると、それを文字列として抽出し、その文字列を構成する個々の文字を識別する。また文字列抽出部１１は文字列の属性情報を取得することにより、例えば文字列が縦書きであるのか横書きであるのか等を識別し、文字列の先頭文字と、各文字の順番を把握する。例えば文書データにテキストデータが含まれる場合、文字列抽出部１１は、そのテキストデータの属性情報に基づいて文字列の先頭文字を特定する。また文書データがテキストデータを含まない画像データであった場合、文字列抽出部１１は、文字認識処理によって検出される文字領域の分布状態に基づき属性情報を生成し、その属性情報に基づいて文字列の先頭文字を特定する。したがって、文字列抽出部１１の処理によって、文書データに含まれる一連の文字列が抽出されると共に、その文字列の先頭文字や文字の配列順序が特定され、更に文字列に含まれる各文字がコード化される。文字列抽出部１１は、文書データから文字列を抽出すると、その文字列を文字抽出部１２及び区切り設定部１６に対して出力する。
【００３３】
区切り設定部１６は、文字列抽出部１１によって抽出された文字列を解析し、文字列中の区切り位置を検出する処理部である。区切り設定部１６は、例えば文字列中に句読点が含まれる場合、その句読点の位置に区切りを設定する。ただし、これに限らず、区切り設定部１６は、辞書情報２１を参照して文字列を解析し、文字列に含まれる主語の直後の位置などを区切りとして検出し、その検出位置に区切りを設定するようにしても良い。区切り設定部１６によって区切りが設定されると、文字列抽出部１１によって抽出された文字列に区切り情報が付加される。この区切り情報は、文字列中のどの文字に区切りがあるかを示す情報である。
【００３４】
また区切り設定部１６は、文字列を解析し、文字列に含まれる個々の文字の文字種類を判別し、文字列に対して個々の文字の文字種類を示す文字種類情報を付加する。ただし、文字列に含まれる全ての文字に対して文字種類情報を付加する必要はなく、例えば文字列の順に文字種類が変化する位置に次の文字の文字種類を示す文字種類情報を付加するようにしても良い。このように区切り設定部１６は、文字種類判別手段としても機能する。そして区切り設定部１６は、区切り情報及び文字種類情報を付加した文字列情報を文字列動画像生成部１４に出力する。尚、文字種類判別手段は、区切り設定部１６とは別に機能するものであってもよい。
【００３５】
一方、文字抽出部１２は、文字列抽出部１１により抽出された文字列を取得すると、その文字列を構成する文字を先頭から順に一文字ずつ抽出する。例えば、図３（ａ）に示すように抽出された文字列Ｃ１を、文字列の順番に従い、先頭から一文字ずつ抽出する。このとき、図３（ｂ）に示すように文字列から順に抽出した個々の文字Ｃ１ａ〜Ｃ１ｋに対して、抽出順番を示す番号を付加してもよい。
【００３６】
動画像生成部１３は、文字抽出部１２により一文字ずつ抽出される文字の筆順を示す動画像を生成する処理部である。文字抽出部１２により文字列を構成する文字が一文字抽出されると、動画像生成部１３は、筆順情報２２を読み出してその文字に対応する筆順を抽出し、その筆順に基づいて当該文字の筆順を示す動画像を生成する。例えば、動画像生成部１３は、筆順情報２２に登録されている一画目の始点位置を特定し、その始点位置から登録されている軌跡に沿って終点位置までを描画する動画を生成する。一画目の描画が終了すると、二画目以降についても同様の処理を行うことにより、最終画までの描画を行う動画を生成する。そして最後には動画像生成対象となった文字の描画が完了し、当該文字の全体像が表示される動画像が生成される。ただし、動画像の生成態様には幾つかの態様があり、白紙状態の描画領域に対して一画ずつ追加描画していくことにより上記のように最終的に文字の全体像が表示される態様の動画像を生成しても良いし、また一画の描画が終了する度にその描画線を消去してから次の描画線を白紙状態の描画領域に描いていく態様の動画像を生成しても良い。前者の態様の場合には、現在描画中の線画を既に描画が終了した線画とは異なる表示態様（例えば太線表示やハイライト表示）とし、筆順をよりわかりやすくした動画像を生成してもよい。
【００３７】
また動画像生成部１３は、文字抽出部１２により抽出された文字の筆順を示す動画像を生成する際、予め指定されたフォント（書体）で一画ずつ描画を行っていく動画像を生成する。例えば、上述した筆順情報２２には、１つの文字について複数のフォントの筆順（一画ごとの始点、軌跡、終点など）が登録されており、動画像生成部１３は、動画像生成対象文字の筆順を筆順情報２２から抽出するとき、複数のフォントの中から予め指定されたフォントの筆順を抽出し、そのフォントの筆順に基づいて動画像を生成する。ユーザーは、複数のフォントのうちから動画像生成時に用いるフォントを予め指定しておくことにより、自身にとって理解し易いフォントで動画像が生成されるようにカスタマイズしておくことができる。
【００３８】
動画像生成部１３は、上記のような動作を文字抽出部１２によって文字が１つ抽出される度に繰り返し行うことにより、文字列に含まれる１つ１つの文字について筆順を示す動画像を生成する。
【００３９】
文字列動画像生成部１４は、動画像生成部１３により生成される１つ１つの文字の動画像に基づき、文字抽出部１２による文字の抽出順序に従って一文字ずつ筆順を表示させるための文字列動画像を生成する処理部である。この文字列動画像生成部１４は、文字列に含まれる１つ１つの動画像を文字列の順番に従って組み合わせることにより、その文字列に含まれる全ての文字の筆順を先頭文字から順に一文字ずつ表示させることが可能な一連の動画像として文字列動画像を生成する。このとき、文字列動画像生成部１４は、区切り設定部１６から出力される文字列情報に付加された区切り情報に基づき、一連の動画像として生成される文字列動画像に対して区切り情報を付加する。このような区切り情報は、例えば区切り設定部１６によって区切りが設定された文字に対応する筆順を示す動画像の最後のフレームに付加される。これにより、例えば文字列に句読点が含まれていれば、文字列動画像においてその句読点の動画像の最終フレームの位置に区切り情報を付加することができる。また文字列動画像生成部１４は、区切り設定部１６から出力される文字列情報に付加された文字種類情報に基づき、一連の動画像として生成される文字列動画像に対して文字種類情報を付加する。このような文字種類情報は、例えば区切り設定部１６によってそれ以前とは文字種類が異なる文字に対応する筆順を示す動画像の最初のフレームに付加される。これにより、例えば文字列に漢字が含まれていれば、その漢字の筆順を示す動画像の表示開始タイミングを特定することができるようになる。
【００４０】
このように文字列動画像生成部１４は、文字列抽出部１１によって抽出される文字列ごとに文字列動画像を生成する。そのため、文字列抽出部１１によって文書データから複数の文字列が抽出された場合、文字列動画像生成部１４は、それら複数の文字列のそれぞれにつき、一連の文字列動画像を生成する。そのような場合、文字列動画像生成部１４によって生成される複数の文字列動画像が文書データに含まれるどの部分の文字列に対応する動画像であるかを特定できるようにしておくことが好ましい。そのため、文字列動画像生成部１４は、文字列動画像を生成すると、その文字列動画像が文書データのどの部分の文字列に対応するものであるかを示す付属情報を生成し、その付属情報を文字列動画像に付加しておくことが好ましい。そして文字列動画像生成部１４は、文字列動画像を生成すると、その文字列動画像を元の文書データと関連付けて記憶部３に保存する。
【００４１】
尚、会議資料の場合には、上述した文字列抽出部１１、区切り設定部１６、文字抽出部１２、動画像生成部１３及び文字列動画像生成部１４を会議の前に機能させて会議資料に含まれる文字列の文字列動画像を予め生成しておくことにより、会議開始時には、予め生成した文字列動画像を読み出して速やかに動画再生を行うことができるため、効率的である。
【００４２】
次に表示制御部１５は、ユーザーによる文字列動画像の再生指示に基づき、ユーザーによって指定された文字列の文字列動画像を読み出して再生し、文字列に含まれる文字の筆順を文字列の先頭から順に一文字ずつ表示部４に表示させる処理部である。このとき、表示制御部１５は、再生情報２３を読み出し、その再生情報２３に基づいて文字列動画像を表示するときの再生速度、表示色、表示サイズなどを設定し、文字列に含まれる文字の筆順を一文字ずつ表示する。これにより、文字列の先頭から順に一文字ずつ筆順が動画像にて表示されるため、例えば失読症のユーザーに対し、文字列を構成する各文字を先頭から順に一文字ずつ読ませることができる。それ故、会議中等においても、失読症のユーザーは、他のユーザーによる口頭での発表や説明の内容と共に、資料に記載された内容も理解することが可能となる。
【００４３】
例えば再生情報２３において図２（ｂ）に示すように文字種類ごとに再生速度が設定されている場合、表示制御部１５は、文字列動画像に付加されている文字種類情報に基づき、文字種類ごとに再生速度を変更しながら筆順を示す動画像を表示する。したがって、ユーザーは、文字種類ごとに予め自身が理解しやすい再生速度を再生情報２３に登録しておくことにより、会議中は資料に記載された内容をスムーズに理解することができるようになる。
【００４４】
また再生情報２３における区切り設定情報２３ｄがオンに設定されている場合、表示制御部１５は、文字列動画像に付加されている区切り情報に基づき、文字列動画像の再生を一時停止させる。例えば文字列動画像の再生中に表示部４に出力したフレームに区切り情報が付加されていれば、表示制御部１５は、そのタイミングで文字列動画像の再生を自動的に一時停止させ、その後所定時間が経過することにより、次のフレームからの再生を再開する。これにより、文字列動画像を見る者が、文字列に区切りがあることを認識することができるため、区切りごとに意味を理解することが可能となる。尚、一時停止させる際の停止時間をユーザーが適宜調整できるようにしても良い。
【００４５】
一方、更新部１７は、筆順情報２２や再生情報２３をユーザーによって入力される情報に基づいて更新する処理部である。例えば、表示制御部１５が文字列動画像を表示しているとき、ユーザーによって理解不能であることを示す入力操作が行われると、表示制御部１５は、その入力操作に基づいて更新フラグをセットすると共に、現在筆順を表示中である文字を特定しておく。更新部１７は、表示制御部１５による文字列動画像の表示終了後に更新フラグがセットされていれば機能し、ユーザーによる更新操作を受け付けて筆順情報２２や再生情報２３を更新する処理を行う。特に筆順情報２２を更新するときには、表示制御部１５によって文字列動画像の再生中に特定された文字の筆順をユーザーによって入力される筆順に変更し、筆順情報２２を更新する。すなわち、更新部１７は、表示部４に対して筆順情報２２や再生情報２３を更新するための更新画面を表示し、ユーザーが操作部５に対して入力する情報に基づき、筆順情報２２や再生情報２３を更新する。
【００４６】
例えば文字列動画像の再生速度が速すぎて文字を理解することができなかった場合、ユーザーは、再生情報２３に登録されている再生速度情報２３ａを変更して再生速度を遅くすることができる。このとき、ユーザーは、文字種類ごとに再生速度を変更することができる。また文字を理解することはできたが、再生速度が遅すぎて会議の進行についていけないようなときには、再生速度を速くすることもできる。また文字列動画像によって筆順が表示されるときの色が判りにくかった場合、ユーザーは、再生情報２３に登録されているカラー情報２３ｂを変更して別の色で再生表示が行われるように設定変更することができる。さらに文字列動画像の表示サイズが小さすぎて文字を理解することができなかった場合、ユーザーは、再生情報２３に登録されているサイズ情報２３ｃを変更して表示サイズを大きくすることができる。更新部１７は、上記のようなユーザーの変更操作に基づいて再生情報２３を更新することにより、ユーザーにとって文字が理解し易くなる態様で文字列動画像の再生が行われるように再生情報２３をカスタマイズする。これにより、ユーザーは文字列動画像を理解し易い態様で再生させることが可能となり、文字列の内容をより確実に理解することが可能となる。
【００４７】
またユーザーにとっては、文字列動画像の再生速度や表示色、表示サイズが原因で文字を理解しにくいのではなく、表示される筆順そのものが理解できずに文字を認識することができないケースもある。例えば失読症のユーザーがある文字の筆順を誤って記憶している場合、文字列動画像として表示される正しい筆順ではその文字を認識することができない。このような場合、ユーザーは、操作部５を操作することにより、筆順情報２２に登録されている筆順を自身が記憶している筆順に変更することができる。すなわち、更新部１７は、特定の文字についてユーザーによる筆順入力が行われた場合、筆順情報２２に登録されている特定の文字の筆順をユーザーによって入力された筆順に変更し、筆順情報２２を更新する。筆順情報２２が更新されると、動画像生成部１３は更新された筆順情報２２に基づいて筆順を示す動画像を生成するため、ユーザーは自身の記憶する筆順により文字列動画像を表示させることが可能となり、文字列の内容をより確実に理解することが可能となる。
【００４８】
次に表示制御部１５によって表示部４に表示される画面例について説明する。図４は、表示部４に表示される画面構成の一例を示す図である。図４（ａ）は、文字列動画像が生成される前の文書を表示部４に表示した第１の文書表示画面Ｄ１を示している。第１の文書表示画面Ｄ１は、例えば文書データをそのまま表示部４に表示したものである。図４（ａ）の例に示す文書には、文字列領域Ｒ１乃至Ｒ７と、図形領域Ｒ８とを有する。この状態でユーザーがプログラム２０の実行を指示し、表示部４に表示されている文書データを処理対象として上述した文字列抽出部１１、文字抽出部１２、動画像生成部１３及び文字列動画像生成部１４が機能すると、文字列領域Ｒ１乃至Ｒ７のそれぞれから文字列が抽出され、各文字列から文字列動画像が生成される。そして文字列領域Ｒ１乃至Ｒ７のそれぞれに対応する文字列動画像が、表示部４に表示されている文書データに関連付けて保存される。上述したように文書データに関連付けられる文字列動画像には付属情報が付加されており、その付属情報によって個々の文字列動画像が文字列領域Ｒ１乃至Ｒ７のいずれに対応するかを特定することが可能である。
【００４９】
文書データに文字列動画像が関連付けて保存されると、表示制御部１５は、表示部４の表示画面を、図４（ａ）に示す第１の文書表示画面Ｄ１から図４（ｂ）に示す第２の文書表示画面Ｄ２に更新する。この第２の文書表示画面Ｄ２では、文字列領域Ｒ１乃至Ｒ７の近傍位置に、それぞれに対応する文字列動画像の再生を開始するためのボタンＢ１乃至Ｂ７が表示される。文字列領域Ｒ１乃至Ｒ７のそれぞれの近傍位置に再生用のボタンＢ１乃至Ｂ７が表示されることにより、ユーザーは、文字列動画像の生成が完了したことを把握することができる。そしてユーザーによってボタンＢ１乃至Ｂ７のいずれかが操作されると、表示制御部１５は、その操作されたボタンの文字列領域に対応する文字列動画像を読み出し、その読み出した文字列動画像の再生表示を開始する。このとき、表示制御部１５は、例えば文字列動画像を表示するためのポップアップ画面を表示させ、そのポップアップ画面に文字列動画像を表示する。このポップアップ画面の表示サイズは、再生情報２３に予め登録された表示サイズである。ただし、文字列動画像の表示態様は、ポップアップ画面によるものでなくても良く、他の表示態様で文字列動画像を表示しても良い。例えば、ユーザーによって文字列領域Ｒ２に対応するボタンＢ２が操作されると、表示制御部１５は、文字列領域Ｒ２に含まれる文字列「午前」に対応する文字列動画像を読み出して再生することにより、はじめに「午」の文字の筆順を示す動画像を表示し、次に「前」の文字の筆順を示す動画像を表示する。
【００５０】
図５は、筆順を示す動画像の表示態様の一例を示す図であり、「午」の文字の筆順を表示する場合を例示している。表示制御部１５が文字列動画像を再生して表示することにより、表示部４には図５（ａ）、（ｂ）、（ｃ）、（ｄ）の順で「午」の文字に対応する筆順が表示される。すなわち、表示部４には、第１画Ｌ１、第２画Ｌ２、第３画Ｌ３、第４画Ｌ４の順で筆順が表示される。なお、筆順をよりユーザーが理解し易くするため、第１画Ｌ１乃至第４画Ｌ４のそれぞれに対して筆の移動方向を示す矢印ｆ１乃至ｆ４の画像を表示してもよい。ただし、このような矢印ｆ１乃至ｆ４の画像を表示するためには、文字列動画像に矢印ｆ１乃至ｆ４の画像が含まれている必要があるため、動画像生成部１３が文字ごとの動画像を生成するときに予め矢印ｆ１乃至ｆ４を含む動画像を予め生成しておくことが必要となる。図５に示すような筆順が表示部４に表示されることにより、ユーザーは、「午」の文字の筆順を認識することによって「午」の文字そのものを理解することができるようになる。
【００５１】
図６は、文字列動画像を表示するポップアップ画面の表示例を示す図である。まず図６（ａ）は、第１の表示例を示しており、例えば文字列領域Ｒ２の文字列に対応する文字列動画像を表示する際にはその文字列領域Ｒ２をポップアップ画面が隠してしまわないように、文字列領域Ｒ２とは異なる位置に文字列動画像表示領域Ｒ１０を設定し、その文字列動画像表示領域Ｒ１０にポップアップ画面を表示して文字列動画像を表示する。このとき、表示制御部１５は、文字列動画像表示領域Ｒ１０のポップアップ画面に表示される文字列動画像が文字列領域Ｒ２に含まれる文字列に対応するものであることを示す表示態様で表示する。図６（ａ）の例においては、文字列動画像表示領域Ｒ１０のポップアップ画面を、文字列領域Ｒ２を起点とする吹き出し状の表示態様で表示することにより、文字列動画像表示領域Ｒ１０のポップアップ画面に表示される文字列動画像が文字列領域Ｒ２の文字列に対応することを示している。
【００５２】
次に図６（ｂ）は第２の表示例を示している。この第２の表示例では、上記第１の表示例と同様、ポップアップ画面を表示する文字列動画像表示領域Ｒ１３が文字列領域Ｒ２を隠してしまわないように文字列領域Ｒ２とは異なる位置に表示する。ただし、第１の表示例とは異なり、文字列領域Ｒ２を起点とする吹き出し状の表示態様で文字列動画像表示領域Ｒ１３が表示されるのではなく、独立した態様で文字列動画像表示領域Ｒ１３が表示される。このような表示例においても、文字列動画像表示領域Ｒ１０のポップアップ画面において表示される文字列動画像がどの文字列領域の文字列に対応するものであるかを容易に識別できるようにすることが望まれる。そのため、第２の表示例による表示を行うとき、表示制御部１５は、例えば文字列領域Ｒ２の周囲を太線で表示したり、或いは、文字列領域Ｒ２をハイライト表示したりすることで他の領域とは異なる強調表示を行い、文字列動画像表示領域Ｒ１３のポップアップ画面に表示される文字列動画像が文字列領域Ｒ２に含まれる文字列に対応するものであることを示す。
【００５３】
このように文字列動画像を表示するポップアップ画面を表示するときには、そのポップアップ画面内で表示される文字列動画像が、文書中のどの文字列に対応するものであるかを明示することにより、ユーザーは、ポップアップ画面内で表示される文字列動画像が文書中のどの文字列に対応するものであるかを容易に把握することができるようになる。
【００５４】
次に更新部１７が機能することによって表示部４に表示される更新画面について説明する。図７は、再生情報２３を更新する再生情報更新画面Ｇ１０の一例を示す図である。再生情報更新画面Ｇ１０は、再生情報２３のうち再生速度を調整する再生速度調整領域Ｒ２０と、表示サイズを調整するサイズ調整領域Ｒ２１と、区切りの設定をＯＮ又はＯＦＦに設定する区切り設定領域Ｒ２２と、確定ボタンＢ２０と、再生情報更新処理終了ボタン（キャンセルボタン）Ｂ２１と、筆順情報更新画面切り替えボタンＢ２２とを備える構成である。再生速度調整領域Ｒ２０は、再生速度調整ボタンＢ２３と、音声案内再生ボタンＢ２４とを備える。ユーザーは再生速度調整ボタンＢ２３を操作することにより再生速度を所望の速度に調整可能である。またユーザーは音声案内再生ボタンＢ２４を操作することにより、再生速度調整ボタンＢ２３に対する操作で再生速度を調整可能であることを報知する音声が出力される。尚、再生速度の調整は、文字種類ごとに行えるようにすることが好ましい。サイズ調整領域Ｒ２１は、サイズ調整ボタンＢ２５と、音声案内再生ボタンＢ２６とを備える。ユーザーはサイズ調整ボタンＢ２５を操作することにより、文字列動画像が表示されるポップアップ画面のサイズを所望のサイズに調整可能である。またユーザーによって音声案内再生ボタンＢ２６が操作されると、サイズ調整ボタンＢ２５に対する操作でポップアップ画面のサイズを調整可能であることを報知する音声が出力される。区切り設定領域Ｒ２２は、区切り設定ボタンＢ２７と、音声案内再生ボタンＢ２８とを備える。ユーザーが区切り設定ボタンＢ２７を操作して区切り設定をオンに操作すると、文字列動画像が再生される際、所定の区切り位置において文字列動画像の再生が一時停止し、所定時間経過後に一時停止位置から再生が再開されるように設定される。またユーザーが区切り設定ボタンＢ２７を操作して区切り設定をオフに操作すると、文字列動画像の再生中は、自動的に文字列動画像の一時停止が行われないように設定される。またユーザーが音声案内再生ボタンＢ２８を操作すると、区切りをオンにすることにより文字列動画像を再生する際に所定の位置において時間間隔が挿入されることを報知する音声が出力される。またこの他にも、例えば文字列動画像を表示するときの表示色などを設定できるようにすることが好ましい。
【００５５】
再生情報更新画面Ｇ１０において、ユーザーは上記の例のように再生速度、表示サイズ、区切り設定などを調整して確定ボタンＢ２０を操作すると、更新部１７は、現在の設定値から設定変更された設定値を再生情報２３に上書きして再生情報２３を更新する。ユーザーが再生情報更新処理終了ボタンＢ２１を操作すると、更新部１７は再生情報更新画面Ｇ１０の表示を消去して更新処理を終了する。また、ユーザーによって筆順情報更新画面切り替えボタンＢ２２が操作されると、更新部１７は再生情報更新画面Ｇ１０を消去し、表示部４に表示する画面を、筆順情報更新画面Ｇ１５に更新する。
【００５６】
図８は筆順情報更新画面Ｇ１５の一例を示す図である。更新部１７は、この筆順情報更新画面Ｇ１５に対するユーザーの操作に基づき、筆順情報２２を更新する。上述したように、初期状態の筆順情報２２には各文字の正確な筆順が記憶されている。その正確な筆順を、更新部１７はユーザーによって入力される筆順に書き換えて筆順情報を更新する。ところで、上述したように表示制御部１５による文字列動画像の再生表示中にユーザーが理解できないと指定した文字は、表示制御部１５によって既に特定されている。更新部１７は、ユーザーによる操作に基づいて筆順情報更新画面Ｇ１５を表示するとき、表示制御部１５によって特定された文字の情報を取得し、その文字の筆順を手動操作で更新するための筆順情報更新画面Ｇ１５を生成して表示する。
【００５７】
例えば図８に示す筆順情報更新画面Ｇ１５は、筆順入力指示領域Ｒ３０と、筆順入力領域Ｒ３１と確定ボタンＢ４０とを備える構成である。筆順入力指示領域Ｒ３０は、ユーザーが理解し難いと指定した文字の筆順を手動操作で入力することをユーザーに指示案内するための領域である。筆順入力領域Ｒ３１に表示される文言は、例えばユーザーが理解し難いと指定した文字に関する情報を例えば辞書情報２１から抽出することにより自動生成される。図８（ａ）の例では、「午前」の「午」の筆順を入力させるため、更新部１７は「午」を含む成語や熟語等を辞書情報２１を参照することにより取得することにより、「午」の筆順情報を入力させるための指示文言を生成する。なお、指示文言は動画像により表示されてもよく、或いは音声により出力されてもよい。ユーザーは、筆順入力指示領域Ｒ３０に表示される指示文言に従い、例えば図８（ａ）に示すように白紙状態の筆順入力領域Ｒ３１に対して自身が記憶する筆順で文字を入力する。このとき、ユーザーは、マウス操作で筆順を入力しても良いし、或いはキーパッドやタッチパッドなどに対して指先やペン先で筆順を入力しても良い。これにより更新部１７は、ユーザーが理解し難いと指定した文字についてユーザーが記憶する筆順を取得することができ、筆順情報２２を更新可能である。
【００５８】
図８（ｂ）は筆順情報更新画面Ｇ１５の別の表示態様の一例である。この例では、ユーザーに自身が記憶している筆順を筆順入力領域Ｒ３１に対して入力させるとき、筆順入力領域Ｒ３１に、筆順入力対象である文字を表示している。このような表示態様によれば、ユーザーが文字の筆順を入力する際、文字をなぞりながら入力していくことができるため、筆順の入力操作が行い易くなり、操作性が向上する。
【００５９】
次に、画像処理装置１のＣＰＵ２において行われる処理手順について説明する。図９は、ＣＰＵ２によって行われる主たる処理手順の一例を示すフローチャートである。この処理は、ＣＰＵ２がプログラム２０を実行することによって開始される。ＣＰＵ２は、この処理を開始すると、まず文字列抽出部１１が機能し、文字列動画像の生成対象となる画像データを取得する（ステップＳ１）。文字列抽出部１１は、画像データを取得すると、その画像データから文字列を抽出する文字列抽出処理を行う（ステップＳ２）。文字列抽出処理（ステップＳ２）の具体的な処理手順については後ほど説明する。文字列が抽出されると、次に文字抽出部１２が機能し、文字列抽出部１１によって抽出された文字列に含まれる文字を一文字抽出する文字抽出処理が行われる（ステップＳ３）。文字抽出処理（ステップＳ３）の具体的な処理手順については後ほど説明する。文字列に含まれる文字が抽出されると、動画像生成部１３は文字抽出部１２によって抽出された文字の筆順を示す動画像を生成する動画像生成処理を行う（ステップＳ４）。動画像生成処理（ステップＳ４）の具体的な処理手順については後ほど説明する。動画像生成処理（ステップＳ４）が行われると、次に文字列に含まれる全ての文字について動画像が生成されたか否かを判断する（ステップＳ５）。全ての文字について動画像が生成済みでない場合（ステップＳ５においてＮＯ）、文字抽出処理（ステップＳ３）に戻り、文字列に含まれる次の文字について動画像が生成される（ステップＳ４）。そして文字列に含まれる全ての文字について動画像が生成された場合（ステップＳ５においてＹＥＳ）、次に文字列動画像生成部１４が機能する。文字列動画像生成部１４は、文字列に含まれる各文字について生成された動画像を文字列の順序に基づいて組み合わせることにより文字列動画像を生成する文字列動画像生成処理を行う（ステップＳ６）。文字列動画像生成処理（ステップＳ６）の具体的処理手順については後ほど説明する。文字列動画像が生成されると、次に表示制御部１５が機能し、表示制御部１５による動画像表示処理が行われる（ステップＳ７）。動画像表示処理（ステップＳ７）の具体的な処理手順については後ほど説明する。動画像表示処理（ステップＳ７）が行われると、次にＣＰＵ２は、更新フラグがセットされているか否かを判断する。更新フラグがある場合（ステップＳ８でＹＥＳ）、ＣＰＵ２は更新部１７を機能させる。そして更新部１７は更新処理を行う（ステップＳ９）。更新部１７による更新処理が終了すると、ＣＰＵ２による処理が全て終了する。
【００６０】
図１０は、文字列抽出処理（図９のステップＳ２）の詳細な処理手順の一例を示すフローチャートである。文字列抽出部１１は、この文字列抽出処理を開始すると、まず取得した画像データ中にテキストデータが含まれているか否かを判断する（ステップＳ１５）。テキストデータが含まれている場合（ステップＳ１５でＹＥＳ）、文字列抽出部１１は、そのテキストデータを文字列として抽出する（ステップＳ１６）。また文字列抽出部１１は、抽出したテキストデータに関する属性情報を画像データから抽出する（ステップＳ１７）。この属性情報は、例えばテキストデータのプロパティ情報などから抽出され、文字列が縦書きか横書きかを示す情報や、文書中における文字列の配置位置に関する情報等を含んでいる。
【００６１】
一方、取得した画像データ中にテキストデータが含まれていない場合（ステップＳ１５でＮＯ）、その画像データは例えばスキャン機能などによって読み込まれた画像データである。そのため、文字列抽出部１１は、取得した画像データに対してＯＣＲなどの文字認識処理を行うことにより、画像データに文字列領域が存在するか否かを判断する（ステップＳ１８）文字列領域が存在される場合（ステップＳ１８でＹＥＳ）、文字列抽出部１１は、文字認識処理によって検出されたテキストデータ化された文字列領域を抽出する（ステップＳ１９）。そして抽出された文字列領域を解析し（ステップＳ２０）、当該文字列領域の属性情報を生成する（ステップＳ２１）。この属性情報は、例えば画像データ中における文字列領域の配置や位置などに基づいて生成され、ステップＳ１７で取得される情報と同様の情報となる。尚、画像データに文字列領域が存在しない場合（ステップＳ１８でＮＯ）、そのまま文字列抽出処理を終了する。
【００６２】
次に文字列が抽出された場合（ステップＳ１５でＹＥＳ、又はステップＳ１８でＹＥＳの場合）、文字列抽出部１１は、例えば文字列中の句読点などの位置に対して区切り情報を付加して（ステップＳ２４）文字列抽出処理を終了する。
【００６３】
図１１は、文字抽出処理（図９のステップＳ３）の処理手順の一例を示すフローチャートである。文字抽出処理は、この文字抽出処理を開始すると、まず文字列抽出処理（図９のステップＳ２）により抽出された文字列の属性情報に基づいて文字列に含まれる文字の配列順序を決定し、その決定した順序に基づき文字列の中から今回抽出すべき文字を特定する（ステップＳ３１）。例えば、文字列抽出部１１によって文字列が抽出された後、最初にこの文字抽出処理が行われるときには、ステップＳ３１において文字列の先頭文字が抽出対象として特定される。また２回目以降にこの文字抽出処理が行われるときには、ステップＳ３１において文字列の先頭から２文字目以降の文字が抽出対象として特定される。そして文字抽出部１２は、ステップＳ３１で特定した文字を文字列から抽出する（ステップＳ３２）。
【００６４】
図１２は、動画像生成処理（図９のステップＳ４）の処理手順の一例を示すフローチャートであり、動画像生成部１３により行われる処理である。動画像生成部１３は、まず筆順情報２２を読み出し（ステップＳ４１）、文字抽出処理において抽出された文字に対応する筆順を抽出する（ステップＳ４２）。そして動画像生成部１３は、抽出した筆順に基づき、当該文字の筆順を示す動画像を生成する（ステップＳ４３）。このような動画像生成処理は、文字抽出部１２によって文字列から一つの文字が抽出される度に繰り返し行われる。
【００６５】
図１３は、文字列動画像生成処理（図９のステップＳ６）の処理手順の一例を示すフローチャートであり、文字列動画像生成部１４により行われる。文字列動画像生成部１４は、文字列に含まれる全ての文字について筆順を示す動画像が生成されると（図９のステップＳ５でＹＥＳ）、文字列の順序に従って動画像生成処理において生成された各文字の筆順を示す複数の動画像を配列する（ステップＳ５１）。そして、複数の動画像を１つに組み合わせて１つの文字列に対応する一連の文字列動画像を生成する（ステップＳ５２）。このとき、文字列動画像生成部１４は、上述したように文字列動画像に対して区切り情報や文字種類情報を付加する。そしてステップＳ５２で生成される文字列動画像は、元の画像データと関連付けた状態に保存される。
【００６６】
上記文字列抽出処理（図９のステップＳ２）、文字抽出処理（図９のステップＳ３）、動画像生成処理（図９のステップＳ４）、及び文字列動画像生成処理（図９のステップＳ６）が行われることにより、文字列に含まれる文字が文字列の先頭から順に一文字ずつ筆順を表示するための文字列動画像が生成され、１つの文字列動画像から１つの文字列の内容を理解することが可能となる。
【００６７】
図１４は、文字列動画像表示処理（図９にステップＳ７）の処理手順の一例を示すフローチャートであり、表示制御部１５により行われる処理である。文字列動画像が生成された後、ユーザーによって文字列動画像の表示が指示されると、表示制御部１５は、ユーザーによって指定された文字列動画像を読み出し（ステップＳ６１）、記憶部３に記憶されている再生情報２３を参照し（ステップＳ６２）、再生速度、カラー、表示サイズ等を再生情報２３に基づいて反映させた上で、表示部４にポップアップ画面を表示し、そのポップアップ画面において文字列動画像の再生表示を開始する（ステップＳ６３）。表示制御部１５は、文字列動画像の再生を開始すると、再生情報２３において区切り設定がオンに設定されているか否かを判断し（ステップＳ６４）、オンに設定されている場合（ステップＳ６４でＹＥＳ）、再生中の文字列動画像から区切り情報を検知したか否かを判断する（ステップＳ６５）。区切り情報を検知した場合（ステップＳ６５でＹＥＳ）、表示制御部１５は区切り情報を検知した位置で文字列動画像の再生を一時停止し（ステップＳ６６）、所定時間を経過したか否かを判断する（ステップＳ６７）。そして所定時間を経過した場合に（ステップＳ６７でＹＥＳ）、一時停止を解除して（ステップＳ６８）、一時停止位置から文字列動画像の再生を開始する（ステップＳ６９）。
【００６８】
他方、再生情報２３において区切り設定がオフに設定されている場合（ステップＳ６４でＮＯ）、又は再生中の文字列動画像から区切り情報を検知しない場合には（ステップＳ６５でＮＯ）、ステップＳ６６からＳ６９までの処理をスキップする。
【００６９】
また表示制御部１５は、文字列動画像の再生中においてユーザーによるチェックの入力を検知したか否かを判断する（ステップＳ７０）。このチェックとは、例えば文字列動画像の再生中にユーザーが所定の領域に対して簡単な入力操作を行うことを意味し、例えば画面内の所定位置をタップする場合の操作などがチェックに該当する。このようなチェックは、例えば文字列動画像の再生中にユーザーが理解し難いと判断した場合に行われる操作である。表示制御部１５は、ユーザーによるチェック入力を検知した場合（ステップＳ７０でＹＥＳ）、文字列動画像中の現在再生中の文字を特定して（ステップＳ７１）、更新フラグを付加する（ステップＳ７２）。チェック入力検知時における再生中の文字の特定は、例えば再生中のフレーム番号等により特定してもよい。ユーザーによるチェック入力がなされる場合、ユーザーは現在再生中の動画像の文字を何らかの原因により読解できなかったのであり、文字列動画像の再生を終了した後に、後述する更新処理（図９のステップＳ９）により再生情報２３又は筆順情報２２を更新することにより、当該文字を理解できるようにする。
【００７０】
そして表示制御部１５は、文字列動画像を最後まで再生したか否かを判断し（ステップＳ７３）、未だ再生中である場合（ステップＳ７３でＮＯ）、文字列動画像の再生が終了するまでステップＳ６４からステップＳ７２までの処理を繰り返す。一方、文字列動画像の再生が終了した場合（ステップＳ７３でＹＥＳ）、表示制御部１５は、文字列動画像の再生表示を終了させ（ステップＳ７４）、文字列動画像表示処理を終了する。このとき、ポップアップ画面を表示画面から消去しても良い。
【００７１】
図１５は、更新処理（図９のステップＳ９）の処理手順の一例を示すフローチャートであり、主として更新部１７により行われる処理である。文字列動画像表示処理（図９のステップＳ７）が行われて文字列動画像の再生が終了した後、表示制御部１５によって更新フラグがセットされていると（図９のステップＳ８）、更新部１７は、まず記憶部３等に予め記憶される再生情報更新画面情報（図示せず）を読み出し（ステップＳ８１）、再生情報更新画面を生成して表示部４に表示させる（ステップＳ８２）。次に更新部１７は、再生情報更新画面上にてユーザーによる再生情報２３の入力があったか否かを判断し（ステップＳ８３）、入力があった場合に（ステップＳ８３でＹＥＳ）、例えば現在の再生情報の設定値と入力値との差分が検出された場合には再生情報２３を入力値に更新する（ステップＳ８４）。再生情報２３が更新されると、その再生情報２３は、文字列動画像を再生する際に表示制御部１５により参照される。そのため、その後の文字列動画像再生において、当該ユーザーにとって読解し易い再生速度、表示サイズの大きさ等により動画像が再生されるため、当該ユーザーによる文字列の理解をさらに促進する。
【００７２】
再生情報２３の入力がない場合（ステップＳ８３でＮＯ）、ステップＳ８４をスキップする。そして、現在の再生情報２３に基づき文字列動画像を再生した後（ステップＳ８５）、ユーザーによる更新処理終了指示を検知したか否かを判断する（ステップＳ８６）。更新処理終了指示を検知しない場合には（ステップＳ８６でＮＯ）再び再生情報更新画面を表示する指示を検知したか否かを判断し（ステップＳ８７）、検知した場合には、ステップＳ８２に戻り再生情報更新画面を表示してステップＳ８３からＳ８６までのステップを繰り返す。他方、再生情報更新画面を表示する指示を検知しない場合（ステップＳ８７でＮＯ）、さらに筆順情報更新画面表示指示を検知したか否かを判断して（ステップＳ８８）、検知した場合には記憶部３等に予め記憶される筆順情報更新画面情報（図示せず）を読み出して（ステップＳ９０）、予め表示制御部１５によって特定されている文字を抽出し（ステップＳ９１）、その文字の筆順を手動入力するための筆順情報更新画面を生成して表示部４に表示させる。
【００７３】
更新処理終了指示を検知した場合（ステップＳ８６でＹＥＳ）、又は筆順情報更新画面表示指示を検知しない場合（ステップＳ８８でＮＯ）、そのまま更新処理を終了する（ステップＳ８９）。
【００７４】
他方、文字の筆順を手動入力するための筆順情報更新画面を表示した場合（ステップＳ９２）、更新部１７は、次にユーザーによる当該文字の筆順の入力が検知されたか否かを判断し（ステップＳ９３）、筆順の入力を検知した場合（ステップＳ９３でＹＥＳ）、入力された筆順が当該文字に関する現在の筆順情報２２と一致するか否かを判断し（ステップＳ９４）、一致しない場合には入力された筆順により筆順情報２２を更新する（ステップＳ９５）。そして筆順情報２２を更新すると、更新部１７は、動画像生成部１３に通知する（ステップＳ９６）。動画像生成部１３は、その通知に基づき更新された筆順情報２２を参照して図１２の動画像生成処理を行い（ステップＳ９７）、再度動画像を生成する。動画像が生成されると、更新部１７は、文字列動画像生成部１４に通知する（ステップＳ９８）。文字列動画像生成部１４は、その通知に基づき図１３の文字列動画像生成処理を行い、文字列動画像を生成する（ステップＳ９９）。文字列動画像が生成されると、表示制御部１５によってその生成された文字列動画像が再生される（ステップＳ１００）。そして更新処理が終了する（ステップＳ８９）。このように筆順情報２２が更新された場合、その更新後の筆順情報２２を反映した文字列動画像を新たに生成して再生することにより、ユーザーは、自身で入力した筆順で文字を認識することができるか否かを速やかに確認することができる。
【００７５】
次に筆順情報２２又は再生情報２３の初期設定をユーザーが予めカスタマイズしておく手法について説明する。記憶部３に予め記憶される筆順情報２２及び再生情報２３は初期状態において予め定められた値（初期設定値）に設定されている。このような初期設定値は、ユーザーにとって必ずしも理解しやすい設定値であるとは限らない。そのため、初期設定値に基づいて再生される文字列動画像をユーザーが理解できるのか否かを、サンプルとなる動画像を用いてテストし、必要であればこれらの初期設定値をユーザーが予め所望の値に設定変更できるようにしておくことが好ましい。これにより、ユーザーは、実際の資料に基づいて文字列動画像を生成する前に筆順情報２２や再生情報２３を予めカスタマイズしておくことができるようになる。
【００７６】
図１６は、サンプルとなる動画像を用いたサンプルテスト画面Ｇ２０の表示態様の一例を示した図である。図１６（ａ）に示すように、サンプルテスト画面Ｇ２０は、サンプル動画像が初期設定値に設定された筆順情報２２及び再生情報２３に基づき表示されるサンプル動画像表示領域Ｒ４０と、サンプル動画像を理解した場合にユーザーが操作する確認ボタンＢ５０と、サンプル動画像を理解できなかった場合にユーザーが操作するチェックボタンＢ５１とを備える。サンプル動画像は、表示制御部１５が予め記憶部３等に記憶されるサンプル動画像情報（図示せず）を読み出して表示部４に表示する。図例のように、サンプル動画像表示領域Ｒ４０にサンプル動画像が表示され、ユーザーは当該サンプル動画像を理解できなかった場合にはチェックボタンＢ５１を操作する。ユーザーがチェックボタンＢ５１を操作した場合、更新部１７が筆順情報２２又は再生情報２３の更新処理（図１５のフローチャート）を行う。他方、ユーザーが当該サンプル動画像を理解した場合には確認ボタンＢ５０を操作し、確認ボタンＢ５０が操作されると表示制御部１５は別のサンプル動画像を読み出して表示する。
【００７７】
また、図１６（ｂ）に示すように漢字のサンプル動画像を用いることもできる。ここで、更新部１７は、設定情報２３に含まれる文字種類毎に再生速度情報２３ａの設定値を変更することが可能である。例えば、漢字については再生速度をひらがなやカタカナ等の他の文字よりも遅く設定することができる。漢字にはひらがなやカタカナ等と比べて画数が多いものが多数存在することから、例えば漢字についてはひらがなやカタカナ等と比べて動画像の再生速度を遅く設定するなど文字種類毎に再生情報２３を更新することが可能となることで、ユーザーがより動画像を理解し易くなり、文字列の理解をより促進することが可能となる。したがって、サンプル動画像を用いてテストを行うときには、再生情報２３に含まれる全ての設定項目について、ユーザーが理解できたか否かをテストできるようにしておくことが好ましい。
【００７８】
その他、漢字については、例えばその構成要素毎のユーザーが記憶している筆順により筆順情報２２を更新してもよい。すなわち、図６（ｂ）に示す漢字「板」は、部首である木偏と部首の右方の「反」という構成要素からなる。そして、例えば木偏の部首についてユーザーが記憶する筆順が筆順情報２２の初期設定値と異なる場合、同じく部首を木偏とする他の漢字についても、筆順情報２２をユーザーによる入力値に基づき更新してもよい。つまり、漢字の場合には、ユーザーが、一文字単位ではなく、部首単位などで筆順を入力することも可能であり、その場合、更新部１７は、ユーザーによって筆順が入力された部首を有する他の全ての漢字についての筆順を変更し、筆順情報２２を更新する。漢字には部分的な構成要素を共通にするものが多数存在し、それぞれの構成要素について筆順は同一であるのが原則である。そして、ユーザーが漢字を記憶する際、同一の構成要素については同じ筆順により記憶することが一般的である。そこで、サンプル動画像に用いられた文字の構成要素毎にユーザーが記憶する筆順を取得し、サンプル動画像に用いられた漢字と同一の構成要素を有する他の漢字についても筆順情報２２を更新することにより、効率的に筆順情報２２を更新することが可能となり、ユーザーがより動画像を理解し易くなる。
【００７９】
図１７は、サンプル動画像を用いたサンプルテスト処理の処理手順の一例を示すフローチャートである。サンプルテスト処理は、主として表示制御部１５により行われる処理である。まず、サンプルテスト開始指示を検知することによりサンプルテスト処理が開始し（ステップＳ１１０）、表示制御部１５はサンプル動画像の情報（図示せず）を読み出す（ステップＳ１１１）。サンプル動画像を読み出すと、サンプル動画像の再生を開始する（ステップＳ１１２）。サンプル動画像再生中にユーザーによるチェック入力を検知したか否かを判断し（ステップＳ１１３）、検知した場合には当該サンプル動画像情報に更新フラグを付加し（ステップＳ１１４）、更新部１７を機能させる。更新部１７は、更新フラグに基づき上述した更新処理（図１５のフローチャート）を行う（ステップＳ１１５）。この更新処理により、当該サンプル動画像に対応する文字の筆順情報２２又は再生情報２３が更新される。ユーザーによるチェック入力を検知しない場合（ステップＳ１１３でＮＯ）、ステップＳ１１４及びＳ１１５の処理をスキップする。そして、全てのサンプル動画像を再生したか否かを判断し（ステップＳ１１６）、全てのサンプル動画像を再生した場合にはサンプルテストを終了して（ステップＳ１１７）サンプルテスト処理を終了する。他方、全てのサンプル動画像を未だ再生していない場合には、ステップＳ１１３に戻り、全てのサンプル動画像を再生するまでステップＳ１１３からＳ１１５の処理を繰り返す。
【００８０】
（第２実施形態）
次に、本発明の第２実施形態につき説明する。上述した第１実施形態では、画像処理装置１において、文字列動画像の生成処理と再生処理との双方の処理が行われる場合を例示した。これに対し、本実施形態では、画像処理装置５０において文字列動画像の生成処理までを行う形態について説明する。
【００８１】
図１９は、第２実施形態における画像処理装置５０を含むネットワークシステムの構成例を示す図である。図１９に示すように、本実施形態の画像処理装置５０は、例えばＭＦＰ（Multi Function Peripheral）によって構成される。この画像処理装置５０は、プリント機能やスキャン機能、コピー機能などの文書データを処理する機能を備えており、ＬＡＮ（Local Area Network）などのネットワーク５２を介してユーザーが使用するコンピュータ５１と通信を行うことが可能である。本実施形態ではこのような画像処理装置５０によって文字列動画像が生成される場合を例示する。尚、コンピュータ５１は、パーソナルコンピュータに限られるものではなく、タブレット端末やその他の装置であっても構わない。
【００８２】
図１９は、画像処理装置５０及びコンピュータ５１のそれぞれのＣＰＵ６０，６２で実現される機能ブロックの一例を示す図である。画像処理装置５０は、ＣＰＵ６０と記憶部６１を備え、ＣＰＵ６０は、文字列抽出部６５と、文字抽出部６６と、動画像生成部６７と、文字列動画像生成部６８と、区切り設定部６９と、更新部７０とを備える構成であり、各部は、それぞれ第１実施形態における文字列抽出部１１、文字抽出部１２、動画像生成部１３、文字列動画像生成部１４、区切り設定部１６及び更新部１７と同じ機能を有する。また記憶部６１には、プログラム７１と、辞書情報７２と、筆順情報７３と、再生情報７４が記憶されており、これらも第１実施形態におけるプログラム２０、辞書情報２１、筆順情報２２、再生情報２３とそれぞれ同様のものである。他方、コンピュータ５１はＣＰＵ６２を備え、ＣＰＵ６２は表示制御部７５を備えており、この表示制御部７５は第１実施形態における表示制御部１５と同じ機能を有する。
【００８３】
このように本実施形態では、画像処理装置５０において文字列動画像が生成され、ネットワーク５２を介して接続されるコンピュータ５１により当該文字列動画像が画像表示器７６に表示される。これにより、画像処理装置５０において生成された文字列動画像を、ネットワーク５２を介して接続される複数のコンピュータで再生することが可能となり、例えばある会議への出席者全員が、文字列動画像の付加された会議資料データを共有して閲覧することが可能となる。尚、文字列動画像を複数のユーザーで共有して再生する場合には、筆順情報７３や再生情報７４をユーザーごとに記憶しておくことが好ましい。
【００８４】
また本実施形態では、画像処理装置５０がスキャン機能によって会議資料を読み取ることにより、その会議資料に含まれる文字列の文字列動画像を生成しておくことができる。そのため、ユーザーは会議前に予め会議資料を画像処理装置５０でスキャンしておくことにより、会議開始後はネットワーク５２を介して会議室から画像処理装置５０にアクセスすることにより、文字列動画像をコンピュータ５１で表示することが可能となり、利便性が高まるという利点がある。
【００８５】
（変形例）
以上、本発明に関する実施形態の例につき説明したが、本発明は上記実施形態において説明した内容に限られるものではなく、種々変形例が適用可能であり、例えば、上記第２実施形態では画像処理装置５０としてＭＦＰを例示したが、サーバーであってもよい。
【符号の説明】
【００８６】
１，５０  画像処理装置
１１，６５  文字列抽出部
１２，６６  文字抽出部
１３，６７  動画像生成部
１４，６８  文字列動画像生成部
１５，７５  表示制御部
１６，６９  区切り設定部
１７，７０  更新部
２１，７２  辞書情報
２２，７３  筆順情報
２３，７４  再生情報
【図１】
2015225506.tif 000003
【図２】
2015225506.tif 000004
【図３】
2015225506.tif 000005
【図４】
2015225506.tif 000006
【図５】
2015225506.tif 000007
【図６】
2015225506.tif 000008
【図７】
2015225506.tif 000009
【図８】
2015225506.tif 000010
【図９】
2015225506.tif 000011
【図１０】
2015225506.tif 000012
【図１１】
2015225506.tif 000013
【図１２】
2015225506.tif 000014
【図１３】
2015225506.tif 000015
【図１４】
2015225506.tif 000016
【図１５】
2015225506.tif 000017
【図１６】
2015225506.tif 000018
【図１７】
2015225506.tif 000019
【図１８】
2015225506.tif 000020
【図１９】
2015225506.tif 000021