(57)【要約】【課題】文字列が任意の向きで入力された場合に、当該文字列に含まれる文字を精度良く認識する。【解決手段】入力領域に手書きで入力された文字列を表す入力情報を取得する取得部と、記文字列に含まれる文字の書字方向と、入力領域における文字列の入力方向とに応じて、文字列に含まれる文字を認識する認識部と、を備える、ことを特徴とする文字認識装置。【選択図】図５
2017228095.tif 000002
【特許請求の範囲】
【請求項１】
入力領域に手書きで入力された文字列を表す入力情報を取得する取得部と、
前記文字列に含まれる文字の書字方向と、前記入力領域における前記文字列の入力方向とに応じて、前記文字列に含まれる文字を認識する認識部と、
を備える、
ことを特徴とする文字認識装置。
【請求項２】
前記認識部は
前記書字方向及び前記入力方向に応じて、前記文字情報の表す文字列に含まれる文字を回転させる回転部と、
前記回転部により回転された文字を認識する文字認識部と、
を備える、
ことを特徴とする、請求項１に記載の文字認識装置。
【請求項３】
前記認識部の認識した文字を、所定の書体で、前記入力領域に表示させる表示部、を備える、
ことを特徴とする、請求項１または２に記載の文字認識装置。
【請求項４】
前記文字の属する言語の種類と前記文字の書字方向との対応を示す言語情報に基づいて、前記文字の書字方向を特定する書字方向特定部、を備える、
ことを特徴とする、請求項１乃至３のうち何れか１項に記載の文字認識装置。
【請求項５】
前記入力領域において入力される、前記文字の書字方向に関する情報に基づいて、前記文字の書字方向を特定する書字方向特定部、を備える、
ことを特徴とする、請求項１乃至３のうち何れか１項に記載の文字認識装置。
【請求項６】
前記文字列のうち一の文字と、前記文字列のうち前記一の文字よりも後に入力された他の文字と、の位置関係に応じて、前記入力方向を特定する入力方向特定部、を備える、
ことを特徴とする、請求項１乃至５のうち何れか１項に記載の文字認識装置。
【請求項７】
入力領域に手書きで入力された文字列を認識する文字認識装置の制御方法であって、
前記入力領域に手書きで入力された文字列を表す入力情報を取得し、
前記文字列に含まれる文字の書字方向を示すと、前記入力領域における前記文字列の入力方向とに応じて、前記文字列に含まれる文字を認識するように、
前記文字認識装置を制御する、
ことを特徴とする文字認識装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字認識装置、及び、文字認識装置の制御方法に関する。
【背景技術】
【０００２】
手書きにより入力された文字列の向きに応じて、当該文字列に含まれる文字を認識する文字認識装置に係る技術が各種提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２１５８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術において、文字列の向きは、例えば、縦方向と横方向の２方向に限定されているため、手書きにより入力された文字列が任意の方向を向く場合において、文字の認識が困難となる可能性が存在する。
また、従来の技術では、文字列において文字が書き進められる方向である書字方向を考慮していない。このため、文字認識装置において、例えば、書字方向が横書きであることを前提としているのにもかかわらず、手書きで入力された文字の書字方向が縦書きである場合には、文字の認識が困難となる可能性が存在する。
【０００５】
本発明は、上述した事情に鑑みてなされたものであり、文字列が任意の向きで入力された場合に、当該文字列に含まれる文字を精度良く認識可能な技術の提供を、解決課題の一つとする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するため、本発明に係る文字認識装置は、入力領域に手書きで入力された文字列を表す入力情報を取得する取得部と、前記文字列に含まれる文字の書字方向と、前記入力領域における前記文字列の入力方向とに応じて、前記文字列に含まれる文字を認識する認識部と、を備える、ことを特徴とする。
【０００７】
本発明では、文字列の入力方向に加えて、文字列に含まれる文字の書字方向を考慮しつつ、文字を認識するため、文字列が任意の向きで入力される場合であっても、文字を精度良く認識することができる。
【０００８】
また、上述した文字認識装置において、前記認識部は  前記書字方向及び前記入力方向に応じて、前記文字情報の表す文字列に含まれる文字を回転させる回転部と、前記回転部により回転された文字を認識する文字認識部と、を備える、ことを特徴とすることが好ましい。
【０００９】
この態様によれば、文字列の入力方向及び書字方向に応じて、文字列に含まれる文字を回転させた後に文字を認識するため、文字を精度良く認識することができる。
【００１０】
また、上述した文字認識装置は、前記認識部の認識した文字を、所定の書体で、前記入力領域に表示させる表示部、を備える、ことを特徴とすることが好ましい。
【００１１】
この態様によれば、手書きで入力された文字を、所定の書体で表示するため、手書きで入力された文字をそのまま表示する場合と比較して、文字認識装置の利用者に文字を容易に把握させることが可能となる。
【００１２】
また、上述した文字認識装置は、前記文字の属する言語の種類と前記文字の書字方向との対応を示す言語情報に基づいて、前記文字の書字方向を特定する書字方向特定部、を備える、ことを特徴としてもよい。
【００１３】
この態様によれば、言語に応じて書字方向を特定し、特定された書字方向を考慮して文字を認識するため、文字を精度良く認識することができる。
【００１４】
また、上述した文字認識装置は、前記入力領域において入力される、前記文字の書字方向に関する情報に基づいて、前記文字の書字方向を特定する書字方向特定部、を備える、ことを特徴としてもよい。
【００１５】
この態様によれば、入力部において書字方向を指定し、指定された書字方向を考慮して文字を認識するため、文字を精度良く認識することができる。
【００１６】
また、上述した文字認識装置は、前記文字列のうち一の文字と、前記文字列のうち前記一の文字よりも後に入力された他の文字と、の位置関係に応じて、前記入力方向を特定する入力方向特定部、を備える、ことを特徴とすることが好ましい。
【００１７】
この態様によれば、入力部において文字の入力が進む方向である入力方向を考慮して文字を認識するため、文字を精度良く認識することができる。
【００１８】
また、本発明に係る文字認識装置の制御方法は、入力領域に手書きで入力された文字列を認識する文字認識装置の制御方法であって、前記入力領域に手書きで入力された文字列を表す入力情報を取得し、前記文字列に含まれる文字の書字方向と、前記入力領域における前記文字列の入力方向とに応じて、前記文字列に含まれる文字を認識するように、前記文字認識装置を制御する、ことを特徴とする。
【００１９】
本発明では、文字列の入力方向に加えて、文字列に含まれる文字の書字方向を考慮しつつ、文字を認識するため、文字列が任意の向きで入力される場合であっても、文字を精度良く認識することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る文字認識システムＳYSの一例を示す説明図である。
【図２】投射面ＳCに投射される画像Ｉmgの一例を説明するための説明図である。
【図３】投射面ＳCに投射される画像Ｉmgの一例を説明するための説明図である。
【図４】投射面ＳCに投射される画像Ｉmgの一例を説明するための説明図である。
【図５】プロジェクター１の構成の一例を示すブロック図である。
【図６】入力方向ＬAを説明するための説明図である。
【図７】書字方向ＬBを説明するための説明図である。
【図８】書字方向ＬBを説明するための説明図である。
【図９】プロジェクター１の動作の一例を示すフローチャートである。
【図１０】言語情報Ｉnfo-Lのデータ構成の一例を示す図である。
【図１１】システム設定情報Ｉnfo-Sのデータ構成の一例を示す図である。
【発明を実施するための形態】
【００２１】
＜Ａ．実施形態＞
以下、図面を参考にしつつ本発明に係る実施の形態を説明する。なお、図面において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【００２２】
＜１．文字認識システムの概要＞
以下、本実施形態に係る文字認識装置を備える文字認識システムＳYSの概要を説明する。なお、本実施形態では、文字認識装置として、文字を認識する機能を有する表示装置を例示して説明する。
【００２３】
図１は、本実施形態に係る文字認識システムＳYSの一例を示す説明図である。
図１に示すように、文字認識システムＳYSは、テーブル、壁、または、スクリーン等の投射面ＳCに対して画像Ｉmgを投射するであるプロジェクター１（「表示装置」の一例）と、文字認識システムＳYSの利用者が、投射面ＳCに投射される画像Ｉmgにおいて表示させる文字や図形等を入力するための電子ペン９と、を備える。
【００２４】
本実施形態では、図１に示すように、投射面ＳCが、地面に対して水平な面であり、長方形の形状を有する場合を、一例として想定する。
また、本実施形態では、説明の便宜上、投射面ＳCを含む平面上に固定された投射面座標系ΣSを導入する。本実施形態では、投射面座標系ΣSが、投射面ＳCの辺ＳC-Lxに平行な座標軸Ｘsと、投射面ＳCの辺ＳC-Lyに平行な座標軸Ｙsと、を有する２軸の直交座標系である場合を想定する。
【００２５】
電子ペン９は、電子ペン９が投射面ＳCに接触しているか否かを検出する接触センサー９１と、接触センサー９１の検出結果を示す接触状態信号を、プロジェクター１に送信する送信部（図示省略）と、を備える。
【００２６】
プロジェクター１は、投射面ＳCに画像Ｉmgを投射して、投射面ＳCに画像Ｉmgを表示させる投射表示部５（「表示部」の一例）と、投射面ＳCに接触した電子ペン９の位置を特定する特定部３と、を備える。このうち、特定部３は、投射面ＳC及び電子ペン９を撮像し、当該撮像の結果と、電子ペン９から送信された接触状態信号とに基づいて、電子ペン９と投射面ＳCとの接触位置を特定する。そして、投射表示部５は、電子ペン９と投射面ＳCの接触位置の軌跡として表される文字や図形を含む画像Ｉmgを、投射面ＳCに投射する。
すなわち、文字認識システムＳYSの利用者は、画像Ｉmgとして表示させるための文字や図形を、電子ペン９と投射面ＳCの接触位置の軌跡として入力することができる。換言すれば、プロジェクター１は、投射面ＳCにおいて電子ペン９を用いて入力された文字や図形を含む画像（以下、当該画像を「利用者入力画像」と称する）を、画像Ｉmgとして投射面ＳCに投射することができる。
【００２７】
また、プロジェクター１は、パーソナルコンピューターやスマートフォン等の外部機器（図示省略）から供給される画像情報ＧT（図５参照）の示す画像（以下、当該画像を「外部供給画像」と称する）を、画像Ｉmgとして投射面ＳCに投射することができる。また、プロジェクター１は、プロジェクター１の内部で生成した画像（以下、当該画像を「内部生成画像」と称する）を、画像Ｉmgとして投射面ＳCに投射することができる。さらに、プロジェクター１は、利用者入力画像、内部生成画像、及び、外部供給画像の一部または全部を重畳させた画像を、画像Ｉmgとして投射面ＳCに投射することもできる。
例えば、図１では、投射面ＳCに投射される画像Ｉmgが、利用者Ｕ1が電子ペン９を用いて投射面ＳCの−Ｙs側から入力した三角形の図形Ｆg、利用者Ｕ2が電子ペン９を用いて投射面ＳCの＋Ｘs側から入力した「あいう」という手書きの文字列Ｔo[1]、及び、利用者Ｕ3が電子ペン９を用いて投射面ＳCの＋Ｙs側から入力した「ＡＢＣ」という手書きの文字列Ｔo[2]、を表す利用者入力画像と、メニュー画像ＭNを表す内部生成画像と、を重畳させた画像である場合を例示している。
【００２８】
また、プロジェクター１は、手書きで入力される文字列に含まれる各文字を、手書きによる入力の完了後に、明朝体やゴシック体等の活字書体（「所定の書体」の一例）を用いて表示することができる。
具体的には、プロジェクター１は、手書きで文字列が入力される場合に、まず、当該文字列の入力が完了するまでの期間、及び、当該文字列の入力が完了してから所定時間が経過するまでの期間において、当該文字列を、手書きにより入力された線（ストローク）の集合により、利用者入力画像として表示し、次に、当該文字列の入力が完了して所定時間が経過した後の期間において、当該文字列の各文字を、活字書体を用いて、内部生成画像として表示する（図２〜図４参照）。これにより、プロジェクター１は、手書きにより入力された文字列が、乱雑に記載されて読み難い場合であっても、活字書体を用いて、視認性を向上させた態様で表示することができる。
【００２９】
なお、本明細書では、図１でも示したように、手書きの文字列を、手書文字列Ｔoと称する。また、以下では、活字書体を用いて表した文字列を、活字文字列Ｔxと称する。また、図１でも示したように、複数の文字列がある場合等において、複数の文字列の各々を特定するために、ｋ番目に入力される文字列を示す符号に添え字[k]を付して表現する場合がある（ｋは１以上の自然数）。なお、手書文字列Ｔo[k]が入力される場合に、当該手書文字列Ｔo[k]を活字書体で表した文字列が、活字文字列Ｔx[k]である。
【００３０】
次に、文字列及び図形の入力と、当該文字列及び図形を含む画像Ｉmgと、について説明する。
【００３１】
図２〜図４は、投射面ＳCにおいて電子ペン９を用いて入力される文字列及び図形と、プロジェクター１により投射面ＳCに投射される画像Ｉmgと、を説明するための説明図である。このうち、図２は、時刻Ｔ1において投射面ＳCに投射される画像Ｉmgの一例を示し、図３は、時刻Ｔ1よりも後の時刻Ｔ2において投射面ＳCに投射される画像Ｉmgの一例を示し、図４は、時刻Ｔ2よりも後の時刻Ｔ3において投射面ＳCに投射される画像Ｉmgの一例を示す。
【００３２】
図２〜図４では、文字認識システムＳYSの利用者による「あいうえお」という手書文字列Ｔo[1]の入力が、時刻Ｔ1よりも前の時刻に開始され、時刻Ｔ2に完了する場合を想定している。
この場合、プロジェクター１は、手書文字列Ｔo[1]の入力中である時刻Ｔ1において、図２に示すように、「あいう」という入力中の手書文字列Ｔo[1]を表す利用者入力画像を、投射面ＳCに投射する。次に、プロジェクター１は、手書文字列Ｔo[1]の入力が完了するタイミングの時刻Ｔ2において、図３に示すように、「あいうえお」という入力の完了した手書文字列Ｔo[1]を表す利用者入力画像を、投射面ＳCに投射する。その後、プロジェクター１は、手書文字列Ｔo[1]の入力が完了してから所定時間が経過した後の時刻Ｔ3において、図４に示すように、手書文字列Ｔo[1]を表す利用者入力画像の代わりに、手書文字列Ｔo[1]に含まれる各文字を活字書体に置き換えた活字文字列Ｔx[1]を表す内部生成画像を、投射面ＳCに投射する。
【００３３】
また、図２〜図４では、文字認識システムＳYSの利用者による手書文字列Ｔo[2]及び図形Ｆgの入力が、時刻Ｔ1よりも前の時刻に完了している場合を想定している。このため、プロジェクター１は、時刻Ｔ1〜Ｔ3において、手書文字列Ｔo[2]に含まれる各文字を活字書体に置き換えた活字文字列Ｔx[2]を表す内部生成画像と、図形Ｆgを表す利用者入力画像とを、投射面ＳCに投射する。
【００３４】
また、上述のとおり、投射面ＳCに投射される画像Ｉmgのうち内部生成画像には、メニュー画像ＭNが含まれる。メニュー画像ＭNは、電子ペン９による操作の種類を選択するための、複数の操作ボタンを含む。
具体的には、本実施形態において、メニュー画像ＭNには、操作ボタンとして、横書きの手書文字列Ｔoを入力する横書文字列入力操作を行うための横書文字入力ボタンＢT1と、縦書きで手書文字列Ｔoを入力する縦書文字列入力操作を行うための縦書文字入力ボタンＢT2と、図形Ｆgを入力する図形入力操作を行うための図形入力ボタンＢT3〜ＢT7と、画像Ｉmgに含まれる手書文字列Ｔo、活字文字列Ｔx、または、図形Ｆgを消去する消去操作を行うための消去ボタンＢT8と、が設けられる。
【００３５】
文字認識システムＳYSは、電子ペン９が一の操作ボタンＢTに接触した後、次に電子ペン９が当該一の操作ボタンＢTに接触するまでの期間において、当該一の操作ボタンＢTが選択された状態を維持する。そして、文字認識システムＳYSの利用者は、一の操作ボタンＢTが選択されている状態において、当該一の操作ボタンＢTに対応する操作を行うことができる。例えば、文字認識システムＳYSの利用者は、電子ペン９を操作ボタンＢT3に接触させてから、次に電子ペン９を操作ボタンＢT3に接触させるまでの間、三角形の図形Ｆgを入力する図形入力操作を行うことができる。
なお、本実施形態では、横書文字列入力操作を、デフォルトの操作とする。すなわち、本実施形態において、文字認識システムＳYSは、文字認識システムＳYSの利用者が、何れの操作ボタンＢTも選択していない場合には、横書文字入力ボタンＢT1が選択され、横書文字列入力操作が実行される状態であると看做す。
また、本実施形態に係るプロジェクター１は、選択中の操作ボタンＢTが強調表示されるような画像Ｉmgを、投射面ＳCに投射する。例えば、プロジェクター１は、横書文字入力ボタンＢT1が選択されている場合、図２〜図４に示すように、横書文字入力ボタンＢT1が強調表示されるような画像Ｉmgを、投射面ＳCに投射する。
【００３６】
＜２．プロジェクターの構成＞
以下、本実施形態に係るプロジェクター１の構成を説明する。
【００３７】
図５は、本実施形態に係るプロジェクター１の構成の一例を示すブロック図である。
図５に示すように、プロジェクター１は、プロジェクター１の各部を制御する制御部２と、各種情報を記憶する記憶部４と、上述した特定部３及び投射表示部５と、を備える。
【００３８】
記憶部４は、例えば、ＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）等を含んで構成される。本実施形態において、記憶部４は、プロジェクター１の制御プログラムＰRGと、文字の形状に関する情報である文字情報Ｉnfo-Cと、選択中の操作の種類を示す操作情報Ｉnfo-Mと、を記憶している。
【００３９】
図５に示すように、特定部３は、接触位置特定部３１と、撮像部３２と、を備える。このうち、撮像部３２は、投射面ＳC及び電子ペン９を周期的に撮像し、接触位置特定部３１に対して撮像結果を出力する。また、接触位置特定部３１は、上述のとおり、電子ペン９から送信される接触状態信号が、電子ペン９及び投射面ＳCが接触していることを示す場合に、撮像部３２における撮像結果に基づいて、電子ペン９及び投射面ＳCの接触位置を特定する。そして、接触位置特定部３１は、特定した接触位置を示す位置情報ＰNを周期的に生成し、生成した位置情報ＰNを制御部２に供給する。位置情報ＰNの示す接触位置は、例えば、投射面座標系ΣSにおける座標として表現される。
なお、上述のとおり、文字認識システムＳYSの利用者は、電子ペン９及び投射面ＳCの接触位置の軌跡として、文字列及び図形を入力する。すなわち、位置情報ＰNは、投射面ＳCから入力される文字列及び図形を表す「入力情報」の一例である。また、投射面ＳCは、文字認識システムＳYSの利用者が入力情報を入力する「入力領域」の一例である。
【００４０】
制御部２は、ＣＰＵ（Central Processing Unit）等を含んで構成され、当該ＣＰＵ等が、記憶部４に記憶された制御プログラムＰRGを実行し、制御プログラムＰRGに従って動作することで、各種機能を実現する。具体的には、図５に示すように、制御部２のＣＰＵ等は、制御プログラムＰRGに従って動作することで、取得部２１、入力方向特定部２２、書字方向特定部２３、回転部２４１及び文字認識部２４２を含む認識部２４、並びに、画像情報生成部２５としての機能を実現する。
【００４１】
取得部２１は、接触位置特定部３１から供給される位置情報ＰNを取得する。そして、取得部２１は、位置情報ＰNに基づいて、投射面ＳCから入力された手書文字列Ｔo[k]を表す文字列情報ＲS[k]と、投射面ＳCから入力された図形Ｆgを表す図形情報ＲLと、を生成する。
具体的には、取得部２１は、操作情報Ｉnfo-Mの示す操作が横書文字列入力操作または縦書文字列入力操作である場合には、位置情報ＰNに基づいて、文字列情報ＲS[k]を生成する。また、取得部２１は、操作情報Ｉnfo-Mの示す操作が図形入力操作である場合には、位置情報ＰNに基づいて、図形情報ＲLを生成する。なお、取得部２１は、文字列情報ＲS[k]または図形情報ＲLを既に生成している場合には、位置情報ＰNに基づいて、文字列情報ＲS[k]または図形情報ＲLを更新する。また、取得部２１は、操作情報Ｉnfo-Mの示す操作が消去操作である場合には、位置情報ＰNに基づいて、文字列情報ＲS[k]及び図形情報ＲLを更新または消去する。
なお、本実施形態において、文字列情報ＲS[k]は、手書文字列Ｔo[k]の位置及び形状を投射面座標系ΣSにおいて表した情報であり、図形情報ＲLは、図形Ｆgの位置及び形状を投射面座標系ΣSにおいて表した情報であることとする。
【００４２】
また、取得部２１は、位置情報ＰNが、メニュー画像ＭN上の接触位置を示す場合には、当該接触位置に対応する操作ボタンＢTの示す操作の種類に応じて、記憶部４に記憶されている操作情報Ｉnfo-Mを更新する。
【００４３】
入力方向特定部２２は、文字列情報ＲS[k]の示す手書文字列Ｔo[k]の入力方向ＬA[k]を特定する。
図６は、入力方向ＬA[k]を説明するための説明図である。図６に示すように、入力方向ＬA[k]とは、投射面座標系ΣSにおいて、手書文字列Ｔo[k]が書き進められる方向である。入力方向特定部２２は、例えば、投射面座標系ΣSにおいて、手書文字列Ｔo[k]のうち先に入力された文字から、後に入力される文字を示す方向として、入力方向ＬA[k]を特定する。
【００４４】
なお、本実施形態では、入力方向ＬA[k]を、投射面座標系ΣSのＸs軸を基準とした、投射面ＳCを上側から見て反時計回りの角度θA[k]により表現する。例えば、図６に示す例では、横書きの手書文字列Ｔo[1]の入力方向ＬA[1]を表す角度θA[1]は、「６０度」であり、縦書きの手書文字列Ｔo[2]の入力方向ＬA[2]を表す角度θA[2]は、「−６０度」である。
【００４５】
書字方向特定部２３は、文字列情報ＲS[k]の示す手書文字列Ｔo[k]の書字方向ＬB[k]を特定する。
図７及び図８は、書字方向ＬB[k]を説明するための説明図である。図７及び図８に示すように、書字方向ＬB[k]とは、文字座標系ΣCにおいて、手書文字列Ｔo[k]が書き進められる方向である。
ここで、文字座標系ΣCとは、図６〜図８に示すように、投射面ＳCを含む平面上において、手書文字列Ｔo[k]の文字に固定された座標系である。本実施形態では、文字座標系ΣCが、手書文字列Ｔo[k]の文字を基準として横方向に延在する座標軸Ｘcと、手書文字列Ｔo[k]の文字を基準として縦方向に延在する座標軸Ｙcと、を有する２軸の直交座標系である場合を想定する。換言すれば、文字座標系ΣCは、投射面座標系ΣSの各軸を、反時計回りに角度θA[k]だけ回転させた座標系である。
【００４６】
本実施形態では、書字方向ＬB[k]を、文字座標系ΣCのＸc軸を基準とした、投射面ＳCを上側から見て反時計回りの角度θB[k]により表現する。例えば、図６〜図８に示す例では、横書きの手書文字列Ｔo[1]の書字方向ＬB[1]を表す角度θB[1]は、「０度」であり、縦書きの手書文字列Ｔo[2]の書字方向ＬB[2]を表す角度θB[2]は、「−９０度」である。
【００４７】
書字方向特定部２３は、例えば、操作情報Ｉnfo-Mの示す実行中の操作の種類（「書字方向に関する情報」の一例）に応じて、書字方向ＬB[k]を特定する。具体的には、書字方向特定部２３は、図７に示すように、操作情報Ｉnfo-Mの示す操作が、横書文字列入力操作である場合、書字方向ＬB[k]を表す角度θB[k]を、「０度」と特定し、図８に示すように、操作情報Ｉnfo-Mの示す操作が、縦書文字列入力操作である場合、書字方向ＬB[k]を表す角度θB[k]を、「−９０度」と特定する。
【００４８】
上述のとおり、認識部２４は、回転部２４１と、文字認識部２４２とを含み、入力方向特定部２２の特定した入力方向ＬA[k]と、書字方向特定部２３の特定した書字方向ＬB[k]と、に応じて、手書文字列Ｔo[k]に含まれる文字を認識する。
【００４９】
回転部２４１は、文字列情報ＲS[k]の示す手書文字列Ｔo[k]の文字の傾きが無くなるように、手書文字列Ｔo[k]を、反時計回りに、角度（θB[k]−θA[k]）だけ回転させる。換言すれば、回転部２４１は、投射面座標系ΣSにおいて表現される手書文字列Ｔo[k]を、文字座標系ΣC上から見た文字列として表現する。以下、投射面座標系ΣS上の手書文字列Ｔo[k]を、反時計回りに、角度（θB[k]−θA[k]）だけ回転させることで得られる、文字座標系ΣC上の文字列を、手書文字列ＣＴo[k]と称する。
例えば、回転部２４１は、図６及び図７に示す例において、投射面座標系ΣS上の手書文字列Ｔo[1]を、「（０−６０）度」、つまり、「−６０度」だけ反時計回りに回転させることで、手書文字列ＣＴo[1]を生成し、図６及び図８に示す例において、投射面座標系ΣS上の手書文字列Ｔo[2]を、「｛（−９０）−（−６０）｝」度、つまり、「−３０度」だけ反時計回りに回転させることで、手書文字列ＣＴo[2]を生成する。
【００５０】
文字認識部２４２は、文字情報Ｉnfo-Cに基づいて、手書文字列ＣＴo[k]に含まれる各文字を認識する。そして、文字認識部２４２は、認識した各文字を、活字書体を用いて表された文字に変換する。つまり、文字認識部２４２は、手書文字列ＣＴo[k]に含まれる各文字を活字書体により表した、活字文字列ＣＴx[k]に変換する。ここで、活字文字列ＣＴx[k]とは、活字文字列Ｔx[k]を、文字座標系ΣCにおいて表した文字列である。
【００５１】
回転部２４１は、活字文字列ＣＴx[k]を、反時計回りに、角度（θA[k]−θB[k]）だけ回転させることで、手書文字列Ｔo[k]と同じ入力方向ＬA[k]を向いた活字文字列Ｔx[k]を生成する。そして、回転部２４１は、活字文字列Ｔx[k]を表す文字列情報ＲT[k]を、画像情報生成部２５に対して出力する。ここで、文字列情報ＲT[k]とは、活字文字列Ｔx[k]の位置及び形状を、投射面座標系ΣSにおいて表した情報である。
【００５２】
画像情報生成部２５は、図形情報ＲLと、操作情報Ｉnfo-Mと、文字列情報ＲS[k]及び文字列情報ＲT[1]〜ＲT[k]の少なくとも一部と、に基づいて、画像情報ＧSを生成する。
【００５３】
具体的には、画像情報生成部２５は、手書文字列Ｔo[k]の入力中の期間または手書文字列Ｔo[k]の入力完了から所定時間が経過するまでの期間において、図形情報ＲLと、操作情報Ｉnfo-Mと、文字列情報ＲS[k]と、に基づいて、画像情報ＧSを生成する。この場合、プロジェクター１は、図形情報ＲLの示す図形Ｆgを表す利用者入力画像と、操作情報Ｉnfo-Mの示す操作に対応する操作ボタンＢTが強調表示されたメニュー画像ＭNを表す内部生成画像と、文字列情報ＲS[k]の示す手書文字列Ｔo[k]を表す利用者入力画像と、を含む画像Ｉmgを、投射面ＳCに投射することになる。
【００５４】
また、画像情報生成部２５は、手書文字列Ｔo[k]の入力完了から所定時間が経過した後の期間において、図形情報ＲLと、操作情報Ｉnfo-Mと、文字列情報ＲT[k]と、に基づいて、画像情報ＧSを生成する。この場合、プロジェクター１は、図形情報ＲLの示す図形Ｆgを表す利用者入力画像と、メニュー画像ＭNを表す内部生成画像と、文字列情報ＲT[k]の示す活字文字列Ｔx[k]を表す内部生成画像と、を含む画像Ｉmgを、投射面ＳCに投射することになる。
【００５５】
なお、本実施形態では、文字認識システムＳYSが、電子ペン９を１つのみ備える場合を想定する。このため、画像情報生成部２５は、複数の手書文字列Ｔoが入力された場合、すなわち、ｋが「ｋ≧２」を満たす場合には、図形情報ＲL、操作情報Ｉnfo-M、及び、文字列情報ＲS[k]または文字列情報ＲT[k]に加え、文字列情報ＲT[1]〜ＲT[k-1]に基づいて、画像情報ＧSを生成する。この場合、プロジェクター１は、図形情報ＲLの示す図形Ｆgを表す利用者入力画像と、メニュー画像ＭNを表す内部生成画像と、文字列情報ＲS[k]の示す手書文字列Ｔo[k]を表す利用者入力画像、または、文字列情報ＲT[k]の示す活字文字列Ｔx[k]を表す内部生成画像と、文字列情報ＲT[1]〜ＲT[k-1]の示す活字文字列Ｔx[1]〜Ｔx[k-1]を表す内部生成画像と、含む画像Ｉmgを、投射面ＳCに投射することになる。
【００５６】
図５に示すように、投射表示部５は、画像処理部５１と、透過型の液晶パネル５２１（「光変調装置」の一例）及び光源５２２を含む投射部５２と、を備える。
このうち、画像処理部５１は、制御部２から供給される画像情報ＧSと、外部機器から供給される画像情報ＧTと、に基づいて、階調信号ＤGを生成する。ここで、階調信号ＤGとは、投射部５２が画像情報ＧSの示す画像と画像情報ＧTの示す画像とを重畳させた画像Ｉmgを投射するように、液晶パネル５２１に設けられる各画素が表示すべき階調（各画素の透過率）を規定する信号である。階調信号ＤGが供給される液晶パネル５２１の各画素は、光源５２２から出射された光を、階調信号ＤGにより規定される透過率で透過させる。これにより、投射部５２は、画像情報ＧSの示す画像と画像情報ＧTの示す画像とを重畳させた画像Ｉmgを、投射面ＳCに対して投射する。
なお、本実施形態では、光変調装置として、透過型の液晶パネル５２１を例示して説明するが、本発明はこのような態様に限定されるものではなく、光変調装置は、入射する光を階調信号ＤGに応じて変調可能なものであればよい。例えば、光変調装置として、デジタルミラーデバイス（ＤＭＤ）を採用してもよい。
【００５７】
＜３．プロジェクターの動作＞
以下、本実施形態に係るプロジェクター１の動作を説明する。
【００５８】
図９は、プロジェクター１に設けられる制御部２の動作の概要を例示するフローチャートである。当該フローチャートは、例えば、プロジェクター１の電源がオンされて、プロジェクター１が画像Ｉmgの投射を開始する場合に、開始される。
【００５９】
図９に示すように、制御部２は、まず、図形情報ＲL及び文字列情報ＲSを初期化する（Ｓ１１）。具体的には、制御部２は、ステップＳ１１において、図形情報ＲLが図形Ｆgを含まず、文字列情報ＲSが手書文字列Ｔoを含まないように、図形情報ＲL及び文字列情報ＲSを初期化する。
【００６０】
次に、制御部２は、特定部３から位置情報ＰNが供給されたか否かを判定する（Ｓ１２）。そして、制御部２は、ステップＳ１２の判定結果が肯定である場合、特定部３が出力する位置情報ＰNを取得する（Ｓ１３）。なお、制御部２は、ステップＳ１２の判定結果が否定である場合、処理をステップＳ２６に進める。
【００６１】
次に、制御部２は、位置情報ＰNの示す、電子ペン９及び投射面ＳCの接触位置に基づいて、文字認識システムＳYSの利用者が、図形Ｆgまたは手書文字列Ｔoを描画しているか否かを判定する（Ｓ１４）。具体的には、制御部２は、ステップＳ１４において、位置情報ＰNの示す接触位置が、メニュー画像ＭNとは異なる位置であるか否かを判定する。
そして、制御部２は、ステップＳ１４の判定結果が肯定である場合、操作情報Ｉnfo-Mに基づいて、文字認識システムＳYSの利用者により実行されている操作が、文字列入力操作であるか否か、すなわち、横書文字列入力操作または縦書文字列入力操作であるか否かを判定する（Ｓ１５）。
【００６２】
次に、制御部２は、ステップＳ１５の判定結果が肯定である場合、位置情報ＰNに基づいて、文字列情報ＲS[k]を生成または更新し、当該文字列情報ＲS[k]を記憶部４に記憶させる（Ｓ１６）。
【００６３】
次に、制御部２は、手書文字列Ｔo[k]の入力完了から所定時間が経過し、且つ、手書文字列Ｔo[k]に対応する活字文字列Ｔx[k]を表す文字列情報ＲT[k]の生成が未済であるか否かを判定する（Ｓ１７）。
そして、制御部２は、ステップＳ１７の判定結果が肯定である場合、文字列情報ＲS[k]の示す手書文字列Ｔo[k]の入力方向ＬA[k]を特定する（Ｓ１８）。具体的には、制御部２は、ステップＳ１８において、投射面座標系ΣSのＸs軸を基準とする入力方向ＬA[k]の角度θA[k]を特定する。また、制御部２は、ステップＳ１７の判定結果が肯定である場合、文字列情報ＲS[k]の示す手書文字列Ｔo[k]の書字方向ＬB[k]を特定する（Ｓ１９）。具体的には、制御部２は、ステップＳ１９において、操作情報Ｉnfo-Mの示す文字列入力操作の種類に基づいて、文字座標系ΣCの座標軸Ｘc及び書字方向ＬB[k]のなす角度θB[k]を特定する。なお、制御部２は、ステップＳ１７の判定結果が否定である場合、処理をステップＳ２６に進める。
【００６４】
次に、制御部２は、手書文字列Ｔo[k]を、反時計回りに角度（θB[k]−θA[k]）だけ回転させることで、手書文字列ＣＴo[k]を生成する（Ｓ２０）。そして、制御部２は、手書文字列ＣＴo[k]に含まれる各文字を認識し、認識した各文字を活字書体により表現することで、活字文字列ＣＴx[k]を生成する（Ｓ２１）。さらに、制御部２は、活字文字列ＣＴx[k]を反時計回りに角度（θA[k]−θB[k]）だけ回転させた活字文字列Ｔx[k]を表す文字列情報ＲT[k]を生成し、当該文字列情報ＲT[k]を記憶部４に記憶させる（Ｓ２２）。その後、制御部２は、文字列情報ＲS[k]を初期化する（Ｓ２３）。具体的には、制御部２は、ステップＳ２３において、文字列情報ＲS[k]の示す手書文字列Ｔo[k]を消去する。
【００６５】
また、制御部２は、ステップＳ１４の判定結果が否定である場合、すなわち、位置情報ＰNの示す接触位置がメニュー画像ＭN内の位置である場合、位置情報ＰNの示す操作ボタンＢTに応じて、操作情報Ｉnfo-Mを更新する（Ｓ２４）。
また、制御部２は、ステップＳ１５の判定結果が否定である場合、位置情報ＰNに基づいて、図形情報ＲLを生成または更新し、当該図形情報ＲLを記憶部４に記憶させる（Ｓ２５）。
【００６６】
その後、制御部２は、液晶パネル５２１のフレームレート等に基づいて、画像情報ＧSの出力タイミングが到来しているか否かを判定する（Ｓ２６）。
【００６７】
そして、制御部２は、ステップＳ２６の判定結果が肯定である場合、画像情報ＧSを生成する（Ｓ２７）。具体的には、制御部２は、ステップＳ２７において、例えば、文字列の個数ｋが２以上である場合には、上述のとおり、図形情報ＲLと、操作情報Ｉnfo-Mと、文字列情報ＲS[k]または文字列情報ＲT[k]と、文字列情報ＲT[1]〜ＲT[k-1]と、に基づいて、画像情報ＧSを生成し、当該画像情報ＧSを投射表示部５に供給する。なお、制御部２は、ステップＳ２６の判定結果が否定である場合、処理をステップＳ２８に進める。
【００６８】
その後、制御部２は、プロジェクター１の電源がオフされる等、プロジェクター１が画像Ｉmgの投射を終了するか否かを判定する（Ｓ２８）。そして、制御部２は、ステップＳ２８の判定結果が肯定である場合、図９のフローチャートに示す一連の処理を終了させる。他方、制御部２は、ステップＳ２８の判定結果が否定である場合、処理をステップＳ１２に進める。
【００６９】
このように、制御部２は、ステップＳ１１〜Ｓ１７、Ｓ２３〜Ｓ２５の何れかを実行する場合に、取得部２１として機能し、ステップＳ１８を実行する場合に、入力方向特定部２２として機能し、ステップＳ１９を実行する場合に、書字方向特定部２３として機能し、ステップＳ２０、または、Ｓ２２を実行する場合に、認識部２４のうち回転部２４１として機能し、ステップＳ２１を実行する場合に、認識部２４のうち文字認識部２４２として機能し、ステップＳ２６、または、Ｓ２７を実行する場合に、画像情報生成部２５として機能することになる。
【００７０】
＜４．実施形態の結論＞
以上において説明したように、本実施形態に係るプロジェクター１は、文字認識システムＳYSの利用者が手書きで入力した手書文字列Ｔo[k]に含まれる各文字の傾きが無くなるように回転させた後に、当該手書文字列Ｔo[k]に含まれる各文字を認識する。このため、本実施形態によれば、文字が傾いたままで文字を認識する場合と比較して、文字の認識精度を向上させることが可能となる。
【００７１】
また、本実施形態に係るプロジェクター１は、文字認識システムＳYSの利用者が手書きで入力した手書文字列Ｔo[k]を、当該手書文字列Ｔo[k]の入力が完了した後に、活字書体を用いた活字文字列Ｔx[k]として、投射面ＳCに投射する。このため、本実施形態によれば、手書文字列Ｔo[k]の各文字が乱雑に記載されて読み難い場合であっても、文字認識システムＳYSの利用者が、各文字を容易に認識することが可能となる。
【００７２】
＜Ｂ．変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は相互に矛盾しない範囲内で適宜に併合され得る。
【００７３】
＜変形例１＞
上述した実施形態において、プロジェクター１は、操作情報Ｉnfo-Mに基づいて書字方向ＬBを特定するが、本発明はこのような態様に限定されるものではなく、プロジェクター１は、操作情報Ｉnfo-M以外の情報に基づいて書字方向ＬBを特定してもよい。例えば、プロジェクター１は、言語の性質に関する情報である言語情報Ｉnfo-Lと、プロジェクター１が各種情報を表示する場合に使用する言語を示す情報であるシステム設定情報Ｉnfo-Sと、に基づいて、書字方向ＬBを特定してもよい。
【００７４】
図１０は、本変形例に係る記憶部４に記憶されている、言語情報Ｉnfo-Lのデータ構成の一例を示す図である。
図１０に示すように、言語情報Ｉnfo-Lは、例えば、言語の種類と、各言語において使用される典型的な書字方向ＬBGを示す書字方向情報と、各言語が複数の書字方向ＬBGにより記載される場合の各書字方向ＬBGの使用頻度を示す使用頻度情報と、を含む。
図１０に例示する言語情報Ｉnfo-Lにおいて、言語が「日本語」である場合、書字方向情報は、「横書き（θB＝０度）」及び「縦書き（θB＝−９０度）」を示し、また、使用頻度情報は、「横書き」については使用頻度が高いことを表す値「１」を示し、「縦書き」については使用頻度が低いことを表す値「２」を示している。また、図１０に例示する言語情報Ｉnfo-Lにおいて、言語が「英語」または「ドイツ語」である場合、書字方向情報は、「横書き（θB＝０度）」を示し、また、使用頻度情報は、「横書き」の使用頻度が高いことを表す値「１」を示している。また、図１０に例示する言語情報Ｉnfo-Lにおいて、言語が「アラビア語」である場合、書字方向情報は、「左向き横書き（θB＝１８０度）」を示し、使用頻度情報は、「左向き横書き」の使用頻度が高いことを表す値「１」を示している。
【００７５】
図１１は、本変形例に係る記憶部４に記憶されている、システム設定情報Ｉnfo-Sのデータ構成の一例を示す図である。
図１１に示すように、システム設定情報Ｉnfo-Sは、例えば、言語の種類と、各言語がプロジェクター１において使用されているか否かを示すシステム使用言語情報と、を含む。
図１１に例示するシステム設定情報Ｉnfo-Sでは、言語が「日本語」である場合に、システム使用言語情報が、プロジェクター１の使用する言語であることを表す値「１」を示し、言語が「日本語」以外の言語である場合に、システム使用言語情報が、プロジェクター１の使用しない言語であることを表す値「０」を示している。なお、システム使用言語情報は、典型的には、プロジェクター１が販売される地域において使用される言語に応じて設定される。
【００７６】
本変形例に係るプロジェクター１は、システム設定情報Ｉnfo-S及び言語情報Ｉnfo-Lに基づいて、手書文字列Ｔo[k]の書字方向ＬB[k]を特定する。具体的には、制御部２は、システム使用言語情報が「１」である言語に対応する書字方向情報の示す書字方向ＬBGが１種類の場合、当該書字方向ＬBGを、手書文字列Ｔo[k]の書字方向ＬB[k]として特定する。また、制御部２は、システム使用言語情報が「１」である言語に対応する書字方向情報の示す書字方向ＬBGが２種類以上の場合、当該複数の書字方向ＬBGの中で、使用頻度情報の示す頻度の高い書字方向ＬBGを、手書文字列Ｔo[k]の書字方向ＬB[k]として特定する。なお、書字方向ＬBGが２種類以上の場合には、上述した実施形態のように、文字認識システムＳYSの利用者が選択する態様としてもよい。
【００７７】
＜変形例２＞
上述した実施形態及び変形例において、メニュー画像ＭNには、文字入力ボタンとして、横書文字入力ボタンＢT1と縦書文字入力ボタンＢT2とが表示されるが、本発明はこのような態様に限定されるものではなく、変形例１において説明した言語情報Ｉnfo-L及びシステム設定情報Ｉnfo-Sに応じて、メニュー画像ＭNに表示させる文字入力ボタンの種類及び個数を決定してもよい。
具体的には、制御部２は、システム使用言語情報が「１」である言語に対応する書字方向情報の示す書字方向ＬBGに基づいて、メニュー画像ＭNに表示させる文字入力ボタンを決定してもよい。例えば、図１０及び図１１に示す例において、システム使用言語情報が「１」である言語が「アラビア語」の場合、アラビア語に対応する書字方向情報の示す書字方向ＬBGである「左向き横書き」を表すような文字入力ボタンを、メニュー画像ＭNに表示させればよい。
【００７８】
＜変形例３＞
上述した実施形態及び変形例において、文字認識システムＳYSの利用者は、投射面ＳCのうち、メニュー画像ＭN以外の任意の領域に、手書文字列Ｔoを入力可能であるが、本発明はこのような態様に限定されるものではなく、文字認識システムＳYSの利用者の操作により、投射面ＳC上に、手書文字列Ｔoを入力するための長方形の領域である文字入力ボックスを表示させ、当該文字入力ボックス内に、手書文字列Ｔoを入力する態様としてもよい。
この場合、文字認識システムＳYSの利用者の操作により、文字入力ボックスを回転可能としてもよい。そして、この場合、プロジェクター１は、文字入力ボックスの傾きに基づいて、入力方向ＬA[k]を特定してもよい。
【００７９】
＜変形例４＞
上述した実施形態及び変形例において、特定部３は、電子ペン９から送信される接触状態信号に基づいて、電子ペン９と投射面ＳCとの接触位置を特定するが、本発明はこのような態様に限定されるものではなく、特定部３は、電子ペン９の撮像結果に基づいて、電子ペン９と投射面ＳCとの接触位置を特定してもよい。この場合、電子ペン９は、接触センサー９１及び送信部を備えずに構成されてもよく、投射面ＳC上の位置を指示することのできる指示体であればよい。なお、投射面ＳCにおいて手書文字列Ｔoや図形Ｆgを入力するための指示体として、電子ペン９の代わりに、例えば、文字認識システムＳYSの利用者の指を用いてもよい。
【００８０】
＜変形例５＞
上述した実施形態及び変形例において、文字認識システムＳYSは、電子ペン９等の指示体を、１つのみ備えるが、本発明はこのような態様に限定されるものではなく、文字認識システムＳYSは、２個以上の指示体を備えてもよい。この場合、投射面ＳCにおいて同時に複数の手書文字列Ｔoまたは図形Ｆgを入力可能としてもよい。
【００８１】
＜変形例６＞
上述した実施形態及び変形例において、投射表示部５は、投射面ＳCの上側から画像Ｉmgを投射するが、本発明はこのような態様に限定されるものではなく、投射表示部５は、投射面ＳCの下側から画像Ｉmgを投射してもよい。この場合、投射面ＳCとして、例えば、透過型のスクリーンを採用すればよい。
【００８２】
＜変形例７＞
上述した実施形態及び変形例において、投射面ＳCは、長方形の形状を有する、地面に対して水平な面であるが、本発明はこのような態様に限定されるものではなく、投射面ＳCの形状及び向きは任意である。例えば、投射面ＳCは円形であってもよく、投射面ＳCは地面に対して垂直な面であってもよい。
【００８３】
＜変形例８＞
上述した実施形態及び変形例において、プロジェクター１は、手書文字列Ｔo[k]に含まれる各文字を、活字書体により表示するが、本発明はこのような態様に限定されるものではなく、プロジェクター１は、手書文字列Ｔo[k]に含まれる各文字を、活字書体及び活字書体以外の書体の少なくとも一方を含む１または複数の書体により表示するものであればよい。
【００８４】
＜変形例９＞
上述した実施形態及び変形例では、手書文字列Ｔo[k]等が入力される入力領域として、画像Ｉmgが投射されるスクリーン等の投射面ＳCを例示したが、本発明はこのような態様に限定されるものではなく、入力領域として、例えば、画像Ｉmgを表示可能であるとともに、指示体の接触位置を検出可能なタッチパネル等を採用してもよい。この場合、入力領域と表示部とを、一体として構成してもよい。
【００８５】
＜変形例１０＞
上述した実施形態及び変形例では、表示部として、表示部とは異なる場所に設けられた投射面ＳCに画像Ｉmgを表示させる投射表示部５を例示したが、本発明はこのような態様に限定されるものではなく、表示部は、当該表示部において画像Ｉmgを表示するものであってもよい。この場合、表示部としては、直視型のディスプレイや、タッチパネル等を採用してもよい。
すなわち、上述した実施形態及び変形例では、表示装置として、投射面ＳCに画像Ｉmgを表示させる投射表示部５を備えるプロジェクター１を例示したが、本発明はこのような態様に限定されるものではなく、表示装置は、画像Ｉmgを表示可能な表示部を具備するものであればよい。
【００８６】
＜変形例１１＞
上述した実施形態及び変形例では、文字認識装置として、投射表示部５等の表示部を有する表示装置を例示して説明したが、本発明はこのような態様に限定されるものではなく、文字認識装置は、表示部を備えない表示装置以外の装置であってもよい。この場合、文字認識装置は、少なくとも認識部２４を有するものであればよく、例えば、認識部２４に加えて、取得部２１、入力方向特定部２２、書字方向特定部２３、及び、画像情報生成部２５の、一部または全部を備えるものであってもよい。
【符号の説明】
【００８７】
１…プロジェクター、２…制御部、３…特定部、４…記憶部、５…投射表示部、９…電子ペン、２１…取得部、２２…入力方向特定部、２３…書字方向特定部、２４…認識部、２５…画像情報生成部、３１…接触位置特定部、３２…撮像部、５１…画像処理部、５２…投射部、２４１…回転部、２４２…文字認識部、５２１…液晶パネル、５２２…光源、ＳC…投射面。
【図１】
2017228095.tif 000003
【図２】
2017228095.tif 000004
【図３】
2017228095.tif 000005
【図４】
2017228095.tif 000006
【図５】
2017228095.tif 000007
【図６】
2017228095.tif 000008
【図７】
2017228095.tif 000009
【図８】
2017228095.tif 000010
【図９】
2017228095.tif 000011
【図１０】
2017228095.tif 000012
【図１１】
2017228095.tif 000013