(57)【要約】【課題】手書き文字を見易く配置する画像処理装置、方法及びプログラムを提供する。【解決手段】実施形態における画像処理装置は、取得部と、処理部と、を含む。前記取得部は、第１文字列を含む入力画像を取得する。前記処理部は、前記第１文字列の状態に基づいて、前記入力画像から抽出され前記第１文字列に関する第１方向に延在する第１抽出画像から、前記第１方向とは異なる第２方向に延在する第１生成画像を生成する第１動作を実施する。【選択図】図１
2016181057.tif 000002
【特許請求の範囲】
【請求項１】
第１文字列を含む入力画像を取得する取得部と、
前記第１文字列の状態に基づいて、前記入力画像から抽出され前記第１文字列に関し第１方向に延在する第１抽出画像から、前記第１方向とは異なる第２方向に延在する第１生成画像を生成する第１動作を実施する処理部と、
を備えた画像処理装置。
【請求項２】
前記入力画像は、第２文字列をさらに含み、
前記入力画像から抽出され前記第２文字列に関し第３方向に延在する第２抽出画像の前記第３方向と、前記第１方向との間の角度の絶対値は、前記第２方向と前記第３方向との間の角度の絶対値よりも大きい請求項１記載の画像処理装置。
【請求項３】
前記入力画像は、第２文字列をさらに含み、
前記処理部は、前記入力画像から抽出され前記第２文字列に関し第３方向に延在する第２抽出画像から、前記第３方向とは異なる第４方向に延在する第２生成画像を生成する請求項１記載の画像処理装置。
【請求項４】
前記第４方向は、前記第２方向と同じである請求項３記載の画像処理装置。
【請求項５】
前記入力画像は、第２文字列と、第３文字列と、をさらに含み、
前記入力画像から抽出され前記第２文字列に関する第２抽出画像と、前記第１抽出画像とを結ぶ第１線分と、前記入力画像から抽出され前記第３文字列に関する第３抽出画像と、前記第１抽出画像と、とを結ぶ第２線分と、が交差し、
前記処理部は、前記第１抽出画像と前記第３抽出画像との間に非文字シンボルが設けられているときに、前記第１抽出画像と前記第２抽出画像とを統合化する請求項１記載の画像処理装置。
【請求項６】
前記処理部は、前記第１画像を囲む第１矩形領域を設定し、
前記第１動作は、前記入力画像内に定められた設定方向に対する前記第１矩形領域の第１傾きを変更して前記第１抽出画像から前記第１生成画像を生成することを含む請求項１〜５のいずれか１つに記載の画像処理装置。
【請求項７】
前記処理部は、前記第１画像を囲む第１矩形領域を設定し、
前記第１動作は、前記入力画像内に定められた設定方向に対する前記第１矩形領域の第１傾きが第１基準傾きよりも大きいときに、前記第１傾きを変更して前記第１抽出画像から前記第１生成画像を生成することを含む請求項１〜５のいずれか１つに記載の画像処理装置。
【請求項８】
前記第１文字列は、第１文字と、第２文字と、を含み、
前記処理部は、前記第１文字と前記第２文字とを結ぶ線分の、前記第１方向に対する第２傾きが、第２基準傾きよりも大きいときに、前記第２傾きを変更する第２動作を実施する請求項１〜７のいずれか１つに記載の画像処理装置。
【請求項９】
前記第１文字列は、第１文字と、第２文字と、を含み、
前記処理部は、前記第１文字と前記第２文字との間の間隔が基準間隔よりも大きいときに、前記間隔を変更する第３動作を実施する請求項１〜７のいずれか１つに記載の画像処理装置。
【請求項１０】
前記第１文字列は、第１文字を含み、
前記処理部は、前記第１文字のサイズが基準サイズよりも大きいときに、前記サイズを変更する第４動作を実施する請求項１〜７のいずれか１つに記載の画像処理装置。
【請求項１１】
前記処理部は、前記第１文字列中の非文字を認識し、前記第１文字列から前記非文字を除去して、前記第１抽出画像を抽出する請求項１〜１０のいずれか１つに記載の画像処理装置。
【請求項１２】
前記第１文字列に含まれる文字は、手書き文字である請求項１〜１１のいずれか１つに記載の画像処理装置。
【請求項１３】
第１文字列を含む入力画像を取得し、
前記第１文字列の状態に基づいて、前記入力画像から抽出され前記第１文字列に関する第１方向に延在する第１抽出画像から前記第１方向とは異なる第２方向に延在する第１生成画像を生成する、画像処理方法。
【請求項１４】
第１文字列を含む入力画像を取得する工程と、
前記第１文字列の状態に基づいて、前記入力画像から抽出され前記第１文字列に関する第１方向に延在する第１抽出画像から前記第１方向とは異なる第２方向に延在する第１生成画像を生成する工程と
を、
コンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
手書き文字を処理する画像処理装置において、手書き文字を見易く配置することが望まれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２２８７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、手書き文字を見易く配置できる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【課題を解決するための手段】
【０００５】
本発明の実施形態によれば、取得部と、処理部と、を備えた画像処理装置が提供される。前記取得部は、第１文字列を含む入力画像を取得する。前記処理部は、前記第１文字列の状態に基づいて、前記入力画像から抽出され前記第１文字列に関し第１方向に延在する第１抽出画像から、前記第１方向とは異なる第２方向に延在する第１生成画像を生成する第１動作を実施する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る画像処理装置を例示するブロック図である。
【図２】図２（ａ）及び図２（ｂ）は、第１の実施形態に係る入力画像を例示する模式図である。
【図３】第１の実施形態に係る画像処理方法を例示する模式図である。
【図４】第１の実施形態に係る画像処理方法を例示する模式図である。
【図５】第１の実施形態に係る画像処理方法を例示する模式図である。
【図６】第１の実施形態に係る画像処理方法を例示する模式図である。
【図７】図７（ａ）及び図７（ｂ）は、第１の実施形態に係る画像処理方法を例示する模式図である。
【図８】第１の実施形態に係る画像処理方法を例示する模式図である。
【図９】図９（ａ）及び図９（ｂ）は、第１の実施形態に係る画像処理方法を例示する模式図である。
【図１０】第１の実施形態に係る画像処理方法を例示する模式図である。
【図１１】第１の実施形態に係る画像処理方法を例示するフロー図である。
【図１２】第１の実施形態に係る画像処理方法を例示するフロー図である。
【図１３】第２の実施形態に係る入力画像を例示する模式図である。
【図１４】第２の実施形態に係る画像処理方法を例示する模式図である。
【図１５】第２の実施形態に係る画像処理方法を例示する模式図である。
【図１６】第２の実施形態に係る画像処理方法を例示する模式図である。
【図１７】第３の実施形態に係る入力画像を例示する模式図である。
【図１８】第３の実施形態に係る入力画像を例示する模式図である。
【図１９】第４の実施形態に係る画像処理装置を例示するブロック図である。
【図２０】第４の実施形態に係る入力画像を例示する模式図である。
【図２１】第４の実施形態に係る画像処理方法を例示する模式図である。
【図２２】第４の実施形態に係る画像処理方法を例示する模式図である。
【図２３】第５の実施形態に係る画像処理装置を例示するブロック図である。
【図２４】第５の実施形態に係る入力画像を例示する模式図である。
【図２５】第５の実施形態に係る画像処理方法を例示する模式図である。
【図２６】第５の実施形態に係る画像処理方法を例示する模式図である。
【図２７】第５の実施形態に係る画像処理方法を例示する模式図である。
【図２８】第５の実施形態に係る画像処理方法を例示する模式図である。
【図２９】第６の実施形態に係る入力画像を例示する模式図である。
【図３０】第６の実施形態に係る入力画像を例示する模式図である。
【図３１】図３１（ａ）〜図３１（ｄ）は、第７の実施形態に係る配置パターンを例示する模式図である。
【図３２】第８の実施形態に係る画像処理装置を例示するブロック図である。
【発明を実施するための形態】
【０００７】
以下に、本発明の各実施の形態について図面を参照しつつ説明する。  
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。  
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置を例示するブロック図である。  
実施形態の画像処理装置１１０は、取得部１０と、処理部２０と、を含む。取得部１０には、例えば、入出力端子が用いられる。取得部１０は、有線または無線を介して外部と通信する入出力インターフェイスを含む。処理部２０には、例えば、ＣＰＵ（Central Processing Unit）やメモリなどを含む演算装置が用いられる。処理部２０の各ブロックの一部、又は全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
【０００９】
処理部２０には、設定部２１と、算出部２２と、抽出部２３と、補正部２４と、が設けられる。これらの各部は、例えば、画像処理プログラムとして実現される。すなわち、画像処理装置１１０は、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現される。画像処理装置１１０に含まれる各部の機能は、上記のコンピュータ装置に搭載されたプロセッサに画像処理プログラムを実行させることにより実現することができる。このとき、画像処理装置１１０は、上記の画像処理プログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記の画像処理プログラムを配布して、この画像処理プログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、処理部２０は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００１０】
実施形態に係る画像処理装置１１０は、例えば、ホワイトボード、黒板、ノートなどに書かれた手書き文字例を撮影した画像を見易く配置するためのアプリケーションソフトウェアに適用される。このようなアプリケーションソフトウェアにおいては、例えば、文字間の傾き、文字間隔、さらには文字サイズが変動しやすい手書き文字列が対象とされる。手書き文字列をカメラで撮影した画像に対して、手書き文字列を構成する手書き文字の大きさや配置などを変更して、見易くする。
【００１１】
図２（ａ）及び図２（ｂ）は、第１の実施形態に係る入力画像を例示する模式図である。  
図２（ａ）は、傾き変更前の入力画像の状態を示す図である。  
図２（ｂ）は、傾き変更後の入力画像の状態を示す図である。  
【００１２】
取得部１０は、入力画像３０を取得する。入力画像３０は、例えば、講義を行う講師や会議を進行させる司会者などがホワイトボードや黒板などに筆記した複数の手書き文字を撮影した画像である。取得部１０は、入力画像３０を、デジタルスチルカメラなどの撮像デバイスから取得してもよい。取得部１０は、入力画像３０を、ＨＤＤ(Hard Disk Drive)などの記憶媒体から取得してもよい。
【００１３】
入力画像３０は、第１文字列３１ａに関する第１抽出画像３１を含む。第１文字列３１ａは、手書きされた複数の文字ｃを含む。実施形態においては、複数の文字ｃとして、日本語の漢字、ひらがな、カタカナなどの手書き文字が対象とされる。複数の文字ｃとしては、手書きされた数字や各種記号、図形なども対象とされる。
【００１４】
処理部２０は、入力画像３０から第１抽出画像３１を抽出する。第１抽出画像３１は、第１文字列３１ａに関する第１方向Ｄ１に延在する。処理部２０は、第１文字列３１ａの状態に基づいて、第１抽出画像３１から第１方向Ｄ１とは異なる第２方向Ｄ２に延在する第１生成画像３２を生成する第１動作を実施する。第１文字列３１ａは、例えば、行方向（入力画像３０の水平方向）に対して傾いている。第２方向Ｄ２の行方向に対する傾きは、第１方向Ｄ１の行方向に対する傾きよりも小さい。第１抽出画像３１を図２（ａ）に示し、第１生成画像３２を図２（ｂ）に示す。すなわち、第１文字列３１ａの傾きが変更される。
【００１５】
入力画像３０は、第２文字列３３ａに関する第２抽出画像３３をさらに含む。第２文字列３３ａは、手書きされた複数の文字ｃを含む。
【００１６】
処理部２０は、入力画像３０から第２抽出画像３３を抽出する。第２抽出画像３３は、第２文字列３３ａに関する第３方向Ｄ３に延在する。図２（ａ）及び図２（ｂ）に示すように、第１方向Ｄ１と第３方向Ｄ３との間の角度の絶対値θ１は、第２方向Ｄ２と第３方向Ｄ３との間の角度の絶対値θ２よりも大きい。第１方向Ｄ１の第３方向Ｄ３に対する傾きは、第２方向Ｄ２の第３方向Ｄ３に対する傾きよりも大きい。
【００１７】
処理部２０は、第２文字列３３ａの状態に基づいて、第２抽出画像３３から第３方向Ｄ３とは異なる第４方向Ｄ４に延在する第２生成画像３４を生成する。第２文字列３３ａは、例えば、行方向に対して傾いている。第４方向Ｄ４の行方向に対する傾きは、第３方向Ｄ３の行方向に対する傾きよりも小さい。第４方向Ｄ４は、第２方向Ｄ２と同じでもよい。第３画像３３を図２（ａ）に示し、第４画像３４を図２（ｂ）に示す。すなわち、第２文字列３３ａの傾きが変更される。
【００１８】
第１文字列３１ａの行方向に対する傾きは、第２文字列３３ａの行方向に対する傾きよりも大きい。このため、第１文字列３１ａの傾きの変更量は、第２文字列３３ａの傾きの変更量よりも大きい。これにより、第１抽出画像３１及び第２抽出画像３３のそれぞれの傾きは変更される。傾き変更後の第１生成画像３２及び第２生成画像３４のそれぞれは、入力画像３０において略水平に配置される。同様に、別の文字列に関する画像についても傾きを変更することができる。
【００１９】
ここで、予め定められた指定枠に書き込まれた複数の手書き文字を１つの文字列として文字認識し、文字認識後の文字列の傾きなどを変更する参考例がある。この参考例においては、変動要因の異なる手書き文字列が複数混在するホワイトボードや黒板などには対応できない場合があった。
実施形態においては、手書き文字列毎に、手書き文字列の傾きを変更することができる。このため、手書き文字列が複数混在する画像においても、手書き文字を手書きのまま、より見易く配置することができる。
【００２０】
例えば、打ち合わせのときに出席者がホワイトボードなどに打ち合わせメモを手書きすることがよくある。手書きされた打ち合わせメモは、打ち合わせの内容と関連付けられて出席者の記憶に残っていると考えられる。このため、打ち合わせメモの画像を手書きのまま、より見易い配置にして残すことにより、この画像を見た出席者が打ち合わせの内容を直感的に思い出すことができる。手書きされた打ち合わせメモを、参考例のような文字認識によりデジタル文字データに変換してしまうと、このような効果は得ることは難しい。実施形態によれば、手書き文字を手書きのまま、より見易い配置に変更できる。このため、手書きの良さを残しつつ、見易さも向上させることができる。
【００２１】
以下、画像処理装置１１０による具体的な画像処理方法について説明する。
図３〜図６、図７（ａ）、図７（ｂ）、図８、図９（ａ）、図９（ｂ）及び図１０は、第１の実施形態に係る画像処理方法を例示する模式図である。
図１１及び図１２は、第１の実施形態に係る画像処理方法を例示するフロー図である。
【００２２】
図３は、設定部２１による設定結果を例示する図である。  
図４は、文字ｃを拡大した図である。  
【００２３】
設定部２１は、設定処理を実施する。設定処理では、図３に示すように、入力画像３０に対して、複数の領域ｒ（以下、文字候補領域ｒと称する）を設定する。複数の文字候補領域ｒのそれぞれは、入力画像３０に含まれる１つの文字ｃの少なくとも一部を含む。文字候補領域ｒとは、１つの文字ｃの少なくとも一部を構成する画素の集合である。文字候補領域ｒは、例えば、１つの文字ｃを囲む領域である。１つの文字ｃが漢字などである場合、文字候補領域ｒは、漢字のへんやつくりなどの一部を含む領域としてもよい。文字候補領域ｒを設定することで、入力画像３０から、文字列に関する画像を抽出することができる。複数の文字候補領域ｒは、第１文字候補領域ｒ１１と、第２文字候補領域ｒ１２と、第３文字候補領域ｒ１３と、を含む。第１文字候補領域ｒ１１は、第１文字ｃ１の少なくとも一部を含む。第２文字候補領域ｒ１２は、第２文字ｃ２の少なくとも一部を含む。第３文字候補領域ｒ１３は、第３文字ｃ３の少なくとも一部を含む。
【００２４】
最も単純には、文字ｃに含まれる１つの連結成分を１つの文字候補領域ｒとすることが考えられる。図４に示すように、１つの文字ｃが、４つの連結成分を有する場合を想定する。この場合、文字ｃは、４つの文字候補領域ｒａ〜ｒｄで構成される。これら４つの文字候補領域ｒａ〜ｒｄは、１つの文字候補領域ｒにまとめることができる。例えば、基準サイズを設定し、基準サイズの範囲に収まる複数の文字候補領域を、１つの文字候補領域とする。これにより、１つの文字ｃに１つの文字候補領域ｒを対応させることができる。
【００２５】
図５は、算出部２２による算出処理を例示する模式図である。  
図６は、抽出部２３による抽出結果を例示する模式図である。  
【００２６】
算出部２２は、算出処理を実施する。算出処理では、複数の文字候補領域ｒのいずれかを基準領域として設定し、基準領域と、基準領域を除く複数の文字候補領域ｒのそれぞれとの間の連結し易さに関する評価値を算出する。
【００２７】
図５に示すように、複数の文字候補領域ｒ１〜ｒ５の中で、例えば、文字候補領域ｒ１を基準領域（以下、基準領域ｒ１）として設定する。基準領域ｒ１と文字候補領域ｒ２との間で評価値ｖ１２が算出される。ここで、評価値としては、例えば、２つの文字候補領域同士が連結し易いか否かを判定するための連結コスト（後述）を用いることができる。例えば、評価値が小さいほど連結し易いと判定することができる。
【００２８】
同様に、基準領域ｒ１と文字候補領域ｒ３との間で評価値ｖ１３が算出される。基準領域ｒ１と文字候補領域ｒ４との間で評価値ｖ１４が算出される。基準領域ｒ１と文字候補領域ｒ５との間で評価値ｖ１５が算出される。このようにして、入力画像３０において組み合わせ可能な一対の文字候補領域のそれぞれについて評価値を算出すればよい。
【００２９】
抽出部２３は、抽出処理を実施する。抽出処理では、図６に示すように、上記の評価値に基づいて、入力画像３０から、複数の文字候補領域ｒを含む第１抽出画像３１を抽出する。第１抽出画像３１は、線３５で結ばれた複数の文字候補領域ｒの集合として抽出される。線３５で結ばれた集合には、第１文字候補領域ｒ１１、第２文字候補領域ｒ１２及び第３文字候補領域ｒ１３が含まれる。第３文字候補領域ｒ１３は、第１画像３１の一端に位置する第３文字ｃ３を含む。第２文字候補領域ｒ１２は、第１画像３１の他端に位置する第２文字ｃ２を含む。第１文字候補領域ｒ１１は、第２文字ｃ２の隣に位置する第１文字ｃ１を含む。
【００３０】
同様に、抽出部２３は、上記の評価値に基づいて、入力画像３０から、複数の文字候補領域ｒを含む第２抽出画像３３を抽出する。第２抽出画像３３は、線３６で結ばれた複数の文字候補領域ｒの集合として抽出される。線３６で結ばれた集合には、第４文字候補領域ｒ１４及び第５文字候補領域ｒ１５が含まれる。第４文字候補領域ｒ１４は、第３画像３３の一端に位置する第４文字ｃ４を含む。第５文字候補領域ｒ１５は、第３画像３３の他端に位置する第５文字ｃ５を含む。このようにして、抽出部２３は、入力画像３０に含まれる複数の画像それぞれについて、文字候補領域ｒの集合を抽出する。
【００３１】
図７（ａ）及び図７（ｂ）は、補正部２４による変更処理を例示する模式図である。  
図７（ａ）は、傾き変更前の第１抽出画像３１を例示する図である。  
図７（ｂ）は、傾き変更後の第１生成画像３２を例示する図である。  
図８は、傾き変更後の入力画像を例示する模式図である。  
【００３２】
補正部２４は、変更処理を実施する。設定部２１は、図７（ａ）に示すように、第１画像３１を囲む第１矩形領域ｒｒ１を設定する。第１矩形領域ｒｒ１は、第３文字候補領域ｒ１３（第３文字ｃ３）と接する第１端ｅ１と、第２文字候補領域ｒ１２（第２文字ｃ２）と接する第２端ｅ２と、を含む。第２端ｅ２は、第１端ｅ１の対角に位置する。変更処理では、第１端ｅ１と第２端ｅ２とを結ぶ線分Ｌ１の第１傾きを変更する。第１傾きは、入力画像３０内に定められた設定方向に対する傾きである。第１傾きは、例えば、入力画像３０の行方向（水平方向）に対する傾きである。これにより、第１抽出画像３１から第１生成画像３２を生成する。
【００３３】
図７（ａ）は、傾き変更前の線分Ｌ１の第１傾きを示し、図７（ｂ）は、傾き変更後の線分Ｌ１の第１傾きを示す。傾き変更後の線分Ｌ１の第１傾きは、傾き変更前の線分Ｌ１の第１傾きと比べて、小さくなっていることが分かる。図７（ａ）の第１抽出画像３１は、図７（ｂ）の第１生成画像３２に変更される。すなわち、見易さの観点からは、線分Ｌ１の第１傾きは小さいほうが好ましい。線分Ｌ１の第１傾きを小さくすることで、第１抽出画像３１に関する第１文字列３１ａを、傾きの抑制された見易い状態で配置することができる。
【００３４】
ここで、変更をどの程度行うかは、例えば、ユーザの設定等により調整が可能である。例えば、線分Ｌ１の第１傾きを変更しない状態を０％、線分Ｌ１の第１傾きをゼロ（水平）に変更した状態を１００％とした場合、０〜１００％の範囲で設定できるようにしてもよい。この場合、画像処理装置１１０は、表示部を備えることが好ましい。この表示部は、ユーザによる設定を受け付ける設定画面を表示する。
【００３５】
このようにして、図６の第１抽出画像３１から、図８の第１生成画像３２が生成される。第２抽出画像３３の傾きについても同様の変更が可能である。すなわち、図６の第２抽出画像３３から、図８の第２生成画像３４が生成される。これら第１抽出画像３１及び第２抽出画像３３とは別の画像の傾きについても同様の変更が可能である。
【００３６】
実施形態においては、手書き文字列毎に、手書き文字列の傾きを変更することができる。このため、手書き文字列が複数混在する画像においても、手書き文字を手書きのまま、より見易く配置することができる。
【００３７】
図９（ａ）及び図９（ｂ）は、補正部２４による別の変更処理を例示する模式図である。  
図９（ａ）は、傾き変更前の第１抽出画像３１の一部を例示する図である。  
図９（ｂ）は、傾き変更後の第１生成画像３２の一部を例示する図である。  
【００３８】
図９（ａ）の例では、第１文字候補領域ｒ１１の中心ｆ１と、第２文字候補領域ｒ１２の中心ｆ２と、を結ぶ線分Ｌ２が第１方向Ｄ１に対して傾いている。この例の変更処理では、第１文字候補領域ｒ１１（第１文字ｃ１）と第２文字候補領域ｒ１２（第２文字ｃ２）との間において線分Ｌ２の第２傾きを変更する（第２動作）。なお、線分Ｌ２は、第１文字ｃ１と第２文字ｃ２とを結ぶ線分であればよい。線分Ｌ２は、中心間を結ぶ線分でなくてもよい。第１抽出画像３１において互いに隣り合う２つの文字候補領域間の傾きを変更する。図９（ａ）は、傾き変更前の線分Ｌ２の第２傾きを示し、図９（ｂ）は、傾き変更後の線分Ｌ２の第２傾きを示す。傾き変更後の線分Ｌ２の第２傾きは、傾き変更前の線分Ｌ２の第２傾きと比べて、小さくなっていることが分かる。第１抽出画像３１において隣り合う別の文字候補領域間についても同様の変更が可能である。このようにして、互いに隣り合う２つの文字間の傾きを小さくしてもよい。
【００３９】
線分Ｌ２の第２傾きを変更することにより、第１文字候補領域ｒ１１と、第２文字候補領域ｒ１２との間の位置関係が変化する。すなわち、第１文字ｃ１と、第２文字ｃ２との間の位置関係が変化する。具体的には、見易さの観点から、線分Ｌ２の第２傾きは小さいほうが好ましい。線分Ｌ２の第２傾きを小さくすることで、隣り合う２つの手書き文字を、傾きの抑制された見易い状態で配置することができる。
【００４０】
変更をどの程度行うかは、ユーザの設定等により調整が可能である。例えば、線分Ｌ２の第２傾きを変更しない状態を０％、線分Ｌ２の第２傾きを第１方向Ｄ１と平行な方向に変更した状態を１００％とした場合、０〜１００％の範囲で設定できるようにしてもよい。
【００４１】
これにより、第１抽出画像３１における２つの文字が手書きのまま、見易く配置される。なお、第２抽出画像３３における２つの文字についても同様の傾き変更が可能である。第１抽出画像３１及び第２抽出画像３３とは別の画像のそれぞれにおける２つの文字についても同様の傾き変更が可能である。
【００４２】
図１０は、補正部２４による別の変更処理を例示する模式図である。  
補正部２４は、入力画像３０において、第１矩形領域ｒｒ１の線分Ｌ１の第１傾きが第１基準傾きよりも大きいときに、線分Ｌ１の第１傾きを変更してもよい。すなわち、線分Ｌ１の第１傾きが第１基準傾きよりも大きいか否かを判定し、判定結果に基づいて、線分Ｌ１の第１傾きを変更する。例えば、線分Ｌ１の第１傾きが第１基準傾きよりも大きいときに、線分Ｌ１の第１傾きが第１基準傾きになるように変更する。一方、線分Ｌ１の第１傾きが第１基準傾きよりも小さいときに、線分Ｌ１の第１傾きの変更を行わない。
【００４３】
第１基準傾きとしては、第１抽出画像３１の第１傾きと、第２抽出画像３３の第３傾き、との平均値を用いてもよい。補正部２４は、図７（ａ）に示すように、第１抽出画像３１を囲む第１矩形領域ｒｒ１を設定する。第１矩形領域ｒｒ１は、第３文字候補領域ｒ１３（第３文字ｃ３）と接する第１端ｅ１と、第２文字候補領域ｒ１２（第２文字ｃ２）と接する第２端ｅ２と、を含む。第２端ｅ２は、第１端ｅ１の対角に位置する。補正部２４は、第１端ｅ１と第２端ｅ２とを結ぶ線分Ｌ１の第１傾きを求める。
【００４４】
また、補正部２４は、図１０に示すように、第２抽出画像３３を囲む第２矩形領域ｒｒ２を設定する。第２矩形領域ｒｒ２は、第４文字候補領域ｒ１４（第４文字ｃ４）と接する第３端ｅ３と、第５文字候補領域ｒ１５（第５文字ｃ５）と接する第４端ｅ４と、を含む。第４端ｅ４は、第３端ｅ３の対角に位置する。補正部２４は、第３端ｅ３と第４端ｅ４とを結ぶ線分Ｌ３の第３傾きを求める。このようにして、基準傾きとして、第１抽出画像３１の第１傾きと、第２抽出画像３３の第３傾きと、の平均値を求める。
【００４５】
なお、第１基準傾きとして、入力画像３０に含まれる全ての文字列に関する画像の傾きの平均値を用いてもよい。第１基準傾きとして、傾き無しの状態を示すゼロ（水平）を用いてもよい。
【００４６】
上記において、線分Ｌ１の第１傾きと第１基準傾きとの差分が大きいときには、線分Ｌ１の第１傾きを大きく変更し、線分Ｌ１の第１傾きと第１基準傾きとの差分が小さいときには、線分Ｌ１の第１傾きを小さく変更してもよい。また、線分Ｌ１の第１傾きと第１基準傾きとの差分がゼロになるように、線分Ｌ１の第１傾きを変更してもよい。このようにして、第１抽出画像３１の全体的な傾きが第１基準傾きに近づくように変更することができる。
【００４７】
ここで、図９（ａ）及び図９（ｂ）において、補正部２４は、第１文字候補領域ｒ１１（第１文字ｃ１）の中心ｆ１と第２文字候補領域ｒ１２（第２文字ｃ２）の中心ｆ２とを結ぶ線分Ｌ２の第１方向Ｄ１に対する第２傾きが、第２基準傾きよりも大きいときに、線分Ｌ２の第２傾きを変更してもよい。第２基準傾きとしては、例えば、第１抽出画像３１において隣り合う文字候補領域間の傾きの平均値を用いることができる。なお、第２基準傾きは、これに限定されない。
【００４８】
図１１は、設定部２１による設定処理を例示するフロー図である。  
図３に、入力画像３０から複数の文字候補領域ｒを設定した結果を示す。
図１１に示すように、設定部２１により文字候補領域を設定する方法は、２値化処理（ステップＳ１）、細線化処理（ステップＳ２）、連結成分抽出処理（ステップＳ３）及び文字候補領域決定処理（ステップＳ４）、を含む。
【００４９】
ステップＳ１の２値化処理においては、背景画素と筆記画素とを分離する。筆記画素とは、手書き文字部分に対応する画素である。具体的には、例えば、大津の２値化などの方法が用いられる。大津の２値化では、入力画像３０をグレースケールに変換し、局所領域ごとに画素値のヒストグラムを算出し、背景画素と筆記画素とを分離する境界を適応的に決定する。ホワイトボードや黒板などを撮影した画像において、背景画素と筆記画素とのコントラストが十分にある場合には、この方法でも十分に分離性能を確保することができる。
【００５０】
ステップＳ２の細線化処理においては、２値化処理で分離した筆記画素に対して、筆記ストロークの中心にある芯線の画素（芯線画素）と、芯線の周辺にある画素と、を分離して、芯線画素のみを抽出する。具体的には、３×３の画像フィルタを適用して、隣接する筆記画素がある場合には、画像フィルタを通して芯線画素のみが選択される。
【００５１】
ステップＳ３の連結成分抽出処理においては、芯線画素の隣接関係に基づいて孤立点、交差点、通常点などの属性を付与する。属性に基づき芯線画素として隣接する筆記画素の集合を一つの連結成分として抽出する。
【００５２】
ステップＳ４の文字候補領域決定処理においては、連結成分の結果に基づき文字候補領域ｒを決定する。最も単純には、一つの連結成分を文字候補領域ｒにする方法がある。抽出部２１により文字候補領域ｒを設定した結果を図３に示す。図４における点線の枠が設定した文字候補領域ｒに対応する。ここで、日本語のように漢字などの断片（へん、つくりなど）が独立した連結成分になる場合に対応するため、基準となる大きさを決定し、基準の大きさの範囲に収まる連結成分同士を一つの文字候補領域ｒとすることが好ましい。
【００５３】
図１２は、抽出部２３による抽出処理を例示するフロー図である。  
図６に、第１抽出画像３１及び第２抽出画像３３の抽出結果を示す。
図１２に示すように、抽出部２３により文字列ごとに文字候補領域の集合を抽出する方法は、グラフ構築処理（ステップＳ１１）、連結コスト算出処理（ステップＳ１２）、グラフ評価処理（ステップＳ１３）及び文字候補領域群決定処理（ステップＳ１４）、を含む。
【００５４】
ステップＳ１１のグラフ構築処理においては、設定部２１で設定した文字候補領域ｒを基本単位（ノード）とする。空間的に近い文字候補領域同士をアークにより接続したグラフを構築する。
【００５５】
ステップＳ１２の連結コスト算出処理においては、アークに対して、文字候補領域同士が連結し易いか否かを判定するための連結コストを定義する。連結コストとしては、例えば、文字候補領域同士の距離や大きさなどの類似性を基準として用いることができる。
【００５６】
ステップＳ１３のグラフ評価においては、構築したグラフに対して、グラフの部分を分割したときに、連結コストが小さい文字候補領域ｒの組み合わせがどれであるかを判定する。
【００５７】
ステップＳ１４の文字候補領域群決定処理においては、上記のグラフ評価により決定された文字候補領域ｒの組み合わせを同じ文字列のかたまり（文字候補領域の集合）であると判定する。
【００５８】
図６においては、同じ手書き文字列として抽出された複数の文字候補領域ｒを同じ線（線３５、線３６）で結んで表示している。ここでは、手書き文字列毎に文字候補領域の集合を抽出する一つの形態を示した。実施形態は、これに限定されるものではない。
【００５９】
このように、実施形態によれば、手書き文字列毎に、手書き文字列の全体的な傾きあるいは部分的な傾きを変更することができる。このため、手書き文字列が複数混在する画像においても、手書き文字を手書きのまま、より見易く配置することができる。
【００６０】
（第２の実施形態）
実施形態においては、手書き文字列毎に、隣り合う２つの文字間の間隔を変更する。すなわち、２つの文字ｃ間の間隔が基準間隔よりも大きいときに、２つの文字ｃ間の間隔を変更する処理を実施する（第３動作）。
図１３は、第２の実施形態に係る入力画像を例示する模式図である。  
図１４〜図１６は、第２の実施形態に係る画像処理方法を例示する模式図である。  
【００６１】
図１４は、設定部２１による設定結果を例示する模式図である。  
図１５は、抽出部２３による抽出結果を例示する模式図である。  
図１６は、文字間隔変更後の入力画像を例示する模式図である。
【００６２】
図１３に示すように、取得部１０は、入力画像６０を取得する。入力画像６０は、第１文字列６１〜第４文字列６４を含む。第１文字列６１〜第４文字列６４のそれぞれは、手書きされた複数の文字ｃを含む。この例では、第１文字列６１において隣り合う文字ｃの間隔が不均等になっている。第２文字列６２において隣り合う文字ｃの間隔が不均等になっている。
【００６３】
図１４に示すように、設定部２１は、入力画像６０に対して、複数の文字候補領域ｒを設定する。複数の文字候補領域ｒのそれぞれは、入力画像６０に含まれる１つの文字ｃの少なくとも一部を含む。
【００６４】
算出部２２は、複数の文字候補領域ｒのいずれかを基準領域として設定し、基準領域と、基準領域を除く複数の文字候補領域ｒのそれぞれとの間の連結し易さに関する評価値を算出する。
【００６５】
抽出部２３は、図１５に示すように、算出部２２にて算出した評価値に基づいて、入力画像６０から、文字候補領域ｒの集合７１及び集合７２を含む第１文字列６１を抽出する。同様に、抽出部２３は、集合７３及び集合７４を含む第２文字列６２を抽出する。抽出部２３は、集合７５を含む第３文字列６３を抽出する。抽出部２３は、集合７６を含む第４文字列６４を抽出する。
【００６６】
補正部２４は、第１文字列６１及び第２文字列６２において隣り合う２つの文字候補領域間（文字間）の間隔を変更する。例えば、２つの文字候補領域間の間隔が基準間隔よりも大きいときには、２つの文字候補領域間の間隔が小さくなるように変更する。２つの文字候補領域間の間隔が基準間隔よりも小さいときには、２つの文字候補領域間の間隔が大きくなるように変更してもよい。
【００６７】
具体的には、例えば、第１文字列６１〜第４文字列６４において隣り合う文字候補領域間の間隔の平均値を求め、この平均値を基準間隔とする。第１文字列６１〜第４文字列６４において隣り合う文字候補領域間の間隔の最大値を求め、この最大値を基準間隔としてもよい。つまり、第１文字列６１の文字間隔が基準間隔よりも大きいときに、基準間隔に近づくように文字間隔を変更する。第１文字列６１の文字間隔が基準間隔よりも小さいときに、基準間隔に近づくように文字間隔を変更してもよい。例えば、第１文字列６１の全ての文字間隔が基準間隔となるように変更してもよい。同様にして、第２文字列６２の文字間隔を変更することができる。変更の程度を、ユーザの設定により適宜調整できるようにしてもよい。これにより、図１３の複数の文字間隔６５のそれぞれが、図１６の複数の文字間隔６５ａのそれぞれに変更される。同様に、図１３の複数の文字間隔６６のそれぞれが、図１６の複数の文字間隔６６ａに変更される。
【００６８】
このように、実施形態によれば、手書き文字列毎に、手書き文字列の文字間隔を変更することができる。このため、手書き文字列が複数混在する画像においても、手書き文字を手書きのまま、より見易く配置することができる。
【００６９】
（第３の実施形態）
実施形態においては、手書き文字列毎に、文字の文字サイズを変更する。すなわち、文字ｃのサイズが基準サイズよりも大きいときに、文字ｃのサイズを変更する処理を実施する（第４動作）。
図１７及び図１８は、第３の実施形態に係る入力画像を例示する模式図である。  
図１７は、サイズ変更前の入力画像を例示する模式図である。  
図１８は、サイズ変更後の入力画像を例示する模式図である。  
【００７０】
図１７に示すように、取得部１０は、入力画像８０を取得する。入力画像８０は、第１文字列８１〜第６文字列８６を含む。第１文字列８１〜第６文字列８６のそれぞれは、手書きされた複数の文字ｃを含む。
【００７１】
設定部２１は、入力画像８０に対して、複数の文字候補領域ｒを設定する。複数の文字候補領域ｒのそれぞれは、入力画像８０に含まれる１つの文字ｃの少なくとも一部を含む。
【００７２】
算出部２２は、複数の文字候補領域ｒのいずれかを基準領域として設定し、基準領域と、基準領域を除く複数の文字候補領域ｒのそれぞれとの間の連結し易さに関する評価値を算出する。
【００７３】
抽出部２３は、算出部２２にて算出した評価値に基づいて、入力画像８０から、文字候補領域ｒの集合９１を含む第１文字列８１を抽出する。同様に、抽出部２３は、集合９２を含む第２文字列８２を抽出する。抽出部２３は、集合９３を含む第３文字列８３を抽出する。抽出部２３は、集合９４を含む第４文字列８４を抽出する。抽出部２３は、集合９５を含む第５文字列８５を抽出する。抽出部２３は、集合９６を含む第６文字列８６を抽出する。
【００７４】
補正部２４は、第１文字列８１〜第６文字列８６のそれぞれに含まれる文字候補領域ｒ（文字ｃ）のサイズを変更する。例えば、文字候補領域ｒのサイズが基準サイズよりも大きいときに、文字候補領域ｒのサイズが小さくなるように変更する。文字候補領域ｒのサイズが基準サイズよりも小さいときに、文字候補領域ｒのサイズが大きくなるように変更してもよい。
【００７５】
具体的には、例えば、第１文字列８１〜第６文字列８６において文字候補領域ｒのサイズの平均値を求め、この平均値を基準サイズとする。第１文字列８１〜第６文字列８６において文字候補領域ｒのサイズの最大値を求め、この最大値を基準サイズとしてもよい。つまり、第１文字列８１〜第６文字列８６のそれぞれの文字サイズが基準サイズよりも大きいときに、基準サイズに近づくように文字サイズを変更する。第１文字列８１〜第６文字列８６のそれぞれの文字サイズが基準サイズよりも小さいときに、基準サイズに近づくように文字サイズを変更してもよい。例えば、第１文字列８１〜第６文字列８６に含まれる全ての文字サイズが基準サイズとなるように変更してもよい。変更の程度を、ユーザの設定により適宜調整できるようにしてもよい。これにより、図１７の第１〜第６文字列８１〜８６のそれぞれの文字サイズが、図１８の第１〜第６文字列８１ａ〜８６ａのそれぞれの文字サイズに変更される。
【００７６】
このように、実施形態によれば、手書き文字列毎に、手書き文字列に含まれる文字の文字サイズを変更することができる。このため、手書き文字列が複数混在する画像においても、手書き文字を手書きのまま、より見易く配置することができる。
【００７７】
（第４の実施形態）
図１９は、第４の実施形態に係る画像処理装置を例示するブロック図である。  
実施形態の画像処理装置１１１は、取得部１０と、処理部２０と、を含む。処理部２０は、設定部２１と、算出部２２と、抽出部２３と、補正部２４と、を含み、さらに、判定部２５を含む。
判定部２５は、判定処理を実施する。判定処理では、第１文字列が非文字（非文字シンボルともいう）をさらに含むか否かを判定する。
抽出部２３は、複数の文字候補領域ｒから、非文字と判定された非文字領域を除外する。
【００７８】
図２０は、第４の実施形態に係る入力画像を例示する模式図である。  
図２１及び図２２は、第４の実施形態に係る画像処理方法を例示する模式図である。  
図２１は、判定部２５による判定結果を例示する模式図である。  
図２２は、抽出部２３による抽出結果を例示する模式図である。  
【００７９】
取得部１０は、入力画像１００を取得する。図２０に示すように、入力画像１００は、第１文字列１０１ａと、第２文字列１０１ｂと、を含む。入力画像１００は、第３文字列１０１ｃ〜第１４文字列１０１ｎを含む。入力画像１００は、非文字１０２ａ〜１０２ｄを含む。非文字１０２ａ〜１０２ｄは、例えば、アンダーラインや囲み線などである。
【００８０】
実施形態においては、アンダーラインや囲み線などの非文字１０２ａ〜１０２ｄは、文字と比較して、文字候補領域ｒのアスペクト比や大きさなどの形状や、文字候補領域ｒに対する筆記画素の密度などが異なるという特徴を持つことに着目する。例えば、文字候補領域ｒの形状や筆記画素の密度などの素性を特徴量とした識別器を構築する手法がある。識別器の具体例としては、線形ＳＶＭ(Support Vector Machine)などが考えられる。
【００８１】
図２１に示すように、判定部２５は、複数の文字候補領域ｒのそれぞれが文字及び非文字のいずれであるかを判定する。文字領域ｒ２１は、文字と判定された文字候補領域ｒを示す。非文字領域ｒ２２は、非文字と判定された文字候補領域ｒを示す。
【００８２】
図２２に示すように、抽出部２３は、複数の文字候補領域ｒの中から、判定部２５にて非文字と判定された非文字領域ｒ２２を除外する。抽出部２３は、非文字領域ｒ２２を除外して残った複数の文字領域ｒ２１から、文字候補領域ｒの集合１０３ａを含む第１文字列１０１ａを抽出する。同様にして、第２文字列１０１ｂ〜第１４文字列１０１ｎを抽出する。
【００８３】
このように、実施形態によれば、複数の文字列のそれぞれが非文字を含むか否かを判定し、複数の文字列のそれぞれから非文字を除外することができる。このため、文字の検出精度を高めることができる。
【００８４】
（第５の実施形態）
図２３は、第５の実施形態に係る画像処理装置を例示するブロック図である。  
実施形態の画像処理装置１１２は、取得部１０と、処理部２０と、を含む。処理部２０は、設定部２１と、算出部２２と、抽出部２３と、補正部２４と、判定部２５と、を含み、さらに、構造化部２６を含む。
構造化部２６は、構造化処理を実施する。構造化処理では、判定部２５の判定結果を利用する。構造化処理では、第１文字列中の非文字を認識し、第１文字列から非文字を除去して、第１抽出画像を抽出する。
【００８５】
図２４は、第５の実施形態に係る入力画像を例示する模式図である。  
図２５〜図２８は、第５の実施形態に係る画像処理方法を例示する模式図である。
図２５は、判定部２５による判定結果を例示する模式図である。  
図２６は、抽出部２３による抽出結果を例示する模式図である。  
図２７は、構造化部２６による統合結果を例示する模式図である。  
図２８は、補正部２４による変更結果を例示する模式図である。  
【００８６】
取得部１０は、入力画像１２０を取得する。図２４に示すように、入力画像１２０は、第１文字列１２１ａと、第２文字列１２１ｂと、第３文字列１２１ｃと、を含む。入力画像１２０は、第４文字列１２１ｄ〜第１２文字列１２１ｌ、をさらに含む。入力画像１２０は、非文字シンボル１２２ａ〜１２２ｄを含む。非文字シンボル１２２ａ〜１２２ｄは、例えば、アンダーラインや区切り線などである。
【００８７】
実施形態においては、第４の実施形態と同様に、アンダーラインや区切り線などの非文字シンボル１２２ａ〜１２２ｄは、文字と比較して、文字候補領域ｒのアスペクト比や大きさなどの形状や、文字候補領域ｒに対する筆記画素の密度などが異なるという特徴を持つことに着目する。例えば、文字候補領域ｒの形状や筆記画素の密度などの素性を特徴量とした識別器を構築する手法を用いることができる。識別器の具体例としては、線形ＳＶＭなどが考えられる。
【００８８】
図２５に示すように、判定部２５は、複数の文字候補領域ｒのそれぞれが文字及び非文字のいずれであるかを判定する。文字領域ｒ３１は、文字と判定された文字候補領域ｒを示す。非文字領域ｒ３２は、非文字と判定された文字候補領域ｒを示す。
【００８９】
図２６に示すように、抽出部２３は、複数の文字候補領域ｒの中から、判定部２５にて非文字と判定された非文字領域ｒ３２を除外する。抽出部２３は、非文字領域ｒ３２を除外して残った複数の文字領域ｒ３１から、文字候補領域ｒの集合１２３ａを含む第１文字列１２１ａ（第１抽出画像）を抽出する。同様に、文字候補領域ｒの集合１２３ｂを含む第２文字列１２１ｂ（第２抽出画像）と、文字候補領域ｒの集合１２３ｃを含む第３文字列１２１ｃ（第３抽出画像）と、を抽出する。同様に、文字候補領域ｒの集合１２３ｄ〜１２３ｌをそれぞれ含む第４文字列１２１ｄ〜第１２文字列１２１ｌを抽出する。
【００９０】
図２７に示すように、第１文字列１２１ａと第２文字列１２１ｂとを結ぶ線分Ｌ４（第１線分）と、第１文字列１２１ａと第３文字列１２１ｃとを結ぶ線分Ｌ５（第２線分）と、が交差し、第１文字列１２１ａと第３文字列１２１ｃとの間に非文字シンボル１２２ｂが設けられている。この場合、構造化部２６は、第１文字列１２１ａと第２文字列１２１ｂとを統合化する。例えば、第１文字列１２１ａと第２文字列１２１ｂとが１つの文字列群１２４（画像群）に統合される。この例においては、非文字シンボル１２２ａ、１２２ｂによって３つのグループ（第１文字列群１２４、第２文字列群１２５及び第３文字列群１２６）に統合される。
【００９１】
図２８に示すように、補正部２４は、構造化部２６によって統合された文字列群を変更の単位として変更処理を実施する。例えば、第１文字列群１２４において、第２文字列１２１ｂ、第４文字列１２１ｄ〜第６文字列１２１ｆのそれぞれの行頭において左右方向の位置１３１が揃うように変更する。第２文字列１２１ｂ、第４文字列１２１ｄ〜第６文字列１２１ｆにおいて上下方向の行間１３２が揃うように変更する。
【００９２】
このように、実施形態によれば、区切り線などの非文字シンボルを利用して、複数の手書き文字列を１つの文字列群に統合し、文字列群単位で、複数の手書き文字列の行頭や行間隔などの空間配置を変更することができる。これにより、手書きの良さを残したまま、手書き文字を見易く配置することが可能となる。また、区切り線などを利用することで、複数の手書き文字列を誤って統合してしまうことも抑制できる。
【００９３】
（第６の実施形態）
図２９及び図３０は、第６の実施形態に係る入力画像を例示する模式図である。  
図２９は、傾き変更前の入力画像を例示する模式図である。
図３０は、傾き変更後の入力画像を例示する模式図である。  
第１〜第５の実施形態によれば、日本語の漢字、ひらがな及びカタカナを対象として説明した。実施形態においては、英語のアルファベットを対象としてもよい。
【００９４】
図２９に示すように、取得部１０は、入力画像１４０を取得する。入力画像１４０は、第１文字列１４１〜第４文字列１４４を含む。第１文字列１４１〜第４文字列１４４のそれぞれは、手書きされた複数の文字ｃを含む。これらの文字ｃは、例えば、アルファベットである。
【００９５】
図３０に示すように、処理部２０は、第１文字列１４１の傾きを変更する。この例では、第１文字列１４１ａに変更される。傾き変更後の第１文字列１４１ａは、第２文字列１４２と略平行になるように傾きが変更されている。変更の方法は、第１の実施形態で説明した方法と同じである。ここでの繰り返しの説明は省略する。
【００９６】
このように、実施形態によれば、日本語の漢字、ひらがな及びカタカナのみではなく、英語のアルファベットや、これら以外のあらゆる言語の手書き文字にも適用することができる。
【００９７】
（第７の実施形態）
図３１（ａ）〜図３１（ｄ）は、第７の実施形態に係る配置パターンを例示する模式図である。  
図３１（ａ）には、変更前の第１配置パターン１５１と、変更後の第１配置パターン１５１ａと、を示す。
図３１（ｂ）には、変更前の第２配置パターン１５２と、変更後の第２配置パターン１５２ａと、を示す。
図３１（ｃ）には、変更前の第３配置パターン１５３と、変更後の第３配置パターン１５３ａと、を示す。
図３１（ｄ）には、変更前の第４配置パターン１５４と、変更後の第４配置パターン１５４ａと、を示す。
【００９８】
図３１（ａ）に示すように、１つの手書き文字列を構成する複数の文字候補領域ｒの配置が第１配置パターン１５１である場合、第１配置パターン１５１ａの手書き文字列の傾きの変化が小さくなるように変更される。
同様に、図３１（ｂ）に示すように、１つの手書き文字列を構成する複数の文字候補領域ｒの配置が第２配置パターン１５２である場合、第２配置パターン１５２ａの手書き文字列を構成する文字候補領域の大きさが近くなるように変更される。
【００９９】
図３１（ｃ）に示すように、２つの手書き文字列を構成する複数の文字候補領域ｒの配置が第３配置パターン１５３である場合、第３配置パターン１５３ａの２つの手書き文字列の傾きが近くなるように変更される。
図３１（ｄ）に示すように、１つの手書き文字列を構成する複数の文字候補領域ｒの配置が第４配置パターン１５４である場合、第４配置パターン１５４ａの手書き文字列を構成する文字候補領域の間隔が近くなるように変更される。
【０１００】
（第８の実施形態）
図３２は、第８の実施形態に係る画像処理装置を例示するブロック図である。  
実施形態の画像処理装置２００は、デスクトップ型またはラップトップ型の汎用計算機、携帯型の汎用計算機、その他の携帯型の情報機器、撮像デバイスを有する情報機器、スマートフォン、その他の情報処理装置など、様々なデバイスによって実現可能である。
【０１０１】
図３２に示すように、実施形態の画像処理装置２００は、ハードウェアの構成例として、ＣＰＵ２０１と、入力部２０２と、出力部２０３と、ＲＡＭ２０４と、ＲＯＭ２０５と、外部メモリインタフェース２０６と、通信インタフェース２０７と、を含む。
【０１０２】
上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の画像処理装置による効果と同様な効果を得ることも可能である。上述の実施形態に記載された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の画像処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
【０１０３】
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等で動作するＭＷ（ミドルウェア）などが実施形態を実現するための各処理の一部を実行してもよい。
【０１０４】
さらに、実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した記録媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。また、記録媒体は１つに限らず、複数の記録媒体から実施形態における処理が実行される場合も、実施形態における記録媒体に含まれる。記録媒体の構成は何れの構成であってもよい。
【０１０５】
なお、実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、実施形態における各処理を実行するためのものであって、パーソナルコンピュータ、マイクロコンピュータ等の１つからなる装置、あるいは、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【０１０６】
また、実施形態におけるコンピュータとは、パーソナルコンピュータに限らず、情報処理機器に含まれる演算処理装置、マイクロコンピュータ等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。
【０１０７】
実施形態によれば、手書き文字を見易く配置できる画像処理装置、画像処理方法及び画像処理プログラムが提供できる。
【０１０８】
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、取得部及び処理部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
【０１０９】
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
【０１１０】
その他、本発明の実施の形態として上述した画像処理装置、画像処理方法及び画像処理プログラムを基にして、当業者が適宜設計変更して実施し得る全ての画像処理装置、画像処理方法及び画像処理プログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。
【０１１１】
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
【０１１２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１３】
１０…取得部、  ２０…処理部、  ２１…設定部、  ２２…算出部、  ２３…抽出部、  ２４…補正部、  ２５…判定部、  ２６…構造化部、  ３０、６０、８０、１００、１２０、１４０…入力画像、  ３１…第１抽出画像、  ３１ａ…第１文字列、  ３２…第１生成画像、  ３３…第２抽出画像、  ３３ａ…第２文字列、  ３４…第２生成画像、  ３５、３６…線、  ６１〜６４…第１〜第４文字列、  ６５、６５ａ、６６、６６ａ…間隔、  ７１〜７６、９１〜９６、１０３ａ〜１０３ｎ、１２３ａ〜１２３ｌ…集合、  ８１〜８６、８１ａ〜８６ａ…第１〜第６文字列、  １０１ａ〜１０１ｎ…第１〜第１４文字列、  １０２ａ〜１０２ｄ、１２２ａ〜１２２ｄ…非文字、  １１０〜１１２、２００…画像処理装置、  １２１ａ〜１２１ｌ…第１〜第１２文字列、  １２４…第１文字列群、  １２５…第２文字列群、  １２６…第３文字列群、  １３１…位置、  １３２…行間、  １４１〜１４４…第１〜第４文字列、  １４１ａ…第１文字列、  １５１〜１５４、１５１ａ〜１５４ａ…第１〜第４配置パターン、  ２０１…ＣＰＵ、  ２０２…入力部、  ２０３…出力部、  ２０４…ＲＡＭ、  ２０５…ＲＯＭ、  ２０６…外部メモリインタフェース、  ２０７…通信インタフェース、  ｃ…文字、  ｃ１〜ｃ５…第１〜第５文字、  Ｄ１〜Ｄ４…第１〜第４方向、  ｅ１〜ｅ４…第１〜第４端、  ｆ１、ｆ２…中心、  Ｌ１〜Ｌ５…線分、  ｒ、ｒａ〜ｒｄ、ｒ１〜ｒ５…領域（文字候補領域）、  ｒ１…基準領域、  ｒ１１〜ｒ１５…第１〜第５文字候補領域、  ｒ２１、ｒ３１…文字領域、  ｒ２２、ｒ３２…非文字領域、  ｒｒ１、ｒｒ２…第１、第２矩形領域、  ｖ１２〜ｖ１５…評価値
【図１】
2016181057.tif 000003
【図４】
2016181057.tif 000004
【図５】
2016181057.tif 000005
【図７】
2016181057.tif 000006
【図９】
2016181057.tif 000007
【図１０】
2016181057.tif 000008
【図１１】
2016181057.tif 000009
【図１２】
2016181057.tif 000010
【図１９】
2016181057.tif 000011
【図２３】
2016181057.tif 000012
【図３１】
2016181057.tif 000013
【図３２】
2016181057.tif 000014
【図２】
2016181057.tif 000015
【図３】
2016181057.tif 000016
【図６】
2016181057.tif 000017
【図８】
2016181057.tif 000018
【図１３】
2016181057.tif 000019
【図１４】
2016181057.tif 000020
【図１５】
2016181057.tif 000021
【図１６】
2016181057.tif 000022
【図１７】
2016181057.tif 000023
【図１８】
2016181057.tif 000024
【図２０】
2016181057.tif 000025
【図２１】
2016181057.tif 000026
【図２２】
2016181057.tif 000027
【図２４】
2016181057.tif 000028
【図２５】
2016181057.tif 000029
【図２６】
2016181057.tif 000030
【図２７】
2016181057.tif 000031
【図２８】
2016181057.tif 000032
【図２９】
2016181057.tif 000033
【図３０】
2016181057.tif 000034