(57)【要約】【課題】画像中における文字や文字の形態を認識する精度は低かった。【解決手段】入力部１０２は、ＲＧＢ形式の画像データを入力する。色空間変換部１０４は、ＲＧＢ形式の画像データをＬａｂ形式の色空間の画像データに変換する。認識部１０６は、明度成分Ｌについて文字認識を行う。文字形態検出部１０８は、認識した文字の色を検出する。出力部１１０は、文字と文字形態とを対応付けて認識結果１４を出力する。これにより、画像処理装置１００は、精度よく、画像に含まれる文字や文字形態を認識することができる。【選択図】図1
2005108124.tif 000002
【特許請求の範囲】
【請求項１】
所定の画像データの入力を受け付ける手段と、
前記画像データに基づいて形成される画像に含まれる文字を認識し、文字データに変換する手段と、
前記認識した文字の文字形態を検出し、それらの文字に予め登録された文字形態を割り当てる手段と、
検出した文字に対応する前記文字データの先頭および語尾に、その文字の文字形態を特定するための属性情報を付加する付加手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
文字形態と属性情報とを対応づけて保持する手段と、
ユーザからの指示を受け付け、前記属性情報を編集する手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記付加手段は、ユーザが編集可能な第１属性情報と、ユーザが編集不可能な第２属性情報とを含み、当該装置はユーザからの指示に基づいて、前記第１属性情報と前記第２属性情報のいずれかを付加することを前記付加手段に指示する手段をさらに備えることを特徴とする請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理技術に関し、とくに画像に含まれる文字を認識する文字認識装置に関する。
【背景技術】
【０００２】
近年、通信技術が進歩し、コンピュータ、ファクシミリ装置、スキャナ装置、ＭＦＰ（Multi Functional Peripheral）などの機器がネットワークに接続されるようになってきた。こうしたことから、例えば業務における書類等のデジタル化が進み、各種情報をデジタルデータとして取り扱うことが注目されるようになってきた。こうした中、手書き文字や印刷された文字を光学的に読み取り、テキストデータに変換する技術としてＯＣＲ（Optical Character Reader）がある。ＯＣＲは、例えば文字の印刷された紙面をスキャナで読み取り、読み取った画像データに画像処理を施すことにより紙面に印字された文字をテキストデータに変換する技術である。こうした技術は、紙面に白黒２値で記載された文字を読み取ることを主として発達してきたが、近年ではカラープリンタなどの普及にともない、カラーで手書きもしくは印刷された文字を認識する必要性も高まってきた。そうした画像データ中に記載された文字を明朝体、ゴシックかあるいは斜体か否か等の字体を含めて読み取る技術がある。（例えば、特許文献１参照。）。
【特許文献１】特開２００１−１３４０２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１で開示された技術は、カラー画像データ中における文字の認識について触れておらず、また、一般にカラー画像データ中における文字や文字の形態を認識する場合、文字の認識精度は比較的低いため、改善の余地があるといえる。
【０００４】
本発明はこうした点に鑑みてなされたもので、その目的は、精度良く画像中の文字および文字の形態を認識し、所定のデータに変換する技術の提供にある。
【課題を解決するための手段】
【０００５】
本発明のある態様は、画像処理装置である。この装置は、画像データの入力を受け付ける手段と、その画像データに基づいて形成される画像に含まれる文字を認識し、文字データに変換する手段と、その認識した文字の文字形態を検出し、それらの文字に予め登録された文字形態を割り当てる手段と、検出した文字に対応する前記文字データの先頭および語尾に、その文字の文字形態を特定するための属性情報を付加する付加手段を備える。これにより、カラー画像やモノクロ画像を問わず、画像データに含まれる文字を認識し、さらにその文字の文字形態を抽出し活用することにより、画像処理装置の利便性が高まる。
【０００６】
本発明の画像処理装置は、文字形態と属性情報とを対応づけて保持する手段と、ユーザからの指示を受け付け、前記属性情報を編集する手段とを備えてもよい。これにより、ユーザが所望の属性情報を生成できる。
【０００７】
本発明の画像処理装置は、前記の付加手段は、ユーザが編集可能な第１属性情報と、ユーザが編集不可能な第２属性情報とを含み、また、ユーザからの指示に基づいて、前記第１属性情報と前記第２属性情報のいずれかを付加することをその付加手段に指示する手段をさらに備えてもよい。これにより、ユーザが所望の属性情報群を選択できる。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、カラー画像やモノクロ画像を問わず、画像中に含まれる文字を所定のデータに変換できる。これにより、精度が良い文字認識処理を行うことができる利便性の高い画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００１０】
図１は、実施の形態に係る画像処理装置１００を含む画像処理システム１０を示す。画像処理装置１００の各構成要素は、ハードウエアコンポーネントで言えば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するＲＯＭ、ＲＡＭ、ハードディスクなどの記憶ユニット、ネットワーク接続用インターフェース等を中心に実現されるが、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。これから説明する各図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。
【００１１】
文書１２は、例えば色の付いた文字が記載された用紙である。スキャナ装置２０は、文書１２を読み込んで、赤、緑、青の３つの成分からなる色空間を利用して各画素の色を表現するＲＧＢ形式の画像データを画像処理装置１００に出力する。画像処理装置１００は、スキャナ装置２０から画像データを受け付け、明度成分または輝度成分を含む他の色空間に変換する。そして、画像処理装置１００は、明度成分または輝度成分に基づいて、文字認識を行い、認識結果１４としてテキストデータを出力する。
【００１２】
画像処理装置１００は、ＲＧＢ形式の画像データの入力を受け付ける入力部１０２、画像データの色空間を変換する色空間変換部１０４、明度成分または輝度成分に基づいて文字認識を行う認識部１０６、検出した文字の形態を検出する文字形態検出部１０８、検出した文字の形態に対応する属性情報を格納する属性情報格納部１１２、ユーザからの属性情報の編集指示を受け付ける設定部１１４、ユーザからの属性情報群の選択指示を受け付ける受付部１１６および認識結果を出力する出力部１１０を有する。
【００１３】
入力部１０２は、スキャナ装置２０からＲＧＢ形式の画像データの入力を受け付ける。また、他の例では、入力部１０２は、フレキシブルディスク、メモリカードなどの任意の記憶媒体や、ネットワークを介して画像データの入力を受け付けてもよい。入力部１０２は、受け付けた画像データを色空間変換部１０４に出力する。色空間変換部１０４は、ＲＧＢ形式の画像データをＬａｂやＹＣｒＣｂなどの明度成分Ｌや輝度成分Ｙを含むいずれかの色空間に変換する。以下、ＲＧＢ形式の画像データをＬａｂ形式に変換した場合を例に、後段の処理を説明する。
【００１４】
認識部１０６は、明度成分Ｌに基づいて、画像データに含まれる文字を認識する。ここでＬａｂにおける明度成分Ｌは、人の目の視認特性に応じて経験的に定義されている。このため、明度成分Ｌについて、例えばパターンマッチングなどの既知の文字認識処理を行うことで、認識部１０６は、人が視認できる文字を容易に認識することができる。また、人が視認し難い例えば明るい黄色などで記載された文字は、明度成分Ｌについて文字認識を行っても認識することが難しい。そこで、認識部１０６は、黄色の補色にあたるＲＧＢ形式の青成分Ｂについて、更に文字認識処理を施してもよい。このように、明度成分Ｌと青成分Ｂについて文字認識処理を行うことにより、画像データに含まれる文字を適切に認識できる。明度成分Ｌについて、文字認識処理を行うことにより、従来、赤成分Ｒ、緑成分Ｇ、青成分Ｂのそれぞれについて文字認識を行い、３ステップで行っていた処理を、明度成分Ｌのみの１ステップ、もしくは明度成分Ｌおよび青成分Ｂの２ステップで行うことができる。
【００１５】
認識部１０６は、認識した文字の位置情報を文字形態検出部１０８に出力する。例えば、認識部１０６は位置情報として、認識した文字を形成する画素を特定する情報を文字形態検出部１０８に出力する。
【００１６】
文字形態検出部１０８は、認識部１０６から供給された位置情報で特定される文字の例えば色、フォント、大きさ等の文字形態を検出する。例えば、文字色を検出する場合、文字形態検出部１０８は認識部１０６から供給された位置情報で特定される画素のＲＧＢ値を、色空間変換部１０４から供給されるＲＧＢ形式の画像データから色情報として取得する。
【００１７】
また、フォントや大きさ等形状を検出する場合、文字形態検出部１０８は、認識部１０６から認識した文字の外形を受け取り、例えばパターンマッチングなど既知の手法によりフォントや大きさを特定してもよい。パターンマッチングを行う場合、文字形態検出部１０８は、明度成分Ｌ、もしくは明度成分Ｌおよび青成分Ｂを用いてパターンマッチングを行う。これにより、色によりパターンマッチングの精度への影響を減らすことができ、精度よく文字形態を検出できる。
また、文字形態検出部１０８が、文字のフォントを特定する場合、文書１２に含まれる文字のフォントを抽出し、多数の文字が有するフォントを標準フォント、少数の文字が有するフォントをそれ以外のフォントとし、標準のフォントとそれ以外のフォントに、それぞれ画像処理装置１００に予め用意された第１のフォントと第２のフォントを割り当ててもよい。例えば、標準フォントとして利用されることを想定したフォントＡと、強調表現用として利用されることを想定したフォントＢとの２種類のフォントが予め用意されている場合、文字形態検出部１０８は、文書１２に含まれる文字数をフォントの種類毎にカウントし、最も多く利用されていたフォントを標準フォントとしフォントＡを割り当て、標準フォント以外の全てのフォントにフォントＢを割り当てる。このように、文書１２に含まれるフォント毎の文字数に応じて、文字形態検出部１０８は、予め用意されたフォントを割り当ててもよい。これにより、文字形態検出部１０８は、パターンマッチングのために全てのフォントのパターンを有する必要がないので、パターンを格納するためのメモリ量を小さくできる。
【００１８】
認識した文字を形成する画素に斜線や下線が含まれている場合、文字からその修飾されている斜線や下線を切り離し、その文字を特定してもよい。下線についても、例えば、線の太さまでは認識しない。つまり、下線を認識する場合は、太さを固定した状態で予め用意された下線パターンを割り当てる。文字形態検出部１０８は、検出した文字形態を示す情報を出力部１１０に出力する。また、受付部１１６は、ユーザからの所望のデータ形式への変換要求を受け付け、出力部１１０にその旨を指示する。
【００１９】
出力部１１０は、認識部１０６から供給された文字と、文字形態検出部１０８から供給された文字形態とを対応付けて認識結果１４を出力する。このとき、出力部１１０は、その文字形態を特定する、例えばタグ等の属性情報を属性情報格納部１１２から取得し、その文字の先頭および語尾にその属性情報を付加して、受付部１１６から指示されたユーザ所望のデータ形式に変換する。
【００２０】
本実施の形態ではデータ形式として、ユーザが任意に属性情報を設定できる点字データ形式とＨＴＭＬなどの文書記述言語に準じた標準データ形式とがある。点字データ形式へ変換する場合、ユーザによる編集が可能な第１属性情報が使用され、標準データ形式へ変換する場合、ユーザによる編集が不可能な第２属性情報が使用される。設定部１１４は、ユーザからの属性情報の編集指示を受け付け、属性情報格納部１１２に格納されている第１属性情報を編集する。
【００２１】
図２は、属性情報格納部１１２に格納されているデータ構造の一例を示す図である。本データ構造は、文字形態と属性情報とが対応づけられており、属性情報は、第１属性情報および第２属性情報を含む。
【００２２】
形態欄２００は、文字の色、フォントや大きさ等の文字の形態を示す情報を保持している。第１属性情報欄２０２ａは、文字の形態を特定し、認識した文字の先頭に付加するための開始タグおよびその文字の語尾に付加するための終了タグを保持し、ユーザはそれらの内容を、設定部１１４を介して編集できる。第２属性情報欄２０２ｂは、第１属性情報欄２０２ａと同様に文字の形態を特定するタグが格納されているが、例えばＨＴＭＬなどの文書記述言語で用いられるタグのように予め用意されているタグであり、ユーザはその内容を編集できない。第２属性情報欄２０２ｂも第１属性情報欄２０２ａと同様に開始タグと終了タグを含む。
【００２３】
データ２０４についていえば、文字の形態が太字である文字に対して、点字データ形式として変換される場合は、第１属性情報欄２０２ａ内に格納されている第１属性情報を用いて、その文字の先頭に開始タグ「＿ここからふとじ＿」および語尾に終了タグ「＿ここまで＿」が付加される。また、ＨＴＭＬデータ形式として変換される場合は、第２属性情報欄２０２ｂ内に格納されている第２属性情報を用いて、その文字の先頭に開始タグ「＜ｂ＞」および語尾に終了タグ「＜／ｂ＞」が付加されることを意味する。
【００２４】
以下、標準データ形式としてＨＴＭＬデータ形式へ変換する場合と点字データ形式とに変換する場合をそれぞれ説明する。
【００２５】
＜ＨＴＭＬデータ形式の場合＞
図１にもどり、受付部１１６がユーザからＨＴＭＬデータ形式を受け付けると出力部１１０は、文書１２に基づいてＨＴＭＬデータ形式で認識結果１４を生成する。出力部１１０は、文字形態検出部１０８が検出した文字形態に対応づけられた第２属性情報を属性情報格納部１１２から取得し、認識部１０６が認識した文字に対応付ける。例えば、文書１２に第１文字列１４ａとして青色かつ太字で「あいう」と記載され、第２文字列１４ｂとして青色かつ標準フォントよりも大きいサイズで「あいう」と記載されている場合、認識結果１４の第１文字列１４ａに対応する「あいう」には青色かつ太字であることを示すフォントタグ１６ａが対応付けられ、第２文字列１４ｂに対応する「あいう」には青色かつ標準フォントよりも大きいサイズであることを示すフォントタグ１６ｂが対応付けられる。このように手書きで作成した原稿をＨＴＭＬデータ形式に変換できるので、例えば、ユーザが、手書きでホームページのイメージを作り、画像処理装置１００に読み込ませることにより、自動的にＨＴＭＬデータ形式に変換することができる。これにより、例えば文字入力の苦手な年配者等の利用者もホームページを容易に作成することができる。
【００２６】
＜点字データ形式の場合＞
図３（ａ）は、図１とは別の文字列を含む文書１２を示し、図３（ｂ）は、その文書１２に対して出力部１１０によって点字データ形式に変換された認識結果１４を示す。
ＨＴＭＬデータ形式の場合と同様に、受付部１１６がユーザから点字データ形式を受け付けると出力部１１０は、文書１２に基づいて点字データ形式で認識結果１４を生成する。出力部１１０は、文字形態検出部１０８が検出した文字形態に対応づけられた第１属性情報を属性情報格納部１１２から取得し、認識部１０６が認識した文字に対応付ける。一般に、点字は、凸型の最大６個の点を組み合わせて構成された文字であり、主にひらがなや数字などの各文字と１対１に対応づけられている。点字データは、対応する点字を有する文字だけで構成されており、点字データに含まれる全ての文字を点字へ変換可能である。つまり、この点字データを、点字用の印刷機に与えると、凸点で構成された点字に変換できる。
例えば、その文書１２に太字の文字の形態を有する文字列「うえ」を含む文字列２２「あいうえお」が記載されている場合、認識結果１４において、文字列「うえ」の先頭に開始タグ２８ａ「＿ここからふとじ＿」および語尾に終了タグ２８ｂ「＿ここまで＿」が対応づけられ、文字列２６「あい＿ここからふとじ＿うえ＿ここまで＿お」が生成される。前述したように、ユーザは属性情報を任意に設定できるので、「＿ここからふとじ＿」を「＿ふとじ＿」のように変えて利用することもできる。
これにより、ユーザが、手書きのイメージを生成し、この画像処理装置１００に読み込ませることにより、自動的に点字データに変換することができる。また、太文字等の文字形態を示すタグを文字に付加することができるので、例えば目の不自由な利用者に、本来文字の強調表現ができない点字において、強調した文字部分を知らせることができる。
【００２７】
図４は、図１の画像処理装置１００における処理のフローチャートの一例である。まず、図１の受付部１１６は、ユーザから変換に利用する標準データ形式あるいは点字データ形式のいずれかを受け付ける（Ｓ１０）。入力部１０２は、画像データの入力を受け付ける（Ｓ１２）。そして、図１の色空間変換部１０４は、画像データの色空間をＬａｂ形式に変換する（Ｓ１４）。図１の認識部１０６は、明度成分Ｌについて文字認識を行い（Ｓ１６）、認識した文字の位置情報を図１の文字形態検出部１０８に出力する。文字形態検出部１０８は、位置情報で特定される位置における文字の形態を検出する（Ｓ１８）。図１の出力部１１０は、Ｓ１０で選定されたデータ形式におけるＳ１８で検出した文字形態に対応する属性情報を選択し（Ｓ２０）、認識した文字の先頭および語尾に、選択した属性情報を関連付け（Ｓ２２）、図１の認識結果１４を出力する（Ｓ２４）。
【００２８】
このように明度成分Ｌに基づいて、画像データに基づいて形成される画像に含まれる文字を認識することにより、利用者の視認特性に基づいて認識しやすい色で記載された文字を優先的に文字認識できる。また、明度成分Ｌや輝度成分Ｙに基づいて文字を認識した場合、黄色の文字を認識しにくくなる。そこで、黄色を多く吸収する青成分Ｂについて、更に文字認識を行ってもよい。これにより、明度成分Ｌや輝度成分Ｙで認識しにくい色で記載された文字の認識もできる。
【００２９】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【図面の簡単な説明】
【００３０】
【図１】実施の形態に係る画像処理装置を含む画像処理システムを示す図である。
【図２】属性情報格納部に格納されているデータ構造の一例を示す図である。
【図３】（ａ）は、所定の文字の形態を有する文字列を含む文書を示す図であり、（ｂ）は、文書に対して出力部によって点字データ形式に変換された認識結果を示す図である。
【図４】図１の画像処理装置における処理のフローチャートの一例を示す図である。
【符号の説明】
【００３１】
１２, １８  文書、１４, ２４  認識結果、２０  スキャナ装置、１００  画像処理装置、１０２  入力部、１０４  色空間変換部、１０６  認識部、１０８  文字形態検出部、１１０  出力部、１１２  属性情報格納部、１１４  設定部、１１６  受付部。
【図１】
2005108124.tif 000003
【図２】
2005108124.tif 000004
【図３】
2005108124.tif 000005
【図４】
2005108124.tif 000006