(57)【要約】【課題】  画像処理装置において文字認識処理を行う際に、言語タイプを自動的に選択して、適切な文字認識処理を行えるようにする。【解決手段】  本発明の一実施例である画像処理装置は、ユーザからの指示を設定するためのユーザインターフェースを有し、該ユーザインターフェースの表示画面で使用される言語を切り替えることができる画像処理装置であって、ユーザインターフェースの表示画面で使用されている言語タイプを判断し、当該判断された言語タイプの原稿を認識するのに適した文字認識処理を、スキャナで読み込んだ画像データに対して施すことにより、テキストデータを生成し、更に、当該テキストデータと前記画像データとが対応付けられたファイルを生成する。【選択図】  図８
2006107032.tif 000002
【特許請求の範囲】
【請求項１】
ユーザからの指示を設定するためのユーザインターフェースと、
原稿の画像データを読み込む画像読み込み手段と、
前記画像読み込み手段で読み込んだ画像データに対して文字認識処理を施してテキストデータを生成する文字認識手段と、
前記文字認識手段で生成したテキストデータと前記画像データとが対応付けられたファイルを生成するファイル生成手段と、を有する画像処理装置であって、
前記ユーザインターフェースの表示画面で使用される言語を切り替えることができ、
更に、前記文字認識手段は、前記ユーザインターフェースの表示画面で使用されている言語タイプを判断し、当該判断された言語タイプの原稿を認識するのに適した文字認識処理を前記画像データに対して施し、前記テキストデータを生成する
ことを特徴とする画像処理装置。
【請求項２】
更に、前記画像読み込み手段で読み込んだ画像データを２値化する２値化手段を有する画像処理装置であって、
前記文字認識手段は、前記２値化手段で２値化された画像データに対して前記文字認識処理を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ファイル生成手段は、前記テキストデータの各文字を、前記画像データ内の認識対象となった各文字画像の位置に対応付けて前記ファイルを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
更に、前記ユーザインターフェースは、前記画像読み込み手段で読み込む画像データの言語タイプをユーザの指定に基づいて設定する手段を有し、
前記文字認識手段は、前記ユーザインターフェースで言語タイプがユーザにより指定されているか否か判断し、ユーザにより指定されていると判断した場合は当該指定された言語タイプの言語を認識するのに適した文字認識処理を施し、一方、ユーザにより指定されていないと判断した場合は、前記ユーザインターフェースの表示画面で使用されている言語タイプを判断して当該判断された言語タイプの原稿を認識するのに適した文字認識処理を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ユーザインターフェースは、該画像処理装置を使用するユーザに応じて表示する言語を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
ユーザからの指示を設定するためのユーザインターフェースを有する画像処理装置を制御するための画像処理方法であって、
原稿の画像データを読み込む画像読み込みステップと、
前記画像読み込みステップで読み込んだ画像データに対して文字認識処理を施してテキストデータを生成する文字認識ステップと、
前記文字認識ステップで生成したテキストデータと前記画像データとが対応付けられたファイルを生成するファイル生成ステップと、を有し、
前記画像処理装置は前記ユーザインターフェースの表示画面で使用される言語を切り替えることができ、
前記文字認識ステップでは、前記ユーザインターフェースの表示画面で使用されている言語タイプを判断し、当該判断された言語タイプの原稿を認識するのに適した文字認識処理を前記画像データに対して施し、前記テキストデータを生成する
ことを特徴とする画像処理方法。
【請求項７】
ユーザからの指示を設定するためのユーザインターフェースを有し、該ユーザインターフェースの表示画面で使用される言語を切り替えることができる画像処理装置に対して、
原稿の画像データを読み込む画像読み込みステップと、
前記ユーザインターフェースの表示画面で使用されている言語タイプを判断し、当該判断された言語タイプの原稿を認識するのに適した文字認識処理を前記画像データに対して施すことにより、テキストデータを生成する文字認識ステップと、
前記文字認識ステップで生成したテキストデータと前記画像データとが対応付けられたファイルを生成するファイル生成ステップと、
の各ステップを実行させるためのプログラムコードを含むことを特徴とするコンピュータ実行可能なプログラム。
【請求項８】
請求項７に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学的に文書原稿を読み取って得られた画像データを処理する画像処理装置及び方法に関する。
【背景技術】
【０００２】
従来、紙の文書原稿をスキャナで読み込んで画像データを取得し、その画像データを文字認識してテキストファイルを作成し、更に、該テキストファイルと画像データを対応付けて格納することが提案されている（例えば特許文献１参照）。このようにすることにより、所望の画像を文字で検索することができるようにしている。
【特許文献１】特開平０８−０６３５８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
一方、近年、異なる言語を用いる人が同じ製品を使用することも多くなっているし、また、製品が世界中に出荷されることも多くなっているので、製造コストを低減するためにも、１つの製品で各国語に対応することが必要となっている。
【０００４】
しかしながら、上述したような特許文献１では、異なる言語に対してどのように対応するかについては考慮されていなかった。
【０００５】
そこで、本発明では、使用する言語に対応した文字認識処理を適切且つ容易に使用できるようにする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、ユーザからの指示を設定するためのユーザインターフェースと、原稿の画像データを読み込む画像読み込み手段と、前記画像読み込み手段で読み込んだ画像データに対して文字認識処理を施してテキストデータを生成する文字認識手段と、前記文字認識手段で生成したテキストデータと前記画像データとが対応付けられたファイルを生成するファイル生成手段と、を有する画像処理装置であって、前記ユーザインターフェースの表示画面で使用される言語を切り替えることができ、更に、前記文字認識手段は、前記ユーザインターフェースの表示画面で使用されている言語タイプを判断し、当該判断された言語タイプの原稿を認識するのに適した文字認識処理を前記画像データに対して施し、前記テキストデータを生成する。
【発明の効果】
【０００７】
本発明によれば、文字認識処理の設定を適切且つ容易に行なうことができる。特にスキャナを有する画像処理装置が有する、該画像処理装置に読み込み指示などを与えるためのユーザインターフェースの言語に基づいて、文字認識処理で利用する言語の設定を行なうようにしたので、文字認識処理の設定を適切且つ容易に行なうことができる。
【発明を実施するための最良の形態】
【０００８】
（実施例１）
図１は本発明の画像処理装置の構成を示すブロック図である。本実施例では、画像処理装置として複写機（複合機）を用いた場合について説明する。
【０００９】
入力部３（例えばスキャナ）で読み込んだ画像データは、ＲＡＭ２などのメモリ領域に展開される。同様にＨＤＤやＲＯＭなどの外部記憶装置４に記憶されている、本実施例を実現するための処理プログラムや辞書データも同様にＲＡＭ２に展開され、ＣＰＵ１によって実行される。
【００１０】
該処理プログラムがＣＰＵ１によって実行されると、入力部３から入力された画像データを処理する。処理された画像データは出力部５からネットワークを介して外部装置に送信することができるし、また、外部記憶装置４に保存することも可能である。また、出力部５はプリンタ部も有し、コピーを行なう際は、スキャナで読み込んだ原稿画像をプリンタ部で印刷する。
【００１１】
また、ユーザインターフェース（ＵＩ）６は、ユーザが本画像処理装置に対して各種指示を与えるためのものであり、本実施例では、タッチパネルで構成されているものとする。なお、このユーザインターフェースはタッチパネルに限るものではなく、表示画面と機械的なボタンというような組合せで構成されるようにしても構わない。このユーザインターフェース６は、複数の言語に対応しており、設定に応じてユーザインターフェースの言語を切り替えて表示することが可能である。
【００１２】
例えば、図３及び図９はユーザインターフェースの例で、図３は日本語でユーザインターフェースを表示するように設定されている場合であり、図９は英語でユーザインターフェースを表示するように設定されている場合である。
【００１３】
図３を用いて各ボタンやタグについて説明する。例えば、３１のコピー機能のタグをユーザが選択すると、コピー機能に関する各種設定を行なうための画面が表示され、例えば、拡大／縮小コピーとそれぞれの倍率を設定したり、両面コピーの設定やコピー部数の設定などが行なえる。
【００１４】
図３では、３２の送信機能タグがユーザにより選択された時のユーザインターフェースの図であり、スキャナなどで読み込んだ原稿を外部に送信する際に使用する送信情報を設定することができる。
【００１５】
３３の送信先にはメールアドレスや送信するホストのパスなどを指定する。
【００１６】
３４の保存形式は出力ファイルをどのような画像フォーマットで送信するか指定することができる。例えば、ＴＩＦＦ形式やＰＤＦ形式やサーチャブルＰＤＦ（ＳＰＤＦ）形式などを指定することができる。なお、本実施例において、サーチャブルＰＤＦ形式とは、画像データをＰＤＦファイルに格納するとともに、該画像データを文字認識して得た文字コードを該ＰＤＦファイルに透明文字として埋め込んだフォーマットのことを指すものとする。したがって、サーチャブルＰＤＦ形式のファイルでは、見た目は画像データであるが、文字コードが画像データ内の文字画像と対応付けられて埋め込まれているので、文字で検索を行なうことが可能になる。
【００１７】
３５の解像度では画像データの解像度を設定することができる。
【００１８】
３６の方向判別ボタンが選択されると、画像データの天地方向を自動的に判別して、その方向に画像データの方向を補正する方向判別処理を実行する。
【００１９】
３７の開始ボタンが選択されると、画像データを読み込み、３３〜３６で設定した設定項目に基づく画像処理が実行される。
【００２０】
３８の中止ボタンが選択されると、前述した設定内容を無効にしたり、既に３７が欧化され画像処理が開始されていれば該処理を中止する。
【００２１】
本実施例では、送信機能が選択され、送信先アドレスは「＊＊＊＠ｘｘｘ．ｘｘｘ．ｊｐ」、保存形式は「サーチャブルＰＤＦ形式」、入力画像解像度は「３００ｄｐｉ」が設定されたものとし、次に図２のフローチャートを元に本実施例における処理手順を説明する。
【００２２】
図２のＳ１０１は読み込んだオリジナル画像データを２値化し、更に該２値画像データに対してノイズ除去処理を施して文字認識用の画像データを作成する。
【００２３】
ノイズ除去の方法としては孤立点除去を用いて実行される。図４に示すように注目した黒点に隣接する黒点情報が存在しない場合はノイズと判定して黒点除去を行う。すなわち図４の注目画素ｐ（ｘ、ｙ）に対して（ｘ、ｙ−１）、（ｘ、ｙ＋１）、（ｘ−１、ｙ−１）、（ｘ−１、ｙ）、（ｘ−１、ｙ＋１）、（ｘ＋１、ｙ−１）（、ｘ＋１、ｙ）、（ｘ＋１、ｙ＋１）の全ての画素情報が黒点（ＯＮ）で無い場合は、該注目画素は孤立点であるので、ノイズであるとして画素情報を白（ＯＦＦ）にする。
【００２４】
次にＳ１０２の領域分割処理を行う。領域分割処理では、該２値画像に対して属性毎の領域（例えば、文字領域や画像領域など）に分割して、それぞれの領域の構造を解析し、領域ごとに位置情報および領域属性を付与する。
【００２５】
領域分割処理（Ｓ１０２）は、既存の領域分割処理を利用可能であるので、ここでは簡単に説明する。領域分割処理では入力された画像データに対して縮小処理を行い、該縮小画像においてまとまった画素をひとつの画像領域として取り出す。図５は画像データを縮小し、まとまった画素の画像領域を取り出したときの例である。このようにして取り出した画像領域の大きさや並びや大きさの均一性などを元にテキスト領域や画像領域を決定する。図６は、領域分割処理によって分割された各領域を点線で示し、各領域の領域属性をｐ１〜ｐ１０で示している。領域分割処理ではある程度まとまった領域にタイトル、テキスト、図、テーブルといった属性とそれぞれの画像領域の位置情報と大きさを結果として得ることが出来る。また、同時に図７のように画像データのレイアウトを解析して、各領域がどのような論理構造になっているかを得ることができる。
【００２６】
次に、Ｓ１０３において、前記領域分割した画像に対して文字認識処理を行う。図８は本実施例における文字認識処理のフローチャートである。
【００２７】
Ｓ２０１では、現在のユーザインターフェース６において使用されている言語がどの言語であるか判断し、該判断した言語を文字認識するのに適した言語辞書を選択する。
【００２８】
図３のユーザインターフェースは日本語で表示されている状態であるので、日本語の文字を認識するのに適した辞書データ（例えばＪＩＳで定義されている文字に関する特徴が格納されている辞書データ）を選択する。一方、図９のユーザインターフェースのように、英語で表示されている場合は、英語の文字を認識するのに適した辞書データ（例えばＬａｔｉｎ１で定義されている文字に関する特徴が格納されている辞書データ）を選択する。
【００２９】
また、ハンガリー語、スロベニア語などの東欧の言語でユーザインターフェースが記述されていた場合はＬａｔｉｎ２で定義されている文字の特徴を記憶した辞書データを選択する。バルト語などの北欧系の言語でユーザインターフェースが記述されていた場合はＬａｔｉｎ４で定義されている文字の特徴を記憶した辞書データを選択する。
【００３０】
以上のように、該画像処理装置に対して、コピー指示やスキャン指示、送信指示などの各種設定を行なうためのユーザインターフェースを表示する際に使用されている言語に基づいて辞書データを選択する。
【００３１】
Ｓ２０２では、最初の処理対象領域を取得する。
【００３２】
Ｓ２０３では、当該処理対象領域が、テキスト属性あるいはタイトル属性、文字を含むテーブルなどの文字属性であるかどうかを判定（文字画像を含む領域かどうか判定）し、文字画像を含む領域であればＳ２０４に進み、非文字であればＳ２０９へスキップする。
【００３３】
Ｓ２０４では、該領域から文字画像を取り出す。
【００３４】
Ｓ２０５では当該取り出した文字画像の特徴を抽出する。図１０は文字の特徴を取得する例である。文字画像の矩形領域を細分し、細分した画像の画素成分の特徴を算出する。細分したすべての画像の特徴に基づいて、該文字画像の特徴を決定する。
【００３５】
Ｓ２０６ではＳ２０５で得られた文字画像の特徴と、Ｓ２０１で選択された辞書データに格納されている文字の特徴量とを比較し、該文字画像の特徴と辞書に格納されている各文字の特徴との類似度を表す距離値を計算する。そして図１１のような距離値に基づいて文字画像「文」に最も類似する文字を文字認識結果の候補として決定する。なお、Ｓ２０５〜Ｓ２０６は、各文字画像に対する文字認識結果の候補を求める手法は、上記手法に限るものではなく、文字画像と辞書に格納されているパターンのパターンマッチングを取って文字認識結果を得るなど、様々な手法を適用することが可能である。
【００３６】
Ｓ２０７では領域内の全文字画像に対して文字候補（文字コード）の決定処理が行なわれたかどうか判定し、すべての文字に対して処理が終わったならばＳ２０９に進み、領域内に未処理の文字画像がある場合はＳ２０８に進んで次の文字画像を取得する。
【００３７】
Ｓ２０９では、領域分割で得られたすべての領域に対して処理が終わったかどうか判定し、未処理の領域がある場合にはＳ２１０に進んで未処理の次の領域を取得してＳ２０３からの処理を繰り返す。すべての領域の処理が終わっていたら文字認識処理を終了する。
【００３８】
以上のように図８の文字認識処理で得られた文字コードは各文字画像の位置情報と対応付けて記憶する。
【００３９】
Ｓ１０４では、読み込んだオリジナルの画像データの解像度を前記ユーザインターフェースで指定された解像度にする。更に本実施例では、ＪＰＥＧ等の圧縮を行なうものとする。なお、ＪＰＥＧ等の圧縮処理を行わずにビットマップ画像として次の処理に進むようにしてもよい。
【００４０】
Ｓ１０５では、Ｓ１０３の文字認識処理で得た文字コードを前記位置情報に基づいて、Ｓ１０４で得た画像データにリンクして（透明文字として埋め込んで）、サーチャブルＰＤＦ形式のファイルとして出力する。出力されたファイルは指定されたアドレスに送信される。
【００４１】
以上、説明したように本実施例によれば、スキャンなどで得られた画像データに対して、文字認識処理を行い、文字画像の位置情報と関連付けたテキスト情報を該画像データにもたせたファイル形式のファイルを作成することにより、文字で検索可能な画像ファイルを作り出すことができる。したがって、検索が容易になるので、画像データの加工や再利用が容易になり、複写機などのスキャナを有する画像処理装置の利用付加価値を高めることができる。また、文字認識処理を行う際、該画像処理装置のユーザインターフェースで使用するように設定された言語に基づいて、該言語の文字画像を認識するのに適した文字認識処理を自動的に行なうので、ユーザが言語情報を設定するわずらわしさを解消することができる。
【００４２】
なお、上述した実施例では、プリンタ部を有する複写機（複合機）を例にして説明したが、出力部５がプリンタ部を有さず、ネットワーク等を介して外部装置に送信するようなスキャン装置であっても構わない。
【００４３】
（実施例２）
更に、上述した実施例１のユーザインターフェースにおいて、図３のような日本語のユーザインターフェースと図９の英語のユーザインターフェースを、該画像処理装置を使用するユーザに応じて自動的に選択するような機構を設けてもよい。その場合、例えば、該画像処理装置の使用時にログイン画面を設け、ログインユーザに応じて自動的にユーザインターフェースを選択するような機構にすることができる。
【００４４】
（実施例３）
更に、実施例１における図３や図９のユーザインターフェースにおいて、ユーザが原稿の言語タイプを指定するためのオプション画面を設けてもよい。その場合、Ｓ２０１において、まず、オプション画面でユーザにより原稿画像の言語タイプが指定されたかどうか判断し、指定されたと判断した時は、当該指定されている言語タイプの原稿を文字認識するのに適した辞書を選択し、Ｓ２０２以降の処理を行なう。一方、オプション画面でユーザにより原稿画像の言語タイプが指定されていないと判断した場合は、実施例１と同様に、現在のユーザインターフェースの表示に使用されている言語がどの言語であるか判断し、当該判断された言語を文字認識するのに適した辞書を選択し、Ｓ２０２以降の処理を行う。
【００４５】
このように構成すれば、実施例１の効果に加え、ユーザが外国語の原稿を読み込ませるような場合があったとしても、その言語に適した文字認識処理を行うようにすることが可能となる。
【図面の簡単な説明】
【００４６】
【図１】本発明の情報処理装置の構成図
【図２】本発明のフローチャート
【図３】本発明のユーザインターフェース
【図４】孤立点除去によるノイズ除去
【図５】領域分割処理説明図
【図６】領域分割処理結果（レイアウト情報）
【図７】領域分割処理結果（論理構造）
【図８】文字認識処理フローチャート
【図９】本発明のユーザインターフェース（英語）
【図１０】文字特徴抽出
【図１１】文字特徴量比較
【図１】
2006107032.tif 000003
【図２】
2006107032.tif 000004
【図３】
2006107032.tif 000005
【図４】
2006107032.tif 000006
【図５】
2006107032.tif 000007
【図６】
2006107032.tif 000008
【図７】
2006107032.tif 000009
【図８】
2006107032.tif 000010
【図９】
2006107032.tif 000011
【図１０】
2006107032.tif 000012
【図１１】
2006107032.tif 000013