(57)【特許請求の範囲】
【請求項１】
画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に、文字情報として、文字を一意に識別できる文字識別子、該文字の該画像内における位置を示す文字位置、該文字のサイズを示す文字サイズ、該文字の色を示す文字色を付加する文字情報付加手段と、
前記文字情報付加手段によって付加される文字情報内の文字識別子に対応するフォントとして、描画要素がないフォントを割り付けるフォント割付手段と、
前記フォント割付手段によって割り付けられた描画要素がないフォントに対応する文字を複写する場合にあって、該文字の文字識別子及び文字色を複写できるようにした電子文書を、前記文字情報付加手段によって画像に付加された文字情報に基づいて生成する電子文書生成手段
を具備することを特徴とする画像処理装置。
【請求項２】
前記電子文書生成手段は、
前記文字情報付加手段によって文字情報が付加された画像に、前記フォント割付手段によって割り付けられたフォントを付加して電子文書を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に、文字情報として、文字を一意に識別できる文字識別子、該文字の該画像内における位置を示す文字位置、該文字のサイズを示す文字サイズ、該文字の色を示す文字色を付加する文字情報付加手段と、
文字識別子に割り付けられた描画要素がないフォントを記憶するフォント記憶手段と、
前記フォント記憶手段によって記憶されている描画要素がないフォントに対応する文字を複写する場合にあって、該文字の文字識別子及び文字色を複写できるようにした電子文書を、前記文字情報付加手段によって画像に付加された文字情報に基づいて生成する電子文書生成手段
を具備することを特徴とする画像処理装置。
【請求項４】
前記電子文書生成手段は、
前記文字情報付加手段によって文字情報が付加された画像に、前記フォント記憶手段によって記憶されているフォントを付加して電子文書を生成する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像受付手段によって受け付けられる画像はカラー画像であり、
前記画像受付手段によって受け付けられたカラー画像内の文字の色に基づいて、文字情報としての文字の色を決定する文字色決定手段
をさらに具備し、
前記文字情報付加手段は、さらに、前記文字色決定手段によって決定された文字色を前記文字情報として付加する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
コンピュータを、
画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に、文字情報として、文字を一意に識別できる文字識別子、該文字の該画像内における位置を示す文字位置、該文字のサイズを示す文字サイズ、該文字の色を示す文字色を付加する文字情報付加手段と、
前記文字情報付加手段によって付加される文字情報内の文字識別子に対応するフォントとして、描画要素がないフォントを割り付けるフォント割付手段と、
前記フォント割付手段によって割り付けられた描画要素がないフォントに対応する文字を複写する場合にあって、該文字の文字識別子及び文字色を複写できるようにした電子文書を、前記文字情報付加手段によって画像に付加された文字情報に基づいて生成する電子文書生成手段
として機能させるための画像処理プログラム。
【請求項７】
コンピュータを、
画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に、文字情報として、文字を一意に識別できる文字識別子、該文字の該画像内における位置を示す文字位置、該文字のサイズを示す文字サイズ、該文字の色を示す文字色を付加する文字情報付加手段と、
文字識別子に割り付けられた描画要素がないフォントを記憶するフォント記憶手段と、
前記フォント記憶手段によって記憶されている描画要素がないフォントに対応する文字を複写する場合にあって、該文字の文字識別子及び文字色を複写できるようにした電子文書を、前記文字情報付加手段によって画像に付加された文字情報に基づいて生成する電子文書生成手段
として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
電子文書の文書フォーマットとして、ポータブルドキュメントフォーマット（ＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）（登録商標））のような印刷イメージを表示するのに適したものがある。
ワードプロセッサなどのアプリケーションソフトウェアで作成した文書を、このような電子文書に変換して、メール等で流通させたり、印刷したりする処理が多く行われている。
電子文書では、文書内のテキスト情報をコピーして、他のアプリケーションファイルに貼り付けることが可能である。例えば、ＰＤＦ形式の電子文書内のテキスト情報である文字コードを複写（コピー）して、ワードプロセッサ上のファイルに貼り付ける（ペーストする）ことによって、その電子文書内のドキュメントと同じ内容のドキュメントをワードプロセッサ上で利用することができる。
【０００３】
これに関連する技術として、例えば、特許文献１には、文字画像を編集可能なデータに変換するには、データのコンバート処理などの処理を行う必要があり、大変煩わしかったことを課題とし、指示検出部が、所定のポータブル・ドキュメント・フォーマット文書に対する単一の指示操作による変換指示を検出すると、テキスト変換部が、ポータブル・ドキュメント・フォーマット文書に含まれる当該文字画像をテキストに変換し、表示制御部が、変換されたテキスト文書を表示出力するようにしたことが開示されている。
【特許文献１】特開２００３−０８５１６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、画像を基にした電子文書であって、表示されたその画像から、その電子文書内の文字の文字コードを複写する際に、文字色を再現できるようにした電子文書を生成する画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像に、文字情報として、文字を一意に識別できる文字識別子、該文字の該画像内における位置を示す文字位置、該文字のサイズを示す文字サイズ、該文字の色を示す文字色を付加する文字情報付加手段と、前記文字情報付加手段によって付加される文字情報内の文字識別子に対応するフォントとして、描画要素がないフォントを割り付けるフォント割付手段と、前記フォント割付手段によって割り付けられた描画要素がないフォントに対応する文字を複写する場合にあって、該文字の文字識別子及び文字色を複写できるようにした電子文書を、前記文字情報付加手段によって画像に付加された文字情報に基づいて生成する電子文書生成手段を具備することを特徴とする画像処理装置である。
【０００６】
請求項２の発明は、前記電子文書生成手段は、前記文字情報付加手段によって文字情報が付加された画像に、前記フォント割付手段によって割り付けられたフォントを付加して電子文書を生成することを特徴とする請求項１に記載の画像処理装置である。
【０００７】
請求項３の発明は、画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像に、文字情報として、文字を一意に識別できる文字識別子、該文字の該画像内における位置を示す文字位置、該文字のサイズを示す文字サイズ、該文字の色を示す文字色を付加する文字情報付加手段と、文字識別子に割り付けられた描画要素がないフォントを記憶するフォント記憶手段と、前記フォント記憶手段によって記憶されている描画要素がないフォントに対応する文字を複写する場合にあって、該文字の文字識別子及び文字色を複写できるようにした電子文書を、前記文字情報付加手段によって画像に付加された文字情報に基づいて生成する電子文書生成手段を具備することを特徴とする画像処理装置である。
【０００８】
請求項４の発明は、前記電子文書生成手段は、前記文字情報付加手段によって文字情報が付加された画像に、前記フォント記憶手段によって記憶されているフォントを付加して電子文書を生成することを特徴とする請求項３に記載の画像処理装置である。
【０００９】
請求項５の発明は、前記画像受付手段によって受け付けられる画像はカラー画像であり、前記画像受付手段によって受け付けられたカラー画像内の文字の色に基づいて、文字情報としての文字の色を決定する文字色決定手段をさらに具備し、前記文字情報付加手段は、さらに、前記文字色決定手段によって決定された文字色を前記文字情報として付加することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置である。
【００１０】
請求項６の発明は、コンピュータを、画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像に、文字情報として、文字を一意に識別できる文字識別子、該文字の該画像内における位置を示す文字位置、該文字のサイズを示す文字サイズ、該文字の色を示す文字色を付加する文字情報付加手段と、前記文字情報付加手段によって付加される文字情報内の文字識別子に対応するフォントとして、描画要素がないフォントを割り付けるフォント割付手段と、前記フォント割付手段によって割り付けられた描画要素がないフォントに対応する文字を複写する場合にあって、該文字の文字識別子及び文字色を複写できるようにした電子文書を、前記文字情報付加手段によって画像に付加された文字情報に基づいて生成する電子文書生成手段として機能させるための画像処理プログラムである。
【００１１】
請求項７の発明は、コンピュータを、画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像に、文字情報として、文字を一意に識別できる文字識別子、該文字の該画像内における位置を示す文字位置、該文字のサイズを示す文字サイズ、該文字の色を示す文字色を付加する文字情報付加手段と、文字識別子に割り付けられた描画要素がないフォントを記憶するフォント記憶手段と、前記フォント記憶手段によって記憶されている描画要素がないフォントに対応する文字を複写する場合にあって、該文字の文字識別子及び文字色を複写できるようにした電子文書を、前記文字情報付加手段によって画像に付加された文字情報に基づいて生成する電子文書生成手段として機能させるための画像処理プログラムである。
【発明の効果】
【００１２】
請求項１の画像処理装置によれば、画像を基にした電子文書であって、表示されたその画像から、その電子文書内の文字の文字コードを複写する際に、文字色を再現できるようにした電子文書を生成することができる。
【００１３】
請求項２の画像処理装置によれば、生成された電子文書だけを用いて、表示されたその電子文書の画像から文字コードを複写する際に、文字色を再現できるようにした電子文書を生成することができる。
【００１４】
請求項３の画像処理装置によれば、画像を基にした電子文書であって、表示されたその画像から、その電子文書内の文字の文字コードを複写する際に、文字色を再現できるようにした電子文書を生成することができる。
【００１５】
請求項４の画像処理装置によれば、生成された電子文書だけを用いて、表示されたその電子文書の画像から文字コードを複写する際に、文字色を再現できるようにした電子文書を生成することができる。
【００１６】
請求項５の画像処理装置によれば、画像内の文字に基づく文字色を決定して文字コードを複写する際に、文字色を再現ができるようにした電子文書を生成することができる。
【００１７】
請求項６、７の画像処理プログラムによれば、画像を基にした電子文書であって、表示されたその画像から、その電子文書内の文字の文字コードを複写する際に、文字色を再現できるようにした電子文書を生成することができる。
【発明を実施するための最良の形態】
【００１８】
まず、ＰＤＦに代表される印刷イメージを表示するのに適した電子文書の文書フォーマットを利用して、画像を基にした電子文書から、文字コードを複写する処理について説明する。
前述の背景技術の欄で説明したような、ＰＤＦ形式の電子文書からテキスト情報を取得できるのは、限定された電子文書である。つまり、ワードプロセッサなどのように、もともと文字コードを用いてテキスト情報を持っているアプリケーションソフトウェアから作成したＰＤＦ形式の電子文書であれば、その電子文書は文字コードを内包しており、テキスト情報を取得できる。
しかしながら、ＰＤＦ形式の電子文書内にビットマップ画像のみが内包されている場合は、その電子文書内に文字コードを持っていない。そのため、このような電子文書からは、テキスト情報を取得することはできない。
【００１９】
そこで、ビットマップ画像内にある文字を文字認識して、文字認識結果である文字コードを取得し、その文字コードを電子文書内に内包させることで、電子文書から文字コード（テキスト情報）を取得できるようにする技術がある。この技術においては、入力画像内の文字画像を文字認識して文字コードを取得する。そして、取得した文字コードを用いて、画像の文字位置に合わせるように、透明文字で文字を記入するようにしている。
具体例を図３に示す例を用いて説明する。電子文書内文字コード３１０は、ビットマップ画像３２０内の文字認識の結果である。文字コードに対応するフォントで、できるだけビットマップ画像の文字位置と文字サイズに合うように、文字認識によって得た文字（電子文書内文字コード３１０）をビットマップ画像３２０に重ね合わせて表示する。なお、この表示は、文字を透明色とした重ね合わせ表示用文字３１５を作成して、元のビットマップ画像３２０の上に重ね合わせて行うものである。
このような処理を行うことによって、一見、画像であって、文字コードを内包していない電子文書のように見えるが、コピー＆ペーストによって、文字コードを取得できる電子文書を作成することができる。
【００２０】
前述のように、文字を透明色で重ね合わせ表示することによって、見た目はビットマップ画像であるにも関わらず、文字コードを取得できるようになる。
しかしながら、必ずしも文字コードに対応したフォントを用意する必要はない。つまり、表示されている文字は透明色であり、単に、複写目的のために、つまり目的とする文字を選択することができればよいのであるから、文字位置、文字サイズが元の画像と適合していればよい。
さらに、透明色の文字には色情報を付与することができないため（あるいは、色情報は透明色である、又は色情報がないと判断されるため）、その透明色の文字をコピー＆ペーストした場合に、その文字の色情報は電子文書からは取得できない。ビットマップ画像内の文字に色がついている場合、文字に色がついているにも関わらず、取得できるテキスト情報は、モノクロ２値のテキスト情報のみとなってしまう。モノクロ２値のテキスト情報の場合、文字色は自動的に黒と判断されてしまうことが多い。
【００２１】
本実施の形態の概要を説明する。
本実施の形態は、視覚的な文字形状のみの文字（画像内の文字、つまり見た目の文字であり、文字コードが付与されていない文字）と、透明色の文字（文字コードが付与されている文字であって、電子文書として視覚的には表示されていないが、コピー＆ペーストによって、他のアプリケーションにテキスト情報を複写させることができるもの）の２種類の文字データを持つ電子文書であって、透明色の文字に文字として描画要素がないフォントを割り付けた電子文書を生成するものである。また、さらに、透明色で表示される文字に文字色を与えて、透明色で表示された文字をコピー＆ペーストした場合であっても、ペースト先のアプリケーションで文字色を再現することのできる電子文書を生成するものである。
【００２２】
前述の本実施の形態の概要よりも下位の概念の形態を説明する。
本実施の形態では、透明文字を以下のように実現する。
透明文字は、描画要素がないフォント、つまりその一例として空白フォントで実現する。例えば、文字を黒と白の２色で表現するとする。黒を文字の形状を表す色とし、白を背景を表す色とする。このとき、空白を表すフォントは、全て白で示されることになる。
本実施の形態では、透明文字を、空白と同様に、全て白色で表現する。
このように形成した透明文字をフォントとして登録する。フォント登録時に、適正な文字コードを与える。適正な文字コードとは、画像内の文字の文字コードであり、コピー＆ペーストされた場合に、ペースト先のアプリケーションで利用できるものである。つまり、文字コードとフォントとは、普通一般に用いられている関係ではなく、文字コードと普通一般に対応しているフォントとは必ずしも一致したものではない。つまり、どの文字コードに対しても空白フォントが対応することとなる。この空白フォントを用いて、電子文書を記述する。なお、ここで電子文書又は文字情報を記述するとは、電子文書の内容を生成することである。
【００２３】
コピー＆ペーストで取得したい文字コードで、前記空白フォントを用いて電子文書を記述すると、スペースと同じであるため、目には見えない透明文字として実現できる。このとき、前記空白フォントに対応する文字コードに、本来の画像内の文字色に基づいた文字色を付与する。空白文字であるから、文字色を与えたとしても、目には見えない透明文字である。しかし、文字コードは、適正な文字コードが与えられている。
結果として、コピー＆ペーストで前記空白文字のテキスト情報を取得すると、空白フォントに対応する文字コードと、文字色の両方を取得できることになる。しかも、空白文字は目には見えない透明文字として実現されている。
フォントとして登録する空白文字は、電子文書内に出現する文字分のみ用意すればよい。あるいは、全ての文字コード分（例えば、ＪＩＳ第１水準、第２水準の全て）に対して、全て空白文字として登録したフォントを予め用意しておいてもよい。
これらのフォントを、電子文書内に埋め込むか、あるいは、その電子文書を表示する場合に用いられるシステムフォントとしてインストールしてもよい。
【００２４】
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。
【００２５】
以下、文字情報として、文字を一意に識別できる文字コード、その文字の対象としているカラー画像内における位置を示す文字位置、その文字のサイズを示す文字サイズ、その文字の色を含む。ただし、これらの一つ又は組み合わせを文字情報と称することもある。
【００２６】
本実施の形態は、図１に示すように、文字色決定処理モジュール１１０、フォント登録処理モジュール１２０、文字記述処理モジュール１３０、フォント埋め込み処理モジュール１４０を有している。
【００２７】
まず、対象とするカラー画像に対して文字認識処理を行って、対象カラー画像の各文字毎に、文字コード、文字位置、文字サイズを取得する。文字位置と文字サイズとして、文字矩形サイズと文字矩形の位置を用いてもよい。
文字認識処理は、文字コード、文字位置、文字サイズを取得できるのであれば、どのような処理を採用してもよい。例えば、特開昭５３−１０９３０号公報、特開昭５３−４９９１７号公報、特開昭５７−１８９２７７号公報、その他数多くの文字認識装置に関する処理があるが、いずれであってもよい。
また、文字位置とサイズを取得する文字切り出し処理として、様々な手法が提案されている。例えば、特開平５−２８３０１号公報、特開平５−１２０４８１号公報、特開平５−１４３７７６号公報、特開平５−１７４１８５号公報、特開平６−４４４０６号公報、特開平６−１８７４８９号公報、特開平６−３４８９１１号公報、特開平７−１３９９４号公報、特開平７−１６０８１０号公報、特開平８−１６１４３２号公報、特開平８−２９７７１８号公報、特開平１０−６９５２４号公報、特開平１０−１３４１４５号公報、特開平１０−２６１０４７号公報、特開２０００−５７２６１号公報、特開２００１−４３３１４号公報、特開２００４−７８５３１号公報等に開示されている手法を用いてもよい。
【００２８】
文字色決定処理モジュール１１０は、文字記述処理モジュール１３０と接続されており、カラー画像、文字位置、文字サイズを受け付け、そのカラー画像内の対象としている文字の色に基づいて、文字情報としての文字色を決定する。その文字色を文字記述処理モジュール１３０へ渡す。なお、対象としている文字は、受け付けた文字位置、文字サイズによって特定される。
【００２９】
フォント登録処理モジュール１２０は、フォント埋め込み処理モジュール１４０と接続されており、文字コードを受け付け、文字情報内のその文字コードに対応するフォントとして、描画要素がないフォントを割り付け、割り付けた結果のフォント情報をフォント埋め込み処理モジュール１４０へ渡す。なお、この文字コードにフォントを割り付ける処理をフォント登録処理ともいう。また、ここで対象としている文字コードは、文字記述処理モジュール１３０によって付加される文字情報の一部である。
【００３０】
文字記述処理モジュール１３０は、文字色決定処理モジュール１１０、フォント埋め込み処理モジュール１４０と接続されており、カラー画像と文字情報を受け付け、カラー画像に文字情報を付加する。そして、その文字情報が付加されたカラー画像をフォント埋め込み処理モジュール１４０へ渡す。文字情報として、文字コード、文字の対象カラー画像内における文字位置、文字サイズの組み合わせであってもよいし、さらに、文字色決定処理モジュール１１０によって決定された文字色を含めてもよい。
【００３１】
フォント埋め込み処理モジュール１４０は、フォント登録処理モジュール１２０、文字記述処理モジュール１３０と接続されており、文字記述処理モジュール１３０によってカラー画像に付加された文字情報に基づいて、文字記述処理モジュール１３０によって割り付けられたフォント情報を参照できるようにした電子文書を生成し出力する。また、フォント埋め込み処理モジュール１４０は、文字記述処理モジュール１３０によって文字情報が付加されたカラー画像に、フォント登録処理モジュール１２０によって割り付けられたフォント情報を付加して電子文書を生成するようにしてもよい。
【００３２】
次に、第１の実施の形態による作用・働き（動作）を説明する。
図２は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ２０２では、文字色決定処理モジュール１１０が、対象カラー画像内の文字色に基づいて文字色を決定する。
ステップＳ２０４では、フォント登録処理モジュール１２０が、文字コードに対して空白フォントのフォント情報を登録する。なお、ステップＳ２０２とステップＳ２０４はどちらの処理を先に行ってもよい。平行して処理を行ってもよい。
ステップＳ２０６では、文字記述処理モジュール１３０が、各文字の文字情報を記述する。
ステップＳ２０８では、フォント埋め込み処理モジュール１４０が、ステップＳ２０４とステップＳ２０６の処理結果を用いてフォント情報の埋め込み処理を行う。
ステップＳ２１０では、フォント埋め込み処理モジュール１４０が、カラー画像、文字情報、フォント情報を用いて電子文書を生成し出力する。
【００３３】
文字位置、文字サイズ、対象カラー画像が、文字色決定処理モジュール１１０に入力される。文字色決定処理モジュール１１０では、入力された位置の文字の文字色を決定する。文字色としては、例えば、Ｒ、Ｇ、Ｂの３原色の値を取得する。取得する色空間はどのようなものであってもよい。
文字色決定処理モジュール１１０が行う処理として、例えば、入力された文字矩形内の背景色以外の平均色を求めればよい。文字色取得処理の他の例については、図８等を用いて後述する。
【００３４】
次に、受け付けた文字コードのフォントを、フォント登録処理モジュール１２０で登録する。
ここで示すフォントとは、文字コードを入力すると、文字形状を出力することのできるデータのことを意味している。
本実施の形態において、フォントを下記のように登録する。
まず、入力文字コードを登録する。その文字コードに対応する文字形状として、全て背景色（つまり文字形状としてはＯＦＦの色）の形状を登録する。換言すると、空白文字と同じ文字形状を登録する。さらに、具体的には、１×１画素の白画素を文字形状として登録する。画素数は１×１であってもよいし、他の大きさであってもよい。ただし、１×１の画素数が最も効率がよい。
【００３５】
次に、文字記述処理モジュール１３０では、以下の文字情報を記述する。文字コードに対応させて、文字位置、文字サイズ、フォント（これは、フォント登録処理モジュール１２０で登録されたフォント）、文字色の４つの情報があれば、対象カラー画像に存在するカラー文字を再現することができる。
【００３６】
最終的に、フォント埋め込み処理モジュール１４０において、文字記述処理モジュール１３０による文字情報の記述結果に、フォント登録処理モジュール１２０によるフォント登録処理されたフォントを加えて、電子文書を出力する。
【００３７】
以上の説明において、主に文字情報の記述について説明しているが、実際には、出力する電子文書には対象カラー画像も含まれている。
つまり、出力する電子文書を表示すると、バックグラウンド画像として、対象カラー画像が表示され、さらに、その上に、空白文字を用いた文字が表示される。なお、バックグラウンド画像として、対象カラー画像をそのまま用いてもよいし、他の処理を行って、対象カラー画像を変換した画像を用いてもよい。対象カラー画像の変換の種々の方式に関して、図６等を用いて後述する。
【００３８】
なお、フォント情報は、必ずしも電子文書に埋め込む必要はない。電子文書とは別に保持してもよい。又は、システム（オペレーティングシステム）にインストールしてもよい。その場合、電子文書を表示するアプリケーションは、電子文書とは別に保持されたフォント情報又はシステムにインストールされたフォント情報を用いて、その電子文書を表示する。
【００３９】
図４は、第２の実施の形態の構成例についての概念的なモジュール構成図を示している。
本実施の形態は、図４に示すように、文字色決定処理モジュール４１０、フォント保持モジュール４２０、文字記述処理モジュール４３０、フォント埋め込み処理モジュール４４０を有している。
【００４０】
なお、受け付けられる対象カラー画像、文字コード、文字位置、文字サイズは第１の実施の形態と同様のものである。また、文字色決定処理モジュール４１０は文字色決定処理モジュール１１０と、文字記述処理モジュール４３０は文字記述処理モジュール１３０と、フォント埋め込み処理モジュール４４０はフォント埋め込み処理モジュール１４０と同様のものである。
つまり、第２の実施の形態が、第１の実施の形態と相違するところは、フォント登録処理モジュール１２０がフォント保持モジュール４２０となっている点である。フォント保持モジュール４２０を中心に説明する。
【００４１】
フォント保持モジュール４２０は、フォント埋め込み処理モジュール４４０と接続されており、文字コードに描画要素がないフォントを割り付けたフォント情報を記憶しており、フォント埋め込み処理モジュール４４０からアクセスされる。
【００４２】
第２の実施の形態では、フォントは、入力カラー画像毎に登録を行わなくてもよい。つまり、予め、出現すると考えられる文字コードを全て含んだフォントを用意しておけばよい。つまり、全ての文字コードに対応する文字形状が空白文字であるフォントをフォント保持モジュール４２０内に用意しておく。文字セットは、各国言語に対応していればよい。英語圏であれば、ＡＳＣＩＩコードに対応できるだけの文字コードセットに対応して、全ての文字コードが空白文字であるフォントを用意しておく。日本語であれば、例えば、ＪＩＳ第１水準と第２水準全ての文字コードに対応する文字形状が空白文字であるフォントを用意しておく。あるいは、ＵＮＩＣＯＤＥの全てに対応する文字形状が空白文字であるフォントを用意しておく。
このように予めフォントをフォント保持モジュール４２０に用意していても、空白文字１個当りのファイル容量は小さい。すなわち、各文字の形状を示すデータ量は極めて小さいため、フォント埋め込み後の電子文書のファイルサイズや、フォント保持モジュール４２０の記憶容量に関する負担は少ない。
【００４３】
次に、第２の実施の形態による作用・働き（動作）を説明する。
図５は、第２の実施の形態による処理例を示すフローチャートである。
ステップＳ５０２では、文字色決定処理モジュール４１０が、対象カラー画像内の文字色に基づいて文字色を決定する。
ステップＳ５０４では、文字記述処理モジュール４３０が、各文字の文字情報を記述する。
ステップＳ５０６では、フォント埋め込み処理モジュール４４０が、ステップＳ５０４の処理結果とフォント保持モジュール４２０を用いてフォント情報の埋め込み処理を行う。
ステップＳ５０８では、フォント埋め込み処理モジュール４４０が、カラー画像、文字情報、フォント情報を用いて電子文書を生成し出力する。
【００４４】
なお、第２の実施の形態においても、第１の実施の形態と同様に、フォント情報は、必ずしも電子文書に埋め込む必要はない。電子文書とは別に保持してもよい。又は、システム（オペレーティングシステム）にインストールしてもよい。その場合、電子文書を表示するアプリケーションは、電子文書とは別に保持されたフォント情報又はシステムにインストールされたフォント情報を用いて、その電子文書を表示する。
【００４５】
＜フォント埋め込み処理モジュール１４０、４４０でのバックグラウンド画像の処理＞
前述の実施の形態では、生成すべき電子文書のバックグラウンド画像（例えば、図３に示したビットマップ画像３２０）として、対象カラー画像をそのまま用いていたが、別の形態を取ることもできる。
【００４６】
＜１＞
従来のＪＰＥＧ圧縮よりも高い画像圧縮率を得る方式として、例えば、特開２０００−１９６８９３号公報、特開２００５−２２８３３１号公報に示されるような多層構造の画像フォーマットがあるが、この画像フォーマットをバックグラウンド画像に用いてもよい。
これらは、ＪＰＥＧの画像歪みは、主として、高周波成分電力の大きな画像のエッジ部分に発生するという現象を避けるため、入力画像を、高周波成分電力の大きな文字／線画部分と、文字／線画部分を除いたバックグラウンド部分に分解して、バックグラウンド部分は、ＪＰＥＧで高い圧縮率で圧縮し、文字／線画部分は、可逆符号化で圧縮するという方策を採るものである。
【００４７】
その中で、特開２０００−１９６８９３号公報に記載の技術は、３層方式を採る。
図６に示されるように、画像６１０を絵柄部分６１４と文字／線画部分６１２に分ける。さらに最終的な出力画像として、絵柄部分６１４を選択するか、文字／線画部分６１２を選択するかのセレクタ情報６１６を保持する。この３層のデータを用いて画像を表現するものである。
ここで、セレクタ情報６１６には、文字形状が２値画像の形態で記録させることができる。また、フォアグラウンド画像である文字／線画部分６１２は、文字色を記録させることができる。このようにすると、セレクタ情報６１６が文字の内部を表しているとき、その文字の色をフォアグラウンド画像である文字／線画部分６１２で示すことが可能となる。
【００４８】
また、特開２００５−２２８３３１号公報に記載の技術は、図７の例に示すようにバックグラウンド画像の多値画像１層（バックグラウンド画像７１０）と、２値画像のＮ層（２値画像７２０〜７８０）の構造で圧縮する方式を異ならせるものである。この構造は、多値ＪＰＥＧ画像をバックグラウンド画像として、その上に色情報を持つ２値画像を重ねていくものである。
図７に示す例での一番下の層であるバックグラウンド画像７１０に対しては、ＪＰＥＧ等の多値画像形式で圧縮を行う。その他の層（２値画像７２０〜７８０）に対しては、２値画像符号化方式で圧縮する。各２値画像符号化層の画像には色情報が付与されているため、復号時にはその色を付与して復号する。
【００４９】
＜２＞
前述の特開２０００−１９６８９３号公報、特開２００５−２２８３３１号公報に記載の技術では、２値画像は、そのまま２値画像符号化方式（ＭＭＲやＪＢＩＧなど）でビットマップ情報として圧縮する。
他の形態として、２値画像をアウトライン化するようにしてもよい。
アウトライン化とは、文字（あるいは文字に限らず、２値情報で表すことのできる画像）の輪郭形状をベジエのような曲線で近似して表す方法である。
このような手法の例として、特開２００６−２５３８９２号公報に記載の技術を挙げることができる。アウトライン化の手法としては、これに限らず他の技術であってもよい。
【００５０】
＜文字色決定処理モジュール１１０、４１０での別形態の処理＞
＜１＞
前述の実施の形態の文字色決定処理モジュール１１０、４１０では、文字矩形内の背景色以外の部分の平均色を文字色とした。
さらに、文字矩形内の文字部分を抜き出して、その部分の平均色を文字色としてもよい。文字部分の抜き出し方法は様々ある。例えば、特開２０００−１９６８９３号公報、特開２００５−２２８３３１号公報に記載の技術を用いてもよい。
【００５１】
＜２＞
文字色決定処理モジュール１１０、４１０は、文字毎にその文字の色を取得しなくともよい。
対象カラー画像をＮ色の色別の層に分離して、その色を文字色としてもよい。
つまり、文字色決定処理モジュール１１０、４１０は、図８の例に示すようなＮ層分離モジュール８１０を内蔵してもよい。Ｎ層分離モジュール８１０は、対象カラー画像を受け付け、Ｎ枚の２値画像を出力する。Ｎ層分離モジュール８１０による処理は、例えば、特開２００５−２２８３３１号公報に記載されている技術を用いればよい。さらに、Ｎ層分離モジュール８１０において、Ｎ層各々の色が決定される。
文字色決定処理モジュール１１０、４１０は、受け付けた文字サイズと、文字位置を用いて、その文字がどの層に存在しているかを検出する。そして、各文字の文字矩形内にある画素の数が最も多い層の色をその文字色として採用する。
また、前記Ｎ枚の２値画像を、文字の画素をＯＮ、非文字の画素をＯＦＦとして定義して、Ｎ枚の画像のＯＲ（和）画像を生成して、その画像を文字認識して、文字コード、文字位置、文字サイズを取得してもよい。
【００５２】
＜３＞
特開２０００−１９６８９３号公報に記載されたセレクト情報を用いてもよい。
例えば、セレクト情報として、文字部を抜き出した情報を取得することができる。セレクト情報取得方法としては、高域通過フィルタを用いて、入力画像のエッジ部を抽出し、そのエッジ部を用いて、閉領域を形成し、その閉領域内を文字部とする等の方法がある。
ここで、セレクト情報（２値情報）を、文字の画素をＯＮ、非文字の画素をＯＦＦとして定義し、この２値情報を文字認識して、文字コード、文字位置、文字サイズを取得してもよい。
【００５３】
さらに、文字位置、文字サイズ、セレクト情報を基にして、対象カラー画像から文字色を取得する。
つまり、図９の例に示すように文字矩形９１０内に存在しているＯＮのセレクト情報の画素位置を求める。その画素位置のカラー値を対象カラー画像から求める。さらに、このカラー値の平均色（あるいは、メディアン色、最頻色等）を、文字色として決定する。これによって、文字が一色で構成されていないで、複数色で構成されている場合に対応できるようになる。
そして、セレクト情報を取得する方法としては、特開２００５−３９７７１号公報、特開２００５−６３４４５号公報、特開２００５−１７５６４１号公報、特開２００５−１８４４０２号公報、特開２００５−１８４４０４号公報等に記載の技術を用いてもよい。
【００５４】
さらに前述では、単純に図９に示すように文字「Ａ」の黒画素位置の平均値を取得したが、文字「Ａ」のセレクト情報の形成方法が文字のエッジにちょうど合致している保証はないため、色が変色してしまう（対象カラー画像内の文字色とは異なる色になる）虞がある。この場合には、文字の中心付近で文字色を取得すればよい。そのためには、文字形状を縮退してその中の平均値を取得してもよい。縮退の方法は、例えば、距離変換して１から順に減らしていくなどの方法がある。距離変換の手法は、「南敏他著  「画像工学」  初版  コロナ社  ９６ページ〜１０３ページ」に記載されている。
【００５５】
＜フォントの他の形態＞
前述の実施の形態では、文字コードから文字形状を取得するフォントの形態を示した。
この他に、例えば、文字コードから文字形状を取得する場合に、媒介的な番号を介してもよい。
その媒介的な番号として、例えば、ＣＩＤキー指定フォントと呼ばれるものを用いてもよい。すなわち、フォント形状はＣＩＤと呼ばれる番号で指定する。さらに、文字コードを入力してＣＩＤを出力するコード変換モジュールを別途用意することによって、文字コードとＣＩＤとの対応を取ることができる。
あるいは、ＣＩＤを入力して文字コードを出力するＣＩＤ変換モジュールを用意しても同等のことができる。
【００５６】
＜その他の形態＞
前述の実施の形態においては、文字コードを持つ全ての文字が空白フォントであったが、必ずしも全ての文字を空白フォントとしなくともよい。一部の文字を適正な形状（空白フォント以外の形状）でフォント登録するようにしてもよい。
【００５７】
前述の実施の形態においては、各文字毎に、文字コード、フォント、文字サイズ、文字位置を記述しているが、電子文書の仕様によっては、前記の文字情報が前の文字と同等であれば、再度記載しなくてもよい場合がある。つまり、この場合には、変化した時点で記載すればよい。また、その他の圧縮手法を施してもよい。
【００５８】
また、前述の実施の形態を組み合わせてもよい。
前述の実施の形態においては、カラー画像を対象とした場合を示したが、カラー画像の他に多値画像、２値画像を対象としてもよい。文字画像が含まれている画像であればよい。２値画像を対象とする場合は、文字色決定処理モジュール１１０、４１０は、文字色として黒を常に出力するようにしてもよい。
【００５９】
図１０を参照して、前述の実施の形態のハードウェア構成例について説明する。図１０に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１０１７と、プリンタなどのデータ出力部１０１８を備えたハードウェア構成例を示している。
【００６０】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００１は、前述の実施の形態において説明した各種のモジュール、すなわち、文字色決定処理モジュール１１０、フォント登録処理モジュール１２０、文字記述処理モジュール１３０、フォント埋め込み処理モジュール１４０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【００６１】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１００４により相互に接続されている。
【００６２】
ホストバス１００４は、ブリッジ１００５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１００６に接続されている。
【００６３】
キーボード１００８、マウス等のポインティングデバイス１００９は、操作者により操作される入力デバイスである。ディスプレイ１０１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。
【００６４】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１０１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１００１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象カラー画像、フォントなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００６５】
ドライブ１０１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１０１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１００７、外部バス１００６、ブリッジ１００５、及びホストバス１００４を介して接続されているＲＡＭ１００３に供給する。リムーバブル記録媒体１０１３も、ハードディスクと同様のデータ記録領域として利用可能である。
【００６６】
接続ポート１０１４は、外部接続機器１０１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１０１４は、インタフェース１００７、及び外部バス１００６、ブリッジ１００５、ホストバス１００４等を介してＣＰＵ１００１等に接続されている。通信部１０１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１０１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１０１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【００６７】
なお、図１０に示すハードウェア構成は、１つの構成例を示すものであり、前述の実施の形態は、図１０に示す構成に限らず、前述の実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１０に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
【００６８】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
【図面の簡単な説明】
【００６９】
【図１】第１の実施の形態の構成例についての概念的なモジュール構成図である。
【図２】第１の実施の形態による処理例を示すフローチャートである。
【図３】画像を基にした電子文書から文字コードを取得できるようにする仕組みの例を示す説明図である。
【図４】第２の実施の形態の構成例についての概念的なモジュール構成図である。
【図５】第２の実施の形態による処理例を示すフローチャートである。
【図６】バックグラウンド画像に対する処理を示す説明図である。
【図７】バックグラウンド画像に対する処理を示す説明図である。
【図８】文字色決定処理モジュール内のＮ層分離モジュールを示す説明図である。
【図９】文字色決定処理モジュールの別の処理例を示す説明図である。
【図１０】第１及び第２の実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【符号の説明】
【００７０】
１１０…文字色決定処理モジュール
１２０…フォント登録処理モジュール
１３０…文字記述処理モジュール
１４０…フォント埋め込み処理モジュール
４１０…文字色決定処理モジュール
４２０…フォント保持モジュール
４３０…文字記述処理モジュール
４４０…フォント埋め込み処理モジュール
【図１】
0004600491.tif 000002
【図２】
0004600491.tif 000003
【図３】
0004600491.tif 000004
【図４】
0004600491.tif 000005
【図５】
0004600491.tif 000006
【図６】
0004600491.tif 000007
【図７】
0004600491.tif 000008
【図８】
0004600491.tif 000009
【図９】
0004600491.tif 000010
【図１０】
0004600491.tif 000011