(57)【特許請求の範囲】
【請求項１】
１文字が複数の文字片から成る文字を含む文書画像に対して透かし情報を埋め込む画像処理装置であって、
前記文書画像から文字を抽出する抽出手段と、
前記抽出手段により抽出された文字のうち、文字の文字片構成が所定の構成をとる文字を選択する選択手段と、
前記選択手段により選択された文字の文字片の相対形状を変化させることで、前記選択された文字に透かし情報を埋め込む埋め込み手段を備えることを特徴とする画像処理装置。
【請求項２】
前記抽出手段は更に、
前記文書画像から文字ブロックを抽出する文字ブロック抽出手段と、
前記文字ブロック抽出手段により抽出された文字ブロックに含まれる文字に対して文字認識を行い、認識結果として文字コードを生成し、前記文字の画像を前記文字ブロックから抽出する文字認識手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記抽出手段により抽出された文字のうち、文字片の文字片構成が所定の構成をとる文字の数を文字毎にカウントするカウント手段を備え、
前記カウント手段によるカウント数が所定のカウント数以上である文字の数が一定数以上である場合に、前記埋め込み手段は前記選択手段により選択された文字に前記透かし情報を埋め込むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記透かし情報を埋め込む際に用いる基準値を算出する算出手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記算出手段は、基準値算出のために選択された文字の幅、高さに対する、当該文字の各文字片の幅、高さの割合を前記基準値として算出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
１文字が複数の文字片から成る文字を含む文書画像に対して埋め込まれた透かし情報を抽出する画像処理装置であって、
前記文書画像から文字を抽出する文字抽出手段と、
前記文字抽出手段により抽出された文字のうち、文字の文字片構成が所定の構成をとる文字を選択する選択手段と、
前記選択手段が選択した文字の文字片の相対形状に基づいて、前記透かし情報を抽出する透かし情報抽出手段を備えることを特徴とする画像処理装置。
【請求項７】
前記文字抽出手段は更に、
前記文書画像から文字ブロックを抽出する文字ブロック抽出手段と、
前記文字ブロック抽出手段により抽出された文字ブロックに含まれる文字に対して文字認識を行い、認識結果として文字コードを生成し、前記文字の画像を前記文字ブロックから抽出する文字認識手段を備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記透かし情報は、文書アクセス制御情報、複写制限情報、改ざん防止情報、オリジナル文書管理情報の少なくとも何れかを含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記文字片は、漢字の部首を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
１文字が複数の文字片から成る文字を含む文書画像に対して透かし情報を埋め込む画像処理方法であって、
前記文書画像から文字を抽出する抽出工程と、
前記抽出工程で抽出された文字のうち、文字の文字片構成が所定の構成をとる文字を選択する選択工程と、
前記選択手段により選択された文字の文字片の相対形状を変化させることで、前記選択された文字に透かし情報を埋め込む埋め込み工程を備えることを特徴とする画像処理方法。
【請求項１１】
１文字が複数の文字片から成る文字を含む文書画像に対して埋め込まれた透かし情報を抽出する画像処理方法であって、
前記文書画像から文字を抽出する文字抽出工程と、
前記文字抽出工程で抽出された文字のうち、文字の文字片構成が所定の構成をとる文字を選択する選択工程と、
前記選択手段が選択した文字の文字片の相対形状に基づいて、前記透かし情報を抽出する透かし情報抽出工程を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、１文字が複数の文字片から成る文字を含む文書画像に対して電子透かしの埋め込みを行う画像処理装置、１文字が複数の文字片から成る文字を含む文書画像に対して埋め込まれた電子透かしを抽出する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
近年プリンタ、複写機などのデジタル画像形成装置において、その画質の向上は著しく、容易に高画質の印刷物を手にすることができるようになってきている。つまり誰もが高性能スキャナ、プリンタ、複写機そしてコンピュータによる画像処理により、要求される印刷物を得ることが可能となってきている。そのため、文書の不正コピー、改ざん等の問題が発生し、それらを防止、あるいは抑止させるため、印刷物そのものにアクセス制御情報を埋め込もうという動きが近年活発となってきている（電子透かし）。
【０００３】
このような機能としては、印刷物にアクセス制御情報を目に見えないように埋め込むもの（不可視タイプ）、文書の余白にアクセス制御情報に対応したビットマップパターンを埋め込むもの、文書画像にスクランブル暗号をかけるもの等が現在一般的である。そのうち、アクセス制御情報を目に見えないように埋め込むものは、一般的な実現方法として、英文字列のスペースの量をコントロールすることにより情報を埋め込むタイプ、文字を回転するタイプ、文字を拡大縮小するタイプ、また文字を変形させて情報を埋め込むタイプ等が提案されている。
【０００４】
図８は、英文文字列のスペースの量をコントロールするタイプの印刷物である。ここで、８０１をスペ−スと呼ぶ。また、このスペースは、埋め込む透かしビットが０ならば、ｐ←（１＋ｐ）（ｐ＋ｓ）／２ｓ←（１−ｐ）（ｐ＋ｓ）／２とし、透かしビットが１ならば、ｐ←（１−ｐ）（ｐ＋ｓ）／２ｓ←（１＋ｐ）（ｐ＋ｓ）／２とする。
【０００５】
図９は、文字を回転するタイプの印刷物である。ここで、（ａ）は回転前の状態、（ｂ）は回転後の状態を示している。９０１は、文字の回転角度を示す。
【０００６】
図１０は、文字を拡大縮小するタイプの印刷例である。１００１は、元のサイズを示す。１００２は、拡大縮小後のサイズを示す。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記のアクセス制御情報を目に見えないように埋め込むものは、特に文章画像においては、画像的に冗長度が少ない文章自体（通常２値画像）に情報を埋め込むため、文字、スペースに違和感を生じ、原稿品位の劣化が目立ちやすくなる。また、一般にそのような画像は読み出し耐性が弱い。
【０００８】
本発明は以上の問題に鑑みてなされたものであり、字体の劣化を最小限に抑えつつ、一定以上の情報埋め込み精度、量を確保することを目的とする。
【０００９】
【課題を解決するための手段】
この発明は下記の構成を備えることにより上記課題を解決できるものである。
（１）１文字が複数の文字片から成る文字を含む文書画像に対して透かし情報を埋め込む画像処理装置であって、前記文書画像から文字を抽出する抽出手段と、前記抽出手段により抽出された文字のうち、文字の文字片構成が所定の構成をとる文字を選択する選択手段と、前記選択手段により選択された文字の文字片の相対形状を変化させることで、前記選択された文字に透かし情報を埋め込む埋め込み手段を備えることを特徴とする画像処理装置。
【００１０】
（２）１文字が複数の文字片から成る文字を含む文書画像に対して埋め込まれた透かし情報を抽出する画像処理装置であって、前記文書画像から文字を抽出する文字抽出手段と、前記文字抽出手段により抽出された文字のうち、文字の文字片構成が所定の構成をとる文字を選択する選択手段と、前記選択手段が選択した文字の文字片の相対形状に基づいて、前記透かし情報を抽出する透かし情報抽出手段を備えることを特徴とする画像処理装置。
【００１１】
（３）１文字が複数の文字片から成る文字を含む文書画像に対して透かし情報を埋め込む画像処理方法であって、前記文書画像から文字を抽出する抽出工程と、前記抽出工程で抽出された文字のうち、文字の文字片構成が所定の構成をとる文字を選択する選択工程と、前記選択手段により選択された文字の文字片の相対形状を変化させることで、前記選択された文字に透かし情報を埋め込む埋め込み工程を備えることを特徴とする画像処理方法。
【００１２】
（４）１文字が複数の文字片から成る文字を含む文書画像に対して埋め込まれた透かし情報を抽出する画像処理方法であって、前記文書画像から文字を抽出する文字抽出工程と、前記文字抽出工程で抽出された文字のうち、文字の文字片構成が所定の構成をとる文字を選択する選択工程と、前記選択手段が選択した文字の文字片の相対形状に基づいて、前記透かし情報を抽出する透かし情報抽出工程を備えることを特徴とする画像処理方法。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２７】
（実施例１）
図１は、本発明の実施の形態に係る電子透かし装置の概略構成を示すブロック図である。（ａ）は電子透かし埋め込み部のブロック図、（ｂ）は電子透かし読み出し部のブロック図である。
【００２８】
（ａ）において、２は電子透かしを埋め込む対象文書を入力するスキャナ、カメラ、あるいはファイル読み込み装置などの画像入力手段（入力部）、４は各種処理を行うプロセッサ、６はプロセッサ４への命令を入力するキーボード、８は埋め込み情報、あるいは読み込んだ文書画像を保存するディスク、１０はプロセッサ４において為される各種処理の一時データ記憶、あるいは画像入力手段（入力部）２で読み込んだ文書画像を蓄積するメモリ、１２はプロセッサ４への命令入力、および処理の状態を示すディスプレイ、１４はアクセス制御情報が埋め込まれた文書画像を出力するプリンタ等の出力手段（出力部）である。
【００２９】
（ｂ）において、２２は電子透かしが埋め込まれた文書を入力するスキャナ、カメラ、あるいはファイル読み込み装置などの画像入力手段（入力部）、２４は各種処理を行うプロセッサ、２６はプロセッサ２４への命令を入力するキーボード、２８は読み込んだ文書画像を保存、あるいは読み込んだ文書のオリジナルファイル検索のためのディスク、３０はプロセッサ２４において為される各種処理用の一時データ記憶、あるいは画像入力手段（入力部）２２で読み込んだ文書画像を蓄積するメモリ、３２はプロセッサ２４への命令入力、および処理の状態を示すディスプレイ、３４、３６はそれぞれ読み取った文書アクセス制御情報を活用するためのネットワークインターフェース、プリンタである。
【００３０】
次に動作について説明する。電子透かし埋め込み時は、キーボード６から入力された命令に従い、まず、画像入力手段（入力部）２より電子化された被埋め込み文書画像を取得し、メモリ１０に展開する。
【００３１】
さらに埋め込み情報（文書アクセス制御情報）をキーボード６、あるいはディスク８より入力し、プロセッサ４によりその情報をメモリ１０上に展開されている文書画像に埋め込む。所定の文書アクセス制御情報が埋め込まれた文書画像は、出力手段（出力部）１４により電子透かし埋め込み済文書として出力される。
【００３２】
一方電子透かし読み出し時は、キーボード２６から入力された命令に従い、まず、画像入力手段（入力部）２２より電子透かし埋め込み済文書を電子化し、メモリ３０に展開する。次にプロセッサ２４によりメモリ３０上に展開された文書画像から埋め込まれた文書アクセス制御情報を読み出し、その指示に基づいて所定の処理を行う。所定の処理とは、例えば、不正読み取りが発覚した場合に外部ヘ通報する、オリジナル文書の検索を内部ディスク２８、または外部に対し行う、あるいは属性情報をプリントアウトする等であり、これらの処理のためネットワークＩ／Ｆ３４、プリンタ３６は使用される。
【００３３】
以下図２，図３，図４，図５，図６を参照して本実施形態の電子透かし装置、特にプロセッサ４，２４が実行する各種制御処理の動作を説明する。
【００３４】
図２は、プロセッサ４が１枚の文書に電子透かしを埋め込む際の全体流れ図である。
【００３５】
Ｓ２００は、文章画像入力手段（入力部）２から文書を取込み、電子画像データとしてメモリ１０に転送する制御を行うルーチンである。このルーチンは、読み込んだ文書の方向、傾斜補正等の前処理も含む。
【００３６】
Ｓ２０２は、Ｓ２００においてメモリ１０に展開された文書画像に対し領域識別を施し、画像中の文字ブロックをすべて抽出するルーチンである。これは例えば特開平６−０６８３０１号公報に記述されているブロックセレクション技術等を応用して実現させることが可能である。
【００３７】
Ｓ２０４は、Ｓ２０２で抽出された全ての文字ブロックに文字認識を施すルーチンである。
【００３８】
Ｓ２０６は、Ｓ２０４で文字コードに変換された各々の文字の中から文書アクセス制御情報を埋め込むべき対象文字を抽出するルーチンである。
【００３９】
Ｓ２０８は、Ｓ２０６で抽出された文字に埋め込まれるべき文書アクセス制御情報を入力するルーチンである。ここで、文書アクセス制御情報とは、例えば、複写制限情報、改ざん防止情報、オリジナル文書管理情報等である。
【００４０】
Ｓ２１０は、Ｓ２０８で入力された文書アクセス制御情報をＳ２０６で抽出された文字に埋め込むルーチンである。
【００４１】
Ｓ２０６とＳ２１０は本発明の主眼を為すルーチンで、後ほど詳しく説明する。
【００４２】
Ｓ２１２は、Ｓ２１０で文書アクセス制御情報が埋め込まれた文字画像を出力するルーチンである。
【００４３】
図３は、プロセッサ２４が１枚の電子透かし埋め込み済文書から所望の情報を取り出す際の全体流れ図である。
【００４４】
Ｓ３００は、文章画像入力手段（入力部）２２から電子透かし埋め込み済文書を取込み、電子画像データとしてメモリ３０に転送する制御を行うルーチンである。このルーチンは、Ｓ２００同様読み込んだ文書の方向、傾斜補正等の前処理も含む。
【００４５】
Ｓ３０２は、Ｓ３００においてメモリ３０に展開された電子透かし埋め込み済文書画像に対し領域識別を施し、文書画像中の文字ブロックをすべて抽出するルーチンである。
【００４６】
Ｓ３０４は、Ｓ３０２で抽出された全ての文字ブロックに文字認識を施すルーチンである。
【００４７】
Ｓ３０６は、Ｓ３０４で文字コードに変換された各々の文字の中から文書アクセス制御情報が埋め込まれている文字のみを抽出するルーチンである。
【００４８】
Ｓ３０２，Ｓ３０４，Ｓ３０６はそれぞれＳ２０２，Ｓ２０４，Ｓ２０６と同じ処理ルーチンである。
【００４９】
Ｓ３０８は、Ｓ３０６で抽出された文字から文書アクセス制御情報を読み出すルーチンである。
【００５０】
Ｓ３０６，Ｓ３０８はＳ２０６，Ｓ２１０と同様本発明の主眼を為すルーチンで、後ほど詳しく説明する。
【００５１】
Ｓ３１０は、Ｓ３０８で読み出された文書アクセス制御情報に従って所定の制御を行うルーチンで、例えば、コピー禁止処理、文書検索処理等を指令する。
【００５２】
図４は本発明の主眼を為す電子透かし埋め込み／読み込みの対象文字抽出ルーチン（Ｓ２０６，Ｓ３０６）の詳細流れ図である。
【００５３】
Ｓ４００は、文字認識結果より文字コードを文字抽出用ワークメモリに転送する制御を行うルーチンである。
【００５４】
Ｓ４０２は、文書中に含まれる全ての文字コードを文字抽出用ワークメモリに転送したか否かを判定するルーチンである。転送が全て終了している場合はＳ４０４へ、そうでない場合はＳ４００へ制御を移行させる。
【００５５】
Ｓ４０４は、あらかじめ設定されている文書アクセス制御情報を埋め込むべき対象文字を文字毎にカウントするルーチンである。ここで、あらかじめ設定されているとは、例えば、構成部首が３個以上の漢字というように、ある程度複雑な部首構成をとっている漢字をあらかじめ設定しておくことである。このような設定を行うことにより、一定以上の情報を目立たないようにしかも確実に埋め込むことが可能となる。これについては後ほど詳しく説明する。
【００５６】
Ｓ４０６は、Ｓ４０４でカウントされた対象文字をカウント数によりソーティングするルーチンである。
【００５７】
Ｓ４０８は、カウント数がある程度以上、すなわち文書中に出現頻度の多い埋め込み対象文字が一定以上あるか否かを判定するルーチンである。これは、埋め込み／読み出し精度を確保するため対象とする文字を一定数以上とり、すなわち同じ文字に対し同じ情報を繰り返し埋め込むための措置である。ここでいう一定数以上とは多ければ多いほど精度が上がるが、例えば図６（３）で説明されているように２文字程度でも良い。このようにすることにより、読み込み時の精度が大幅に改善する。
【００５８】
また、そのような対象文字が一定数以上とは、埋め込み情報量を保証するため、例えば図５に示すように一文字あたり３ビットの情報を埋め込むことが可能とすると、図６（３）に示すように１１文字だと３０ビットの情報を埋め込むことが可能となるが、そのように文字数を限定することである。
【００５９】
ここで、一定以上対象文字数がないと判断された場合、所定の情報量の埋め込みは不可能と判断し、Ｓ４１４へ、そうでない場合はＳ４１０へ制御を移行させる。
【００６０】
Ｓ４１０は、埋め込み対象文字の中で文書中最も出現頻度の高い文字を選択し、埋め込み／読み込み操作のための基準値を算出するルーチンである（図６（４）に相当）。この基準値については後ほど説明する。
【００６１】
Ｓ４１２は、基準値を求めた文字以外、すなわち２番目以降、例えば３０ビットの場合１１番目までの埋め込み対象文字をＳ４０６でソーティングした結果より求め、情報の埋め込み／読み出し操作を行うルーチンである。具体的な手法は、図５、図６を用い後ほど詳しく説明する。
【００６２】
Ｓ４１４は、Ｓ４０８で埋め込み対象文字が少なく、埋め込み不可と判断された場合所定の処理を行うルーチンである。所定の処理とは、例えば警告を発する等である。
【００６３】
図５は、Ｓ４１２で行われている情報の埋め込み／読み出し手法の原理を説明する図、図６は実際にある文書に３０ビットの情報量を埋め込む場合の説明図である。
【００６４】
図５、図６では、例えば部首の個数が３個の例えば“型”という文字のパターンのような、小さな部首が上部に２個、大きな部首が下部に１個あるようなパターンを取り上げ説明する。なお、図は説明のために多少誇張して表現されている。
【００６５】
まず、抽出された文字画像を個々の部首に分解しその基準値を求める。基準値とは、本発明において文書アクセス情報を目に見えない形で埋め込む際に最も重要な値である。
【００６６】
具体的には、図５（ａ）に記載されているように、文字画像の絶対高さ、幅に対する分解された各部首の幅、高さの割合で表される。さらに説明すると、ここでは各部首といいつつも、上部２つの部首のみで、下部の部首についてはその大きさの割合を定義していない。これは、全ての部首で定義してしまうと、相対的な基準値が変動してしまい、さらには、字の変形も大きくなり劣化が目立つことになるので、このように最も主要な部首を一つ残し、他の２つの部首（この場合は）のみ使用しているのである。
【００６７】
具体的な情報の埋め込み手法であるが、ここで先ほど定義した４つの基準値ｋ，ｍ，ｎ，ｐを使用して１文字あたり３ビットの情報を埋め込むことを考える。図４、Ｓ４１０で最も信頼度の高い、すなわち出現頻度の高い文字の基準値ｋ，ｍ，ｎ，ｐを求める（図６（４）に相当）。これに対し、埋め込まれるべき文書アクセス制御、例えば３０ビットを用意し、図４、Ｓ４１２で選択した２番目以降の文字に、図５の右半分に表されているよう規則にのっとり、順番に３ビット毎にｋ′，ｍ′，ｎ′，ｐ′を求め、その結果を反映させるよう対象文字の各部首の縦横比を変化させる（図６（５）に相当）。このような手順で任意の情報を埋め込むことが可能となる。
【００６８】
読み出し時は、文字認識を行い、文字を抽出し、ソーティングし、第一位の基準値を求めるところまではまったく埋め込み時と同様で、最後に第二位以降の各部首の縦横比を基準値と比較し、割り振られたビット配列を再現させる。通常これを複数回行い（ここでは最低２回以上）、その多数決等で判断し、精度をより高めることが可能である。
【００６９】
図６では、“００１  １００  １１１  ０００  ０１０  ０１１  １１１  １０１  １１１  ０００”のような３０ビットの情報を、実際に埋め込む手順を表している。
【００７０】
以上述べてきたように本発明では、領域識別、文字認識を行った上で、部首構成の複雑な漢字の部首毎の相対形状変化を巧みに活用することにより、字体の劣化を最小限に抑えつつも、出現頻度による対象文字のソーティングにより一定以上の情報埋め込み精度、量を確保し、読み取り時においてもノイズ耐性の高い電子透かし装置を実現させることが可能となった。また、フォントサイズの依存性も原理的に全くないため、文字数の少ない原稿に対しても、有効な手法であることは明白である。
【００７１】
（実施例２）
第１の実施例では、埋め込み対象として採用した部首構成は図５で示されたような単一のパターンだったが、何もこれに限ることはなく、図７に示すように一定以上の部首を持つ複数の漢字パターンを同時に設定しても良い。この場合は埋め込み情報量はさらに増大する。
【００７２】
【発明の効果】
以上述べてきたように本発明では、１文字が複数の文字片から成る文字を含む文書画像に対して文字片の相対形状変化を巧みに活用することにより、字体の劣化を最小限に抑えつつも、出現頻度による対象文字のソーティングにより一定以上の情報埋め込み精度、量を確保し、読み取り時においてもノイズ耐性の高い電子透かし装置を実現させることが可能となった。また、フォントサイズの依存性も原理的に全くないため、文字数の少ない原稿に対しても、有効な手法であることは明白である。
【図面の簡単な説明】
【図１（ａ）】  本発明の実施の形態に係る電子透かし装置の電子透かし埋め込み部の概略構成を示すブロック図
【図１（ｂ）】  本発明の実施の形態に係る電子透かし装置の電子透かし読み出し部の概略構成を示すブロック図
【図２】  プロセッサ４が１枚の文書に電子透かしを埋め込む際の全体流れ図
【図３】  プロセッサ２４が１枚の電子透かし埋め込み済文書から所望の情報を取り出す際の全体流れ図
【図４】  本発明の主眼を為す電子透かし埋め込み／読み込みの対象文字抽出ルーチン（Ｓ２０６，Ｓ３０６）の詳細流れ図
【図５】  Ｓ４１２で行われている情報の埋め込み／読み出し手法の原理の説明図
【図６】（１），（２），（３），（４），（５）  実際にある文書に３０ビットの情報量を埋め込む場合の説明図
【図７】  第２の実施例の説明図（その他の埋め込み／読み出し部首パターン）
【図８】  従来の技術の説明図
【図９】（ａ），（ｂ）  従来の技術の説明図
【図１０】  従来の技術の説明図
【符号の説明】
２  画像入力手段（入力部）
４  プロセッサ
６  キーボード
８  ディスク
１０  メモリ
１２  ディスプレイ
１４  出力手段（出力部）
２２  画像入力手段（入力部）
２４  プロセッサ
２６  キーボード
２８  ディスク
３０  メモリ
３２  ディスプレイ
３４  ネットワークインターフェース
３６  プリンタ
【図１（ａ）】
0003848150.tif 000002
【図１（ｂ）】
0003848150.tif 000003
【図２】
0003848150.tif 000004
【図３】
0003848150.tif 000005
【図４】
0003848150.tif 000006
【図５】
0003848150.tif 000007
【図６】
0003848150.tif 000008
【図７】
0003848150.tif 000009
【図８】
0003848150.tif 000010
【図９】
0003848150.tif 000011
【図１０】
0003848150.tif 000012