(57)【要約】【課題】  デジタルコンテンツに関連付けられている情報を適切に取得することのできる情報取得装置の提供を目的とする。【解決手段】  デジタルコンテンツに関する少なくとも二種類の被関連付け情報に対して関連付けられている関連付け情報を前記デジタルコンテンツに基づいて取得する情報取得装置であって、それぞれの前記被関連付け情報の相対的な第一の信頼度を算出又は判定する被関連付け情報信頼度判定手段と、前記デジタルコンテンツに基づいてそれぞれの前記被関連付け情報の内容を取得する情報取得手段と、取得されたそれぞれの前記被関連付け情報の内容に基づいて、前記被関連付け情報ごとに前記関連付け情報を推定する推定手段と、それぞれの前記被関連付け情報に対する前記第一の信頼度と、前記推定手段による前記被関連付け情報ごとの推定結果とに基づいて、前記関連付け情報を判定する関連付け情報判定手段とを有することにより上記課題を解決する。【選択図】  図３
2006313994.tif 000002
【特許請求の範囲】
【請求項１】
デジタルコンテンツに関する少なくとも二種類の被関連付け情報に対して関連付けられている関連付け情報を前記デジタルコンテンツに基づいて取得する情報取得装置であって、
それぞれの前記被関連付け情報の相対的な第一の信頼度を算出又は判定する被関連付け情報信頼度判定手段と、
前記デジタルコンテンツに基づいてそれぞれの前記被関連付け情報の内容を取得する情報取得手段と、
取得されたそれぞれの前記被関連付け情報の内容に基づいて、前記被関連付け情報ごとに前記関連付け情報を推定する推定手段と、
それぞれの前記被関連付け情報に対する前記第一の信頼度と、前記推定手段による前記被関連付け情報ごとの推定結果とに基づいて、前記関連付け情報を判定する関連付け情報判定手段とを有することを特徴とする情報取得装置。
【請求項２】
前記推定手段は、前記情報取得手段によって取得された前記被関連付け情報の内容と、前記関連付け情報が関連付けられた前記被関連付け情報が取り得る内容との差分に基づいて、前記推定結果に対する第二の信頼度を算出し、
前記判定手段は、それぞれの前記被関連付け情報に対する前記第一の信頼度と、前記推定手段による前記被関連付け情報ごとの推定結果と、該推定結果に対する前記第二の信頼度とに基づいて、前記関連付け情報を判定することを特徴とする請求項１記載の情報取得装置。
【請求項３】
前記推定手段によって算出された前記推定結果に対する前記第二の信頼度に基づいて、前記デジタルコンテンツに対する改ざんの有無を判定することを特徴とする請求項２記載の情報取得装置。
【請求項４】
前記被関連付け情報信頼度判定手段は、前記推定手段によって推定された前記関連付け情報ごとに、当該関連付け情報の一部を所定のデータと比較することにより、それぞれの前記被関連付け情報に対する前記第一の信頼度を算出することを特徴とする請求項１乃至３いずれか一項記載の情報取得装置。
【請求項５】
前記被関連付け情報信頼度判定手段は、前記推定手段によって推定された前記関連付け情報ごとに、当該関連付け情報の一部のビット列を所定のビット列と比較することにより、それぞれの前記被関連付け情報に対する前記第一の信頼度を算出することを特徴とする請求項４記載の情報取得装置。
【請求項６】
前記被関連付け情報信頼度判定手段は、前記デジタルコンテンツの特性に基づいてそれぞれの前記被関連付け情報に対する前記第一の信頼度を算出することを特徴とする請求項１乃至５いずれか一項記載の情報取得装置。
【請求項７】
前記デジタルコンテンツは画像データであり、
前記情報取得手段は、前記画像データの各画素の輝度成分と色差成分の画素値を取得し、
前記推定手段は、取得されたそれぞれの画素値に基づいて、前記輝度成分及び前記色差成分ごとに前記関連付け情報を推定することを特徴とする請求項１乃至６いずれか一項記載の情報取得装置。
【請求項８】
前記輝度成分及び前記色差成分は、ＹＣｂＣｒ成分におけるものであることを特徴とする請求項７記載の情報取得装置。
【請求項９】
前記推定手段は、前記情報取得手段によって取得された前記輝度成分の画素値及び前記色差成分の画素値と、前記関連付け情報が関連付けられた前記輝度成分及び前記色差成分が取り得る画素値との差分に基づいて、前記推定結果に対する第二の信頼度を算出することを特徴とする請求項７又は８記載の情報取得装置。
【請求項１０】
前記デジタルコンテンツは画像データであり、
前記情報取得手段は、前記画像データに画像として含まれている文字列における文字間隔長と、前記画像データに基づくＤＣＴ係数とを取得し、
前記推定手段は、取得された前記文字間隔長と前記ＤＣＴ係数とに基づいて、前記文字間隔長及び前記ＤＣＴ係数ごとに前記関連付け情報を推定することを特徴とする請求項１乃至６いずれか一項記載の情報取得装置。
【請求項１１】
前記情報取得手段は、前記画像データの複数画素ごとに前記ＤＣＴ係数を算出し、前記複数画素ごとの所定のＤＣＴ係数を取得することを特徴とする請求項１０記載の情報取得装置。
【請求項１２】
前記推定手段は、前記情報取得手段によって取得された前記文字間隔長及び前記ＤＣＴ係数と、前記関連付け情報が関連付けられた前記文字間隔長及び前記ＤＣＴ係数が取り得る値との差分に基づいて、前記推定結果に対する第二の信頼度を算出することを特徴とする請求項１０又は１１記載の情報取得装置。
【請求項１３】
前記デジタルコンテンツは画像データであり、
前記情報取得手段は、前記画像データに合成されている図形パターンと、所定の記憶領域に保存されている保存画像データ又は該保存画像データの特徴量とを取得し、
前記推定手段は、取得された前記図形パターンと前記保存画像データ又は前記特徴量の外部に対応付けられて保存されている外部データとに基づいて、前記図形パターン及び前記保存画像データ又は前記特徴量ごとに前記関連付け情報を推定することを特徴とする請求項１乃至６いずれか一項記載の情報取得装置。
【請求項１４】
前記推定手段は、前記情報取得手段によって取得された前記保存画像データ又は前記特徴量と、前記画像データ又は該画像データの特徴量との類似度に基づいて、前記保存画像データ又は該保存画像データの特徴量に対応付けられている前記外部データに対する第二の信頼度を算出することを特徴とする請求項１３記載の情報取得装置。
【請求項１５】
デジタルコンテンツに関する少なくとも二種類の被関連付け情報に対して関連付けられている関連付け情報を前記デジタルコンテンツに基づいて取得する情報取得方法であって、
それぞれの前記被関連付け情報の相対的な第一の信頼度を算出又は判定する被関連付け情報信頼度判定手順と、
前記デジタルコンテンツに基づいてそれぞれの前記被関連付け情報の内容を取得する情報取得手順と、
取得されたそれぞれの前記被関連付け情報の内容に基づいて、前記被関連付け情報ごとに前記関連付け情報を推定する推定手順と、
それぞれの前記被関連付け情報に対する前記第一の信頼度と、前記推定手順における前記被関連付け情報ごとの推定結果とに基づいて、前記関連付け情報を判定する関連付け情報判定手順とを有することを特徴とする情報取得方法。
【請求項１６】
前記推定手順は、前記情報取得手順において取得された前記被関連付け情報の内容と、前記関連付け情報が関連付けられた前記被関連付け情報が取り得る内容との差分に基づいて、前記推定結果に対する第二の信頼度を算出し、
前記判定手順は、それぞれの前記被関連付け情報に対する前記第一の信頼度と、前記推定手順における前記被関連付け情報ごとの推定結果と、該推定結果に対する前記第二の信頼度とに基づいて、前記関連付け情報を判定することを特徴とする請求項１５記載の情報取得方法。
【請求項１７】
前記推定手順において算出された前記推定結果に対する前記第二の信頼度に基づいて、前記デジタルコンテンツに対する改ざんの有無を判定することを特徴とする請求項１６記載の情報取得方法。
【請求項１８】
前記被関連付け情報信頼度判定手順は、前記推定手順において推定された前記関連付け情報ごとに、当該関連付け情報の一部を所定のデータと比較することにより、それぞれの前記被関連付け情報に対する前記第一の信頼度を算出することを特徴とする請求項１５乃至１７いずれか一項記載の情報取得方法。
【請求項１９】
前記被関連付け情報信頼度判定手順は、前記推定手順において推定された前記関連付け情報ごとに、当該関連付け情報の一部のビット列を所定のビット列と比較することにより、それぞれの前記被関連付け情報に対する前記第一の信頼度を算出することを特徴とする請求項１８記載の情報取得方法。
【請求項２０】
前記被関連付け情報信頼度判定手順は、前記デジタルコンテンツの特性に基づいてそれぞれの前記被関連付け情報に対する前記第一の信頼度を算出することを特徴とする請求項１５乃至１９いずれか一項記載の情報取得方法。
【請求項２１】
前記デジタルコンテンツは画像データであり、
前記情報取得手順は、前記画像データの各画素の輝度成分と色差成分の画素値を取得し、
前記推定手順は、取得されたそれぞれの画素値に基づいて、前記輝度成分及び前記色差成分ごとに前記関連付け情報を推定することを特徴とする請求項１５乃至２０いずれか一項記載の情報取得方法。
【請求項２２】
前記輝度成分及び前記色差成分は、ＹＣｂＣｒ成分におけるものであることを特徴とする請求項２１記載の情報取得方法。
【請求項２３】
前記推定手順は、前記情報取得手順において取得された前記輝度成分の画素値及び前記色差成分の画素値と、前記関連付け情報が関連付けられた前記輝度成分及び前記色差成分が取り得る画素値との差分に基づいて、前記推定結果に対する第二の信頼度を算出することを特徴とする請求項２１又は２２記載の情報取得方法。
【請求項２４】
前記デジタルコンテンツは画像データであり、
前記情報取得手順は、前記画像データに画像として含まれている文字列における文字間隔長と、前記画像データに基づくＤＣＴ係数とを取得し、
前記推定手順は、取得された前記文字間隔長と前記ＤＣＴ係数とに基づいて、前記文字間隔長及び前記ＤＣＴ係数ごとに前記関連付け情報を推定することを特徴とする請求項１５乃至２０いずれか一項記載の情報取得方法。
【請求項２５】
前記情報取得手順は、前記画像データの複数画素ごとに前記ＤＣＴ係数を算出し、前記複数画素ごとの所定のＤＣＴ係数を取得することを特徴とする請求項２４記載の情報取得方法。
【請求項２６】
前記推定手順は、前記情報取得手順において取得された前記文字間隔長及び前記ＤＣＴ係数と、前記関連付け情報が関連付けられた前記文字間隔長及び前記ＤＣＴ係数が取り得る値との差分に基づいて、前記推定結果に対する第二の信頼度を算出することを特徴とする請求項２４又は２５記載の情報取得方法。
【請求項２７】
前記デジタルコンテンツは画像データであり、
前記情報取得手順は、前記画像データに合成されている図形パターンと、所定の記憶領域に保存されている保存画像データ又は該保存画像データの特徴量とを取得し、
前記推定手順は、取得された前記図形パターンと前記保存画像データ又は前記特徴量の外部に対応付けられて保存されている外部データとに基づいて、前記図形パターン及び前記保存画像データ又は前記特徴量ごとに前記関連付け情報を推定することを特徴とする請求項１５乃至２０いずれか一項記載の情報取得方法。
【請求項２８】
前記推定手順は、前記情報取得手順において取得された前記保存画像データ又は前記特徴量と、前記画像データ又は該画像データの特徴量との類似度に基づいて、前記保存画像データ又は該保存画像データの特徴量に対応付けられている前記外部データに対する第二の信頼度を算出することを特徴とする請求項２７記載の情報取得方法。
【請求項２９】
デジタルコンテンツに関する少なくとも二種類の被関連付け情報に対して関連付けられている関連付け情報を前記デジタルコンテンツに基づいてコンピュータに取得させる情報取得プログラムであって、
それぞれの前記被関連付け情報の相対的な第一の信頼度を算出又は判定する被関連付け情報信頼度判定手順と、
前記デジタルコンテンツに基づいてそれぞれの前記被関連付け情報の内容を取得する情報取得手順と、
取得されたそれぞれの前記被関連付け情報の内容に基づいて、前記被関連付け情報ごとに前記関連付け情報を推定する推定手順と、
それぞれの前記被関連付け情報に対する前記第一の信頼度と、前記推定手順における前記被関連付け情報ごとの推定結果とに基づいて、前記関連付け情報を判定する関連付け情報判定手順とを有することを特徴とする情報取得プログラム。
【請求項３０】
前記推定手順は、前記情報取得手順において取得された前記被関連付け情報の内容と、前記関連付け情報が関連付けられた前記被関連付け情報が取り得る内容との差分に基づいて、前記推定結果に対する第二の信頼度を算出し、
前記判定手順は、それぞれの前記被関連付け情報に対する前記第一の信頼度と、前記推定手順における前記被関連付け情報ごとの推定結果と、該推定結果に対する前記第二の信頼度とに基づいて、前記関連付け情報を判定することを特徴とする請求項２９記載の情報取得プログラム。
【請求項３１】
前記推定手順において算出された前記推定結果に対する前記第二の信頼度に基づいて、前記デジタルコンテンツに対する改ざんの有無を判定することを特徴とする請求項３０記載の情報取得プログラム。
【請求項３２】
前記被関連付け情報信頼度判定手順は、前記推定手順において推定された前記関連付け情報ごとに、当該関連付け情報の一部を所定のデータと比較することにより、それぞれの前記被関連付け情報に対する前記第一の信頼度を算出することを特徴とする請求項２９乃至３１いずれか一項記載の情報取得プログラム。
【請求項３３】
前記被関連付け情報信頼度判定手順は、前記推定手順において推定された前記関連付け情報ごとに、当該関連付け情報の一部のビット列を所定のビット列と比較することにより、それぞれの前記被関連付け情報に対する前記第一の信頼度を算出することを特徴とする請求項３２記載の情報取得プログラム。
【請求項３４】
前記被関連付け情報信頼度判定手順は、前記デジタルコンテンツの特性に基づいてそれぞれの前記被関連付け情報に対する前記第一の信頼度を算出することを特徴とする請求項２９乃至３３いずれか一項記載の情報取得プログラム。
【請求項３５】
請求項２９乃至３４いずれか一項記載の情報取得プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報取得装置、情報取得方法、情報取得プログラム及び記録媒体に関し、特に画像データに関連付けられている関連付け情報を前記画像データに基づいて取得する情報取得装置、情報取得方法、情報取得プログラム及び記録媒体に関する。
【背景技術】
【０００２】
電子透かし技術に代表されるように、従来より、文書画像に任意の情報を人間が容易に視認できない形で埋め込む技術の検討が行われている。例えば、特許文献１には、単語の前後の空白の長さの組み合わせを１つの符号単位とし、前後の長さの比率を署名データのビット値に応じて変化させることで、著作権を保護するための証明データを埋め込む方法が示されている。
【０００３】
また、特許文献２には、前後の文字間隔Ｐ及びＳを用いて、Ｐ−ＳとＰ＋Ｓとの比を量子化することで情報を埋め込む方法が示されている。
【０００４】
更に、特許文献３には、所定数の空白の大小関係のパターンによって情報を埋め込む方法が示されている。
【０００５】
このように特許文献１、２及び３は、いずれも文字要素等の間隔（以下「文字間隔」という。）を用いて情報を埋め込み、抽出するものである。
【特許文献１】特開平０９−１８６６０３号公報
【特許文献２】特開２００２−２３２６７９号公報
【特許文献３】特開２００４−０２３５６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、文字間隔の長さを用いて情報を埋め込む場合、情報の埋め込まれた文書画像の印刷、及びその印刷物のスキャンといったアナログ処理過程において、文字要素が移動あるいは膨張することがある。その結果、文字要素同士が結合され、文字間隔の長さを正しく抽出できなくなるという問題がある。
【０００７】
かかる問題は、画像の内容又は種別にかかわらず、画像データに対する情報の埋め込み及び抽出技術全般にいえる。
【０００８】
本発明は、上記の点に鑑みてなされたものであって、デジタルコンテンツに関連付けられている情報を適切に取得することのできる情報取得装置、情報取得方法、情報取得プログラム及び記録媒体の提供を目的とする。
【課題を解決するための手段】
【０００９】
そこで上記課題を解決するため、本発明は、デジタルコンテンツに関する少なくとも二種類の被関連付け情報に対して関連付けられている関連付け情報を前記デジタルコンテンツに基づいて取得する情報取得装置であって、それぞれの前記被関連付け情報の相対的な第一の信頼度を算出又は判定する被関連付け情報信頼度判定手段と、前記デジタルコンテンツに基づいてそれぞれの前記被関連付け情報の内容を取得する情報取得手段と、取得されたそれぞれの前記被関連付け情報の内容に基づいて、前記被関連付け情報ごとに前記関連付け情報を推定する推定手段と、それぞれの前記被関連付け情報に対する前記第一の信頼度と、前記推定手段による前記被関連付け情報ごとの推定結果とに基づいて、前記関連付け情報を判定する関連付け情報判定手段とを有することを特徴とする。
【００１０】
また、上記課題を解決するため、本発明は、上記情報取得装置における情報取得方法、前記情報取得方法をコンピュータに実行させるための情報取得プログラム、又は前記情報取得プログラムを記録した記録媒体としてもよい。
【発明の効果】
【００１１】
本発明によれば、デジタルコンテンツに関連付けられている情報を適切に取得することのできる情報取得装置、情報取得方法、情報取得プログラム及び記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における画像処理装置の概略構成例を示す図である。図１において、画像処理装置１０は、画像データに対して情報を関連付ける機能及び情報が関連付けられた画像データよりその情報を取得する機能を有する装置であり、情報関連付け部１１、印刷部１２、スキャン部１３、及び関連付け情報取得部１４等より構成されている。
【００１３】
情報関連付け部１１は、「画像データに関する情報」に情報を関連付ける。情報関連付け部１１によって「画像データに関する情報」に関連付けられた情報を、以下「関連付け情報」という。関連付け情報は、例えば文字列、数字、ビット列等、様々なものが対象とされる。
【００１４】
「画像データに関する情報」とは、例えば、当該画像データの画素値やＤＣＴ（Discrete Cosine Transform ）係数等の特徴量や、画像（絵）の内容、又は画像データそのものが相当する。特徴量への関連付け情報の関連付けは、例えば、その特徴量を所定の規則にしたがって操作（例えば、量子化）することにより行われる。また、画像（絵）の内容への関連付け情報の関連付けは、例えば、その画像の内容を操作（例えば、量子化）することにより行われる。より具体的には、画像に文字列が含まれている場合、その文字列を構成する文字と文字との間の距離を所定の規則に従って量子化することにより関連付け情報が関連付けられる。また、関連付け情報を表現するバーコードや二次元コード等を画像に合成することにより関連付け情報が関連付けられる。画像データそのものへの関連付け情報の関連付けは、例えば、画像データを含むファイルと関連付け情報を含むファイルとを関連付けて保存することにより行われる。
【００１５】
以下、関連付け情報の関連付けの対象とされる「画像データに関する情報」を、「被関連付け情報」という。なお、情報関連付け部１１は、一つの画像データについて、少なくとも二種類の被関連付け情報に対して関連付け情報を関連付ける。すなわち、それぞれの被関連付け情報に対して全く同一の関連付け情報が関連付けられる場合は、一つの画像データに対して一つの関連付け情報が多重に関連付けられることになる。
【００１６】
なお、以下において「画像データに関連付け情報を関連付ける」又は「関連付け情報を画像データに関連付ける」という場合は、「当該画像データの被関連付け情報に関連付け情報を関連付ける」ことを意味する。
【００１７】
印刷部１２は、画像処理装置１０に接続されているプリンタ２０のドライバソフトに相当し、関連付け情報が関連付けられた画像データを紙文書としてプリンタ２０に印刷させる。
【００１８】
スキャン部１３は、画像処理装置１０に接続されているスキャナ３０のドライバソフトに相当し、関連付け情報が関連付けられた画像データが印刷された紙文書をスキャンをスキャナ３０に実行させ、スキャナ３０によって読み取られた情報を画像データとして出力する。
【００１９】
関連付け情報取得部１４は、スキャナ部１３により出力された画像データに基づいて当該画像データに関する少なくとも二種類の被関連付け情報より関連付け情報を取得し、取得された関連付け情報を出力する。
【００２０】
情報関連付け部１１及び関連付け情報取得部１４について更に詳しく説明する。
【００２１】
図２は、情報関連付け部の機能構成例を示す図である。図２において、情報関連付け部１１は、関連付け情報入力部１１１、第一関連付け部１１２、及び第二関連付け部１１３等より構成される。関連付け情報入力部１１１は、例えば、関連付け情報をユーザに入力させたり、又は所定のファイルより読み込んだりしたりすることにより、これから画像データに関連付けられる関連付け情報を取得する。
【００２２】
第一関連付け部１１２及び第二関連付け部１１３は、一つの画像データに対してそれぞれ異なる被関連付け情報を対象として関連付け情報を関連付ける。第一関連付け部１１２が対象とする被関連付け情報を以下「第一被関連付け情報」といい、第二関連付け部１１３が対象とする被関連付け情報を以下「第二被関連付け情報」という。
【００２３】
図３は、関連付け情報取得部の機能構成例を示す図である。図３において、関連付け情報取得部１４は、被関連付け情報信頼度判定部１４１、第一推定部１４２、第二推定部１４３、及び関連付け情報判定部１４４等より構成されている。
【００２４】
第一推定部１４２及び第二推定部１４３は、それぞれ第一被関連付け情報又は第二被関連付け情報に基づいて関連付け情報を推定する機能を有する部分である。ここで、「推定する」というのは、第一推定部１４２及び第二推定部１４３によって導出された情報は、関連付け情報として確定されないことを意味する。すなわち、情報関連付け部１１によって関連付け情報が関連付けられた画像データの画像は、プリンタ２０による印刷やスキャナ３０によるスキャン等の処理を経ることにより、一般的にその内容が変化する。画像の内容の変化は、被関連付け情報にも影響する。したがって、関連付け情報取得部１４によって関連付け情報を取得しようとする際の被関連付け情報の内容（例えば、画素値やＤＣＴ係数等）は、情報関連付け部１１によって関連付け情報が関連付けられた際の被関連付け情報の内容と必ずしも一致せず、誤差を含んでいる可能性が高い。かかる誤差を含んでいる被関連付け情報に基づいて取得又は算出された関連付け情報は必ずしも正しい値であるとは限らない。そこで、第一推定部１４２及び第二推定部１４３では、とりあえず、誤差を含んでいるかもしれない値を関連付け情報として推定するというわけである。
【００２５】
第一推定部１４２は、第一情報取得部１４２ａ及び第一取得情報信頼度判定部１４２ｂとから構成される。第一情報取得部１４２ａは、第一被関連付け情報に基づいて関連付け情報を取得する。第一取得情報信頼度判定部１４２ｂは、第一情報取得部１４２ａによって取得された関連付け情報の信頼度を判定又は算出する。ここで、第一情報取得部１４２ａによって取得された関連付け情報の信頼度とは、当該関連付け情報が、実際に関連付けられた関連付け情報と同じである可能性の高さ、又は確からしさを示す指標である。第一取得情報信頼度判定部１４２ｂは、第一情報取得部１４２ａによって取得された被関連付け情報の内容と、関連付け情報が関連付けられることにより当該被関連付け情報が取り得る内容との差分に基づいて当該信頼度を判定又は算出する。
【００２６】
第二推定部１４３は、第二情報取得部１４３ａ及び第二取得情報信頼度判定部１４３ｂとから構成されるが、これらは、第一推定部１４２における第一情報取得部１４２ａ及び第一取得情報信頼度判定部１４２ｂに相当する。
【００２７】
被関連付け情報信頼度判定部１４１は、第一被関連付け情報及び第二被関連付け情報それぞれに対する相対的な信頼度を算出又は判定する。第一被関連付け情報及び第二被関連付け情報それぞれに対する相対的な信頼度とは、第一推定部１４２及び第二推定部１４３によって推定された関連付け情報に基づいて最終的に関連付け情報を判定する際に用いられる、それぞれの推定結果に対する重み付けをいう。すなわち、第一推定部１４２及び第二推定部１４３による二つの推定結果のいずれをより信頼するか、又は同程度信頼するのかを示す指標である。
【００２８】
関連付け情報判定部１４４は、被関連付け情報信頼度判定部１４１によって算出又は判定された第一被関連付け情報及び第二被関連付け情報それぞれに対する相対的な信頼度と、第一推定部１４２及び第二推定部１４３によるそれぞれの推定結果とに基づいて、関連付け情報を判定する。すなわち、関連付け情報判定部１４４は、最終的に関連付け情報はこうであったと結論付ける。
【００２９】
図４は、本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。図４の画像処理装置１０は、それぞれバスBで相互に接続されているドライブ装置１００と、補助記憶装置１０２と、メモリ装置１０３と、演算処理装置１０４と、表示装置１０５と、入力装置１０６と等を有するように構成される。
【００３０】
画像処理装置１０での処理を実現するプログラムは、CD―ROM等の記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、処理対象とする画像データ等を格納する。
【００３１】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。演算処理装置１０４は、メモリ装置１０３に格納されたプログラムに従って画像処理装置１０に係る機能を実行する。表示装置１０５はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０６はキーボード及びマウス等で構成され、様々な操作指示を入力するために用いられる。
【００３２】
画像処理装置１０をネットワークに接続することにより、他の端末からリモートで操作を行ってもよい。この場合、ドライブ装置１００、表示装置１０５及び入力装置１０６等は、当該他の端末が有していればよく、画像処理装置１０が必ずしも備えている必要はない。
【００３３】
なお、画像処理装置１０は、ＰＣ（Personal Computer）等の汎用的なコンピュータを用いて実現してもよい。また、プリンタ機能やスキャナ機能等、複数の機能を一台の筐体によって実現する複合機又は融合機と呼ばれる画像処理装置によって実現してもよい。複合機によって画像処理装置１０を実現する場合、図１におけるプリンタ２０やスキャナ３０は画像処理装置１０に内蔵されることになる。
【００３４】
以下、第一〜第三の実施の形態に分けて、画像処理装置１０の処理を具体的に説明する。第一の実施の形態では、自然画像に対して輝度及び色差を操作することで二重に関連付け情報を関連付け、その画像から関連付け情報を取得する例について説明する。すなわち、第一の実施の形態では、輝度が第一被関連付け情報に相当し、色差が第二被関連付け情報に相当する。
【００３５】
まず、自然画像に輝度及び色差を操作することで二重に関連付け情報を関連付ける処理について説明する。図５は、第一の実施の形態における情報関連付け処理を説明するためのフローチャートである。
【００３６】
ステップＳ１０１において、情報関連付け部１１は、関連付け情報の関連付けの対象とされる画像データ（以下「対象画像」という。）をメモリ上に読み込む。続いて、関連付け情報入力部１１１は、関連付け情報をユーザに入力させる（Ｓ１０２）。関連付け情報は、例えば、テキスト入力領域を有したダイアログ等を表示させることにより入力させてもよい。また、予め、ファイル等に保存されている情報を関連付け情報としてもよく、この場合、ステップＳ１０２では、当該ファイル等より関連付け情報が読み込まれる。なお、関連付け情報は、２進数によるビット列を入力させてもよいが、例えば、文字列等、人間に理解可能な形式によって入力させてもよい。
【００３７】
続いて、情報関連付け部１１は、対象画像をＹＣｂＣｒ変換する（Ｓ１０３）。続いて、第一関連付け部１１２は、対象画像のＹ（輝度）成分に関連付け情報を関連付ける（Ｓ１０４）。具体的には、関連付け情報をビット列に変換し、各画素に１ビットずつ割り当てる。割り当ての順番は例えばラスタ走査を用いて定めればよい。例えば、ビット値「０」が割り当てられた画素では、Ｙ成分の画素値を所定の定数ｕの偶数倍で元の値に最も近い値量子化する。また、ビット値「１」が割り当てられた画素ではＹ信を定数ｕ数の奇数倍で元の値に最も近い値に量子化する。
【００３８】
図６は、Ｙ成分の画素値に関連付け情報を関連付ける様子を概念的に示す図である。図６では、対象画像５０１に関連付け情報６０１（「０１００１０１１０」のビット列）が関連付けられて対象画像５０２が生成される様子が示されている。対象画像５０１及び対象画像５０２における各数値は、それぞれのＹ成分の画素値を示す。また、図６においては定数ｕの値を１０としている。
【００３９】
例えば、対象画像５０１の各画素について左から右、かつ上から下の順でビット値を割り当てるとすると画素値２４３、２４５、２４８には、それぞれ「０」、「１」、「０」が割り当てられる。したがって、「０」が割り当てられた２４３および２４８は、１０の偶数倍で元の値に最も近い値である２４０に量子化される。「１」が割り当てられた２４５は、１０の奇数倍で元の値に最も近い値「２５０」に量子化される。他の画素についても同様の処理がなされる。
【００４０】
続いて、第二関連付け部１１３は、対象画像のＣｂ（色差）成分に関連付け情報を関連付ける（Ｓ１０５）。この処理はＹ成分の画素値に関連付ける場合と同様に、画素ごとに関連付け情報のビット値を割り当て、割り当てられたビット値に応じて各画素値を所定の定数の奇数又は偶数倍に量子化すればよい。
【００４１】
以上で、情報関連付け処理は終了し、関連付け情報が関連付けられた画像データは、印刷部１２によってプリンタ２０より紙文書として出力される。
【００４２】
続いて、上記の情報関連付け処理を経て印刷された紙文書をスキャナ３０で読み取ることによって取り込まれた画像データより関連付け情報を取得する処理について説明する。図７は、第一の実施の形態における関連付け情報取得処理を説明するためのフローチャートである。
【００４３】
ステップＳ１５１において、関連付け情報取得部１４は、スキャナ３０によって読み取られた画像データ（以下「対象画像」という。）をメモリ上に読み込む。続いて、被関連付け情報信頼度判定部１４１は、対象画像がカラー画像であるかモノクロ画像であるかを判定し（Ｓ１５２）、その判定結果に応じて第一被関連付け情報（Ｙ成分）及び第二被関連付け情報（Ｃｂ成分）に対する相対的な信頼度を判定する（Ｓ１５３）。すなわち、対象画像がモノクロ画像と判定された場合、被関連付け情報信頼度判定部１４１は、Ｙ成分の画素値に対する信頼度を１．０とし、Ｃｂ成分の画素値に対する信頼度を０．０とする。モノクロ画像の場合、色差成分は含まれていないからである。一方、対象画像がカラー画像であると判定された場合、被関連付け情報信頼度判定部１４１は、Ｙ成分の画素値及びＣｂ成分の画素値に対する信頼度をそれぞれ０．５とする。すなわち、カラー画像は輝度成分と色差成分を有するため、双方の値を同じだけ信頼するということである。
【００４４】
以下、Ｙ成分の画素値に対する信頼度をＲｙとし、Ｃｂ成分の画素値に対する信頼度をＲｃｂと表記する。
【００４５】
続いて、第一情報取得部１４２ａは、対象画像の各画素におけるＹ成分の画素値を取得する（Ｓ１５４）。続いて、第一取得情報信頼度算出部１４２ｂは、各画素のＹ成分の画素値から、各画素に割り当てられたビット値が「０」である信頼度（可能性の高さ）を算出することにより関連付け情報を推定する（Ｓ１５５）。
【００４６】
具体的には各画素のＹ成分の画素値を関連付け時に使用された定数ｕの二倍で除算し、その商とその商に最も近い整数値との差分から信頼度を算出する。定数ｕの二倍で除するのは、ビット値「０」の関連付けの際に画素値は定数ｕの偶数倍に量子化されるからである。すなわち、画素値を定数ｕの二倍で除した際の商とその商に最も近い整数値との差分は、当該画素値に「０」が関連付けられているほど小さいものであると期待できる。したがって、この差分が小さいほど当該画素値に関連付けられたビット値が「０」である信頼度は高いといえる。
【００４７】
例えば、図６の対象画像５０２の一行目の画素値が、印刷及びスキャンを経ることにより変化し、ステップＳ１５４では、２４２、２５１、２３８という値として取得されたものとする。ここで、「０」が割り当てられた画像の画素値である２４２を定数ｕの２倍（１０×２＝２０）で除した商（１２．１）とその商に最も近い整数値（１２）との差分は０．１である。一方、「１」が割り当てられた画素の画素値である２５１を定数ｕの２倍（２０）で除した商（１２．５５）とその商に最も近い整数値（１３）との差分は０．４５である。
【００４８】
なお、単純に当該差分のみで信頼度を判定するのではなく、数学的な信頼度の算出モデルを用いることにより信頼度を算出することが望ましい。信頼度の算出モデルは様々なものが考えられるが、例えばガウス分布のモデルに基づき、以下のような信頼度モデル（関数）を用いることができる。
【００４９】
【数１】
2006313994.tif 000003
ここで、各パラメータの意味は以下の通りである。
【００５０】
u：量子化の際の定数値
μ：引数ｘの平均値
σ：引数ｘの標準偏差
信頼度関数（１）の引数ｘに、前記差分にｕを乗じた値を与えることで信頼度を算出することができる。ここで算出されたｉ番目の画素のビット値が「０」である信頼度をＲｙ０（ｉ）表記する。
【００５１】
続いて、第二情報取得部１４３ａは、対象画像の各画素におけるＣｂ成分の画素値を取得する（Ｓ１５６）。続いて、第二取得情報信頼度算出部１４３ｂは、各画素のＣｂ成分の画素値から、各画素に関連付けられたビット値が「０」である信頼度を算出することにより関連付け情報を推定する。（Ｓ１５７）。ここでの信頼度の算出は、ステップＳ１５５と同様に行えばよい。なお、ここで算出されたｉ番目の画素のビット値が「０」である信頼度をＲｃｂ０（ｉ）と表記する。
【００５２】
続いて、関連付け情報判定部１４４は、Ｙ成分の画素値に対する信頼度（Ｒｙ）と、Ｃｂ成分の画素値に対する信頼度（Ｒｃｂ）と、Ｙ成分に係るｉ番目のビット値が「０」である信頼度Ｒｙ０（ｉ）と、Ｃｂ成分に係るｉ番目のビット値が「０」である信頼度Ｒｃｂ０（ｉ）とに基づいて、最も信頼度の高い関連付け情報を判定する（Ｓ１５８）。
【００５３】
具体的には、画素ごとに以下の式を計算し、関連付け情報のｉ番目のビット値が「０」である信頼度Ｒ０（ｉ）を算出する。
【００５４】
Ｒ０（ｉ）＝Ｒｙ×Ｒｙ０（ｉ）＋Ｒｃｂ×Ｒｃｂ０（ｉ）
ここで、関連付け情報判定部１４４は、Ｒ０（ｉ）が０．５以上である場合、ｉ番目の画素のビット値は「０」であると判定する。そうでない場合、関連付け情報判定部１４４は、ｉ番目の画素のビット値は「１」であると判定する。これをビット値が関連付けられた全ての画素に対して行い、最も信頼度の高いビット列、すなわち関連付け情報を判定する。なお、判定結果は、表示装置に表示させてもよいし、ファイル等に保存してもよい。
【００５５】
以上で関連付け情報取得処理は終了する。
【００５６】
図７の処理の特徴の一つとしてステップＳ１５２で画像種別の判定を行い、モノクロ画像のときは輝度成分のみを情報取得に利用し、カラー画像のときは輝度と色差の両方を利用することが挙げられる。モノクロ画像では色差成分は失われるが、Ｙ成分が用いられていればモノクロ変換された画像からでも関連付け情報を取得することができる。技術的には、Ｙ成分、Ｃｂ成分、Ｃｒ成分のうちいずれをも被関連付け情報とすることが可能であるが、上記の観点より少なくともＹ成分を被関連付け情報として用いるのが好ましい。また、Ｃｒ成分に比べＣｂ成分の変化の方が人間の視覚に対する影響を小さくできる傾向にあるため、Ｃｂ成分を用いるのが好ましい。但し、Ｃｒ成分を用いて三重に関連付け情報を関連付けてもよい。
【００５７】
また、画像種別の判別はモノクロ又はカラーに限るものではなく、例えばカラーインデックスを用いた画像フォーマットであれば、インデックス数が多いときは色差に対する信頼度を相対的に上げ、インデックス数が少ないときは色差に対する信頼度を相対的に下げるといったことも可能である。
【００５８】
更に、特定のビット列を関連付け情報と合わせて埋め込んでおき、被関連付け情報の信頼度の算出時にその特定のビット列の信頼度を算出し、その信頼度を各被関連付け情報の信頼度としてもよい。この方法いついては第二の実施の形態において詳しく説明する。
【００５９】
上述したように、第一の実施の形態における画像処理装置１０によれば、輝度成分及び色差成分を対象として二重に同じ内容（値）の関連付け情報を関連付ける。また、関連付け情報の取得時には、輝度成分及び色差成分に対する信頼度を考慮して最も信頼度の高い関連付け情報を判定するため、画像データに関連付けられた情報の抽出精度を向上させることができる。
【００６０】
次に、第二の実施の形態について説明する。第二の実施の形態では、文字列と文字列以外の画像（例えば写真）から構成される電子文書（以下、単に「文書」という。）に対して文字間の距離（以下「文字間隔長」という。）とＤＣＴ係数とを操作することにより二重に関連付け情報を関連付け、その文書の画像から関連付け情報を取得する例について説明する。すなわち、第一の実施の形態では、文字間隔長が第一被関連付け情報に相当し、ＤＣＴ係数が第二被関連付け情報に相当する。なお、ここで「文書」とは、ワープロソフト等や所定のアプリケーションによって生成される文書ファイルでもよく、文字列を画像として含む画像データであってもよい。
【００６１】
まず、文字間隔長及びＤＣＴ係数を操作することにより二重に関連付け情報を関連付ける処理について説明する。図８は、第二の実施の形態における情報関連付け処理を説明するためのフローチャートである。
【００６２】
ステップＳ２０１において、情報関連付け部１１は、関連付け情報の関連付けの対象とされる文書をメモリ上に読み込む。続いて、関連付け情報入力部１１１は、関連付け情報をユーザに入力させる（Ｓ２０２）。続いて、情報関連付け部１１は、文書をテキスト領域とそれ以外の画像領域とに分割する（Ｓ２０３）。
【００６３】
続いて、第一関連付け部１１２は、テキスト領域に関連情報を関連付ける（Ｓ２０４）。具体的には、関連付け情報をビット列に変換し、各文字間隔に1ビットずつ割り当てる。ビット値「０」が割り当てられた文字間隔では、文字間隔長を所定の定数ｕの偶数倍で元の値に最も近い値に量子化する。また、ビット値「１」が割り当てられた文字間隔では文字間隔長を定数ｕの奇数倍で元の値に最も近い値に量子化する。なお、ここでの定数ｕの値は、第一の実施の形態における定数ｕの値と同値である必要はない。
【００６４】
図９は、文字間隔長にビット値を関連付ける様子を概念的に示す図である。図９では、「文書画像」という文字列の各文字間隔の文字間隔長ｌ１、ｌ２、ｌ３に関連付け情報（「０１１」のビット列）が関連付けられる様子が示されている。したがって、「０」が割り当てられる文字間隔長ｌ１の値は２ｕに、１が割り当てられる文字間隔長ｌ２及びｌ３は３ｕにそれぞれ量子化されている。
【００６５】
また、第一関連付け部１１２は、ユーザに入力された関連付け情報と共に特定ビット列を文字間隔長に割り当てる。以下、当該特定ビット列をも含めて関連付け情報という。
【００６６】
図１０は、特定ビット列を含む関連付け情報の例を示す図である。図１０では、ユーザに入力された関連付け情報の先頭に特定ビット列（「０１０１」）が付加された例が示されている。なお、後述するように、特定ビット列は被関連付け情報（ここでは、文字間隔長）に対する信頼度を判定するための情報として用いられる。
【００６７】
続いて、第二関連付け部１１３は、分割された画像領域に対して関連付け情報を関連付ける（Ｓ２０５）。具体的には画像領域を複数画素からなるブロックごとに分割し、各ブロックに関連付け情報のビット列のビット値を1ビットずつ割り当てる。更に、ブロックごとにＤＣＴをかけ、得られたＤＣＴ係数のうち特定の係数を割り当てられたビット値に応じて特定の値に変更する。
【００６８】
図１１は、ＤＣＴ係数にビット値を関連付ける様子を概念的に示す図である。図１１では、ブロックの単位を３×３画素とした場合に、当該ブロックに「０」が割り当てられた場合には、その中心のＤＣＴ係数の値を５０とし、「１」が割り当てられた場合には、その中心のＤＣＴ係数の値を−５０とする例が示されている。値を変更するＤＣＴ係数は、画像の変化に影響の少ないものを選択するのが好ましい。
【００６９】
なお、第一関連付け部１１２と同様、第二関連付け部１１３は、特定ビット列が付加された情報を関連付け情報として関連付ける。
【００７０】
ＤＣＴ係数の変更後、第二関連付け部１１３は、ビット値を割り当てた各ブロックに対して逆ＤＣＴを施し、ＤＣＴ係数から画像を復元する。
【００７１】
以上で、情報関連付け処理は終了する。関連付け情報が関連付けられた文書は、印刷部１２によってプリンタ２０より紙文書として出力される。
【００７２】
続いて、上記の情報関連付け処理を経て印刷された紙文書をスキャナ３０で読み取ることによって取り込まれた画像データより関連付け情報を取得する処理について説明する。図１２は、第二の実施の形態における関連付け情報取得処理を説明するためのフローチャートである。
【００７３】
ステップＳ２５１において、関連付け情報取得部１４は、スキャナ３０によって読み取られた画像データ（以下「対象画像」という。）をメモリ上に読み込む。続いて、関連付け情報取得部１４は、対象画像をテキスト領域と画像領域との二つに分割する（Ｓ２５２）。文書が一度印刷されてスキャンされた場合、全体が画像となるが、このときでも文書構造解析技術を用いて画像を識別・分割し、テキスト領域と画像領域に分けることができる。
【００７４】
続いて、第一情報取得部１４２ａは、対象画像より分割されたテキスト領域に画像として含まれている文字列の各文字間隔長を取得する（Ｓ２５３）。続いて、第一取得情報信頼度算出部１４２ｂは、各文字間隔長からそれぞれの文字間隔長に割り当てられたビット値が「０」である信頼度を算出することにより関連付け情報を推定する（Ｓ２５４）。当該信頼度の算出は、第一の実施の形態と同様に行えばよい。すなわち、第一情報取得部１４２ａによって取得された文字間隔長と、「０」が割り当てられた文字間隔長が量子化されることにより取り得る値（量子化ポイント）からの差分を信頼度関数（１）の引数ｘに与えればよい。ここで、関連付け情報のうち、特定ビット列のｉ番目のビットが「０」である信頼度をＲｃｓｐ（ｉ）と表記し、ユーザに入力された情報のｉ番目のビット値が「０」である信頼度をＲｃｓ０（ｉ）と表記する。
【００７５】
続いて、第二情報取得部１４３ａは、分割された画像領域よりビット値が割り当てられたＤＣＴ係数を取得する（Ｓ２５５）。すなわち、対象画像より分割された画像領域を複数画素からなるブロックごとに分割し、ブロックごとにＤＣＴをかけ、得られたＤＣＴ係数のうちビット値が割り当てられているＤＣＴ係数（図１１においては中心のＤＣＴ係数）を取得する。
【００７６】
続いて、第二取得情報信頼度算出部１４３ｂは、取得された各ＤＣＴ係数からそれぞれのＤＣＴ係数に割り当てられたビット値が「０」である信頼度を算出することにより関連付け情報を推定する（Ｓ２５６）。例えば、ＤＣＴ係数を±ｕ／２に変更してビット値を割り当てた場合（図１１は、ｕ＝１００のケースに該当する。）、信頼度関数（１）の引数ｘにビット値「０」を表す値（図１１では５０）と、第二情報取得部１４３ａによって取得されたＤＣＴ係数との絶対差分を与えることで当該信頼度を算出すればよい。但し、取得されたＤＣＴ係数がｕ／２を超える場合はビット値「０」の信頼度を１、−ｕ／２を下回る場合はビット値「０」の信頼度を０と算出する。ここで、特定ビット列のｉ番目のビット値が「０」である信頼度をＲｄｃｔｐ（ｉ）と表記し、ユーザに入力された関連付け情報におけるｉ番目のビット値が「０」である信頼度をＲｄｃｔ０（ｉ）と表記する。
【００７７】
続いて、被関連付け情報信頼度判定部１４１は、第一被関連付け情報（文字間隔長）及び第二被関連付け情報（ＤＣＴ係数）のそれぞれに関連付けられた特定ビット列に基づいて、それぞれに対する信頼度を判定する（Ｓ２５７）。すなわち、特定ビット列の各ビット値が０である信頼度の平均値を被関連付け情報に対する信頼度とする。
【００７８】
ここで、文字間隔長に対する信頼度をＲｃｓ、ＤＣＴ係数に対する信頼度をＲｄｃｔとする。例えば「０１０１」を特定ビット列とした場合、Ｒｃｓは次のように計算できる。
【００７９】
Ｒｃｓ =｛Ｒｃｓｐ（０）＋（１−Ｒｃｓｐ（１））＋Ｒｃｓｐ（２）＋（１−Ｒｃｓｐ（３））｝／４
Ｒｄｃｔも同様に計算できる。
【００８０】
更に、ＲｃｓとＲｄｃｔとの合計を１．０とするため、それぞれを以下の演算によって正規化する。
【００８１】
Ｒｃｓ＝Ｒｃｓ／（Ｒｃｓ＋Ｒｄｃｔ）
Ｒｄｃｔ＝Ｒｄｃｔ／（Ｒｃｓ＋Ｒｄｃｔ）
続いて、関連付け情報判定部１４４は、文字間隔長に対する信頼度（Ｒｃｓ）とＤＣＴ係数に対する信頼度（Ｒｄｃｔ）と、文字間隔長に係るｉ番目のビット値が「０」である信頼度Ｒｃｓ０（ｉ）と、ＤＣＴ係数に係るｉ番目のビット値が「０」である信頼度Ｒｄｃｔ０（ｉ）とに基づいて、最も信頼度の高い関連付け情報を判定する（Ｓ２５８）。
【００８２】
具体的には、各文字間隔長又は各ＤＣＴ係数ごとに以下の式を計算し、関連付け情報のｉ番目のビット値が「０」である信頼度Ｒ０（ｉ）を算出する。
【００８３】
Ｒ０（ｉ） = Ｒｃｓ×Ｒｃｓ０（ｉ）＋Ｒｄｃｔ×Ｒｄｃｔ０（ｉ）
ここで、関連付け情報判定部１４４は、Ｒ０（ｉ）が０．５以上である場合、ｉ番目のビット値は「０」であると判定する。そうでない場合、関連付け情報判定部１４４は、ｉ番目のビット値は「１」であると判定する。これをビット値が関連付けられた全ての文字間隔長及びＤＣＴ係数に対して行い、最も信頼度の高いビット列、すなわち関連付け情報を判定する。
【００８４】
以上で、関連付け情報取得処理は終了する。
【００８５】
上述したように、第二の実施の形態における画像処理装置１０によれば、文書を構成する領域ごと（テキスト領域や画像領域ごと）に適した方法によって関連情報を関連付け、多重に関連付けられた関連付け情報を統合して信頼度の高い関連付け情報を判定するため、情報の抽出精度を高めることができる。また、特定ビット列を用いて各被関連付け情報の信頼度を算出するため、より信頼性の高い結果を得ることができる。
【００８６】
ところで、文字間隔の数や画像のブロック数は、文書によって異なり関連付けが可能なビット数が変動する。しかし、多くの応用では、関連付け情報は固定ビット長であることが要求される。そこで、関連付け情報のビット数が少ないときは同じ情報を繰り返して関連付け、関連付け情報のビット数が多いときは可能な分だけ関連付け、関連付けできなかった部分のビット値は同一の信頼度、すなわち０．５とするようにしてもよい。
【００８７】
また、関連付け情報のビット数が被関連付け情報のビット数（第二の実施の形態では、文字間隔の数やＤＣＴ係数を得るためのブロック数）より多い場合、二種類の被関連付け情報のそれぞれに関連付け情報の各ビット値を同じ順番で割り当てると、最後のビット値が割り当てられなくなる。かかる場合は、一方の被関連付け情報には最初のビット値から順に割り当て、他方の被関連付け情報には最後のビット値から順に割り当てるようにすることで、関連付けられる情報量を増加させてもよい。
【００８８】
次に、第三の実施の形態について説明する。第三の実施の形態では、画像データに対して所定の図形パターンを合成し、また、画像データを含むファイル（画像ファイル）と関連付け情報を含むファイルとを関連付けて保存することにより二重に関連付け情報を関連付け、その画像から関連付け情報を取得する例について説明する。ここでは、所定の図形パターンとして二次元コードを用いる。すなわち、第三の実施の形態では、二次元コードが第一被関連付け情報に相当し、画像データそのもの（画像ファイル）が第二被関連付け情報に相当する。但し、所定の図形パターンは、情報を表現できるものであれば、バーコード等、二次元コード以外のものであってもよい。
【００８９】
まず、関連付け情報の関連付け処理について説明する。図１３は、第三の実施の形態における情報関連付け処理を説明するためのフローチャートである。
【００９０】
ステップＳ３０１において、情報関連付け部１１は、関連付け情報の関連付けの対象とされる画像データ（以下「対象画像」という。）をメモリ上に読み込む。続いて、関連付け情報入力部１１１は、関連付け情報をユーザに入力させる（Ｓ３０２）。
【００９１】
続いて、第一関連付け部１１２は、関連付け情報に基づいて二次元コードを生成し、その二次元コードを画像データの画像に重畳させる（Ｓ３０３）。二次元コードとしては例えばＱＲ（Quick Response）コードを用いてもよい。
【００９２】
図１４は、関連付け情報からの二次元コードの生成例を示す図である。図１４において、（Ａ）は関連付け情報を示し、（Ｂ）は関連付け情報に基づいて生成された二次元コードを示す。図１４では、関連付け情報（Ａ）のビット列を二次元的に配列し、その配列と同じ配列で、ビット値が０の場合は白（無色）の矩形領域（以下「セル」という。）、ビット値が（１）の場合は黒のセルを配置することにより、二次元コード（Ｂ）が生成されている。
【００９３】
続いて、第二関連付け部１１３は、画像データと関連付け情報とをそれぞれの対応関係を維持できる方法で、それぞれ画像ファイルまたは関連付け情報ファイルとして保存する。二つのファイルの対応付けは、例えば、両者のファイル名に基づいて行ってもよいし、両者を同じフォルダに保存することにより行ってもよい。
【００９４】
以上で、情報関連付け処理は終了し、関連付け情報が関連付けられた画像データは、印刷部１２によってプリンタ２０より紙文書として出力される。
【００９５】
続いて、上記の情報関連付け処理を経て印刷された紙文書をスキャナ３０で読み取ることによって取り込まれた画像データより関連付け情報を取得する処理について説明する。図１５は、第三の実施の形態における関連付け情報取得処理を説明するためのフローチャートである。
【００９６】
ステップＳ３５１において、関連付け情報取得部１４は、スキャナ３０によって読み取られた画像データ（以下「対象画像」という。）をメモリ上に読み込む。続いて、被関連付け情報信頼度判定部１４１は、第一被関連付け情報（二次元コード）及び第二被関連付け情報（画像ファイル）に対する相対的な信頼度を算出する（Ｓ３５２）。ここでの信頼度は、第一又は第二の実施の形態のように画像の種別に基づいて算出してもよいし、特定ビットパターンの関連付けを用いることにより算出してもよい。また、それぞれを０．５としてもよい。以下、二次元コードに対する信頼度をＲｃｏｄｅ、画像ファイルに対する信頼度をＲｍａｔｃｈと記述する。なお、ＲｃｏｄｅとＲｍａｔｃｈの合計が１．０となるように正規化しておく。
【００９７】
続いて、第一情報取得部１４２ａは、対象画像より二次元コードを切り出す（Ｓ３５３）。続いて、第一取得情報信頼度算出部１４２ｂは、切り出された二次元コードを復号された情報に基づいて、二次元コードに関連付けられた関連付け情報の各ビット値が「０」である信頼度を算出することにより関連付け情報を推定する（Ｓ３５４）。二次元コードとしてＱＲコードを使用する場合は、誤り訂正符号化が施されるため復号の可否に応じて信頼度は１．０又は０．０のいずれかとなる。誤り訂正なしの二次元コードを使用する場合は、例えば二次元コードをセル分割した際の白又は黒画素の比率を信頼度とすればよい。
【００９８】
図１６は、二次元コードをセル分割した際の白画素の比率によってビット値が０である信頼度を算出する例を示す図である。
【００９９】
図１６において（Ａ）は、第一情報取得部１４２ａによって対象画像より切り出された二次元コードを示す。二次元コード（Ａ）は、印刷やスキャン等の処理を経ることによって、その形状が劣化している。（Ｂ）は、二次元コード（Ａ）をビット値が割り当てられたセルごとに分割した様子を示す。（Ｃ）は、（Ｂ）において分割された各セルにおける白画素の比率を数値として示している。したがって、図１６によれば、最初のビット値が０である信頼度は０．８９、次のビット値は０．０１、以降、０９８、０．９１、・・・と判定することができる。
【０１００】
以下、二次元コードより得られるｉ番目のビットが「０」である信頼度をＲｃｏｄｅ０（ｉ）と表記する。
【０１０１】
続いて、第二情報取得部１４３ａは、関連付け情報ファイルと対応付けられて保存されている画像ファイルを取得する（Ｓ３５５）。ここで、複数の画像ファイルがぞれぞれの関連付けファイルと対応付けられて保存されている場合は、その複数の画像ファイルが取得される。
【０１０２】
続いて、第二取得情報信頼度算出部１４３ｂは、対象画像と取得された画像ファイルとの類似度に基づいて画像ファイルに関連付けられた関連付け情報の各ビット値が「０」である信頼度を算出することにより関連付け情報を推定する。具体的には、第二取得情報信頼度算出部１４３ｂは、第二情報取得部１４３ａによって取得された画像ファイルと対象画像とのパターンマッチング等によって対象画像に類似する画像ファイルを選択する。ここで選択された画像ファイルを以下「選択画像」という。ここでは、複数の画像ファイルが選択されてもよい。例えば５番目まで類似するもの、又は類似度が閾値以上のものといった選択基準を設けてもよい。更に、第二情報取得部１４３ａは、選択画像に対応付けられている関連付け情報ファイルを取得し、それぞれの選択画像と対象画像との類似度をそれぞれの関連付け情報ファイルに含まれている関連付け情報に対する信頼度とする。
【０１０３】
各関連付け情報に対する信頼度からｉ番目のビット値が「０」である信頼度Ｒｍａｔｃｈ０（ｉ）を算出することができる。例えば、次のようにすればよい。
【０１０４】
ｍ番目の選択画像の類似度をＳ（ｍ）とし、ｍ番目の選択画像に対応付けられた関連付け情報のｉ番目のビットが０であるとき、m番目の関連付け情報のｉ番目のビット値が０である信頼度をＲｍａｔｃｈ０（ｍ，ｉ）＝Ｓ（ｍ）とする。また、ｍ番目の関連付け情報のｉ番目のビットが１であるとき、Ｒｍａｔｃｈ０（ｍ，ｉ）＝０とする。全ての選択画像に対してＲｍａｔｃｈ０（ｍ，ｉ）を算出し、そのビットごとの平均値をＲｍａｔｃｈ０（ｉ）とする。
【０１０５】
なお、類似度Ｓ（ｍ）は、選択画像の類似度の合計が１となるように以下のように予め正規化しておく。
【０１０６】
Ｓ（ｍ）←Ｓ（ｍ）／ΣＳ（ｉ）｛ｉは選択画像｝
続いて、関連付け情報判定部１４４は、二次元コードに対する信頼度（Ｒｃｏｄｅ）と、画像ファイルに対する信頼度（Ｒｍａｔｃｈ）と、二次元コードに係るｉ番目のビット値が「０」である信頼度Ｒｃｏｄｅ０（ｉ）と、画像ファイルに係るｉ番目のビット値が「０」である信頼度Ｒｍａｔｃｈ０（ｉ）とに基づいて、最も信頼度の高い関連付け情報を判定する（Ｓ３５７）。
【０１０７】
具体的には、まず以下の式を計算し、関連付け情報のｉ番目のビット値が「０」である信頼度Ｒ０（ｉ）を算出する。
Ｒ０（ｉ）＝Ｒｃｏｄｅ×Ｒｃｏｄｅ０（ｉ） + Ｒｍａｔｃｈ×Ｒｍａｔｃｈ０（ｉ）
ここで、関連付け情報判定部１４４は、Ｒ０（ｉ）が０．５以上である場合、ｉ番目のビット値は「０」であると判定する。そうでない場合、関連付け情報判定部１４４は、ｉ番目のビット値は「１」であると判定する。これをすべてのビット値に対して行い、最も信頼度の高いビット列、すなわち関連付け情報を判定する。
【０１０８】
以上で、関連付け情報取得のフローは終了する。
【０１０９】
なお、関連付け情報の判定後に更に改ざん判定のステップを設けてもよい。取得された関連付け情報のｉ番目のビット値をｂ（ｉ）とし、次の式を計算し、取得された関連付け情報全体の信頼度Ｒを算出する。
【０１１０】
Ｒ＝Σ｛Ｒ０（ｉ）＋ｂ（ｉ）×（１−２×Ｒ０（ｉ））｝／ビット数
この信頼度Ｒが所定の閾値以下である場合、改ざんがあったと判定する。これは画像の画素値の変動が少ない環境下で有効である。そのような環境で信頼度Ｒが低いということは、画像が書き換えられた、または二次元コードを上書きされた可能性が高いといえる。
このことから改ざんの検出が可能である。
【０１１１】
なお、信頼度Ｒは、各ビットのビット値に対する信頼度の平均値に相当する。すなわち、ｉ番目のビット値が０の場合（すなわちｂ（ｉ）＝０の場合）、上記式の｛Ｒ０（ｉ）＋ｂ（ｉ）×（１−２×Ｒ０（ｉ））｝は、Ｒ０（ｉ）となり、これはｉ番目のビット値が０である信頼度を示す。一方、ｉ番目のビット値が１の場合（すなわちｂ（ｉ）＝１の場合）、上記式の｛Ｒ０（ｉ）＋ｂ（ｉ）×（１−２×Ｒ０（ｉ））｝は、１−Ｒ０（ｉ）となり、これはｉ番目のビット値が１である信頼度を示す。したがって、各ビットのビット値が当該ビット値であることの信頼度の合計の平均値が信頼度Ｒの値となる。
【０１１２】
上述したように、第三の実施の形態における画像処処理装置１０によれば、多重に関連付けられた関連付け情報を統合して信頼度の高い関連付け情報を判定するため、情報の抽出精度を高めることができる。
【０１１３】
なお、第三の実施の形態では、は画像データそのものをファイルとして保存しておく例を説明したが、画像マッチングの計算速度や画像ファイルを保存するための記憶容量を考慮して画像データの特徴量を関連付け情報ファイルと対応付けて保存しておいてもよい。画像データの特徴量としては、画素値の統計量、フーリエ変換、ＤＣＴ、ウェーブレット変換などで得られた係数値等を用いることができる。また画像データがテキストを含む文書から変換されたものならば、レイアウト、文字数、文字間隔値、などを特徴量として用いることができる。
【０１１４】
上記第一から第三の実施の形態に分けて説明したが、本発明によれば、被関連付け情報が一つの情報に限定されず、関連付け情報の対象となる画像データに適した被関連付け情報を選択して情報を関連付けることができるため、関連付け情報の耐久性を高めることができると共に、例えば、音声、動画、文書、及びプログラム等、画像データ以外の様々なデジタルコンテンツに適切に関連付け情報を関連付け、その関連付け情報を取得することができる。
【０１１５】
なお、第一から第三の実施の形態において説明した以外にも、被関連付け情報としては、例えば、ＲＧＢの各成分の組み合わせ、文字要素（高さ・幅・傾き・太さ・書体・間隔）の組み合わせ、画素値を積分変換した際の異なる係数領域の組み合わせ（例:フーリエ変換における高周波と低周波の組み合わせ）、ドットパターン、バーコードと前記要素の組み合わせ、及び、画像マッチングと前記要素の組み合わせ等、状況に応じて様々な情報を選択することが可能である。
【０１１６】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施の形態における画像処理装置の概略構成例を示す図である。
【図２】情報関連付け部の機能構成例を示す図である。
【図３】関連付け情報取得部の機能構成例を示す図である。
【図４】本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。
【図５】第一の実施の形態における情報関連付け処理を説明するためのフローチャートである。
【図６】Ｙ成分の画素値に関連付け情報を関連付ける様子を概念的に示す図である。
【図７】第一の実施の形態における関連付け情報取得処理を説明するためのフローチャートである。
【図８】第二の実施の形態における情報関連付け処理を説明するためのフローチャートである。
【図９】文字間隔長にビット値を関連付ける様子を概念的に示す図である。
【図１０】特定ビット列を含む関連付け情報の例を示す図である。
【図１１】ＤＣＴ係数にビット値を関連付ける様子を概念的に示す図である。
【図１２】第二の実施の形態における関連付け情報取得処理を説明するためのフローチャートである。
【図１３】第三の実施の形態における情報関連付け処理を説明するためのフローチャートである。
【図１４】関連付け情報からの二次元コードの生成例を示す図である。
【図１５】第三の実施の形態における関連付け情報取得処理を説明するためのフローチャートである。
【図１６】二次元コードをセル分割した際の白画素の比率によってビット値が０である信頼度を算出する例を示す図である。
【符号の説明】
【０１１８】
１０          画像処理装置
１１          情報関連付け部
１２          印刷部
１３          スキャン部
１４          関連付け情報取得部
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        演算処理装置
１０５        表示装置
１０６        入力装置
１１１        関連付け情報入力部
１１２        第一関連付け部
１１３        第二関連付け部
１４１        被関連付け情報信頼度判定部
１４２        第一推定部
１４２ａ      第一情報取得部
１４２ｂ      第一取得情報信頼度判定部
１４３        第二推定部
１４３ａ      第二情報取得部
１４３ｂ      第二取得情報信頼度判定部
１４４        関連付け情報判定部
Ｂ            バス
【図１】
2006313994.tif 000004
【図２】
2006313994.tif 000005
【図３】
2006313994.tif 000006
【図４】
2006313994.tif 000007
【図５】
2006313994.tif 000008
【図６】
2006313994.tif 000009
【図７】
2006313994.tif 000010
【図８】
2006313994.tif 000011
【図９】
2006313994.tif 000012
【図１０】
2006313994.tif 000013
【図１２】
2006313994.tif 000014
【図１３】
2006313994.tif 000015
【図１４】
2006313994.tif 000016
【図１５】
2006313994.tif 000017
【図１６】
2006313994.tif 000018
【図１１】
2006313994.tif 000019