(57)【要約】【課題】画像の画質を劣化させずに原画像データに所定のデータを合成することができ、かつ合成された所定のデータの取り出しを困難にして、原画像データの不正なコピーを防止することができる画像処理装置を提供する。【解決手段】データ合成手段１５によって、階調値が上限値の画素位置の原画像データに、階調値が増加する方向に所定のデータが合成され、合成画像データが生成される。所定のデータは、原画像データの階調の範囲外に合成されるので、原画像データの画質は劣化することがなく、階調の範囲外に合成された所定のデータを、利用者が知覚することがない。また、符号化手段１６によって符号化された合成画像データ自体に所定のデータが埋め込まれているので、所定のデータは、符号化された合成画像データを復号化するまで原画像データから分離することができない。【選択図】　　　図１
2004120122.tif 000002
【特許請求の範囲】
【請求項１】
階調値が下限値の画素位置の原画像データに所定のデータを階調値が減少する方向に合成して合成画像データを生成するデータ合成手段と、
データ合成手段によって生成された合成画像データを符号化する符号化手段とを含むことを特徴とする画像処理装置。
【請求項２】
階調値が下限値の画素位置の原画像データに所定のデータを階調値が減少する方向に合成して生成される合成画像データが符号化された符号合成画像データを、復号化して、復号合成画像データを生成する復号化手段と、
復号化手段によって生成された復号合成画像データから、階調値が下限値の画素位置の原画像データに階調値が減少する方向に合成されている所定のデータを分離するデータ分離手段とを含むことを特徴とする画像処理装置。
【請求項３】
階調値が上限値の画素位置の原画像データに所定のデータを階調値が増加する方向に合成して合成画像データを生成するデータ合成手段と、
データ合成手段によって生成された合成画像データを符号化する符号化手段とを含むことを特徴とする画像処理装置。
【請求項４】
階調値が上限値の画素位置の原画像データに所定のデータを階調値が増加する方向に合成して生成される合成画像データが符号化された符号合成画像データを、復号化して、復号合成画像データを生成する復号化手段と、
復号化手段によって生成された復号合成画像データから、階調値が上限値の画素位置の原画像データに階調値が増加する方向に合成されている所定のデータを分離するデータ分離手段とを含むことを特徴とする画像処理装置。
【請求項５】
階調値が下限値の画素位置の原画像データに所定のデータの一部を階調値が減少する方向に合成し、かつ階調値が上限値の画素位置の画像データに、所定のデータの残部を階調値が増加する方向に合成して合成画像データを生成するデータ合成手段と、
データ埋め込み手段によって生成された合成画像データを符号化する符号化手段とを含むことを特徴とする画像処理装置。
【請求項６】
階調値が下限値の画素位置の原画像データに所定のデータの一部を階調値が減少する方向に合成し、かつ階調値が上限値の画素位置の画像データに所定のデータの残部を、階調値が増加する方向に合成して生成される合成画像データが符号化された符号合成画像データを、復号化して、復号合成画像データを生成する復号化手段と、
復号化手段によって生成された復号合成画像データから、階調値が下限値の画素位置の原画像データに階調値が減少する方向に合成されている所定のデータの一部と、階調値が上限値の画素位置の原画像データに階調値が増加する方向に合成されている所定のデータの残部とを分離するデータ分離手段とを含むことを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データ、文字データおよび音声データなどの各種の所定データを原画像データに合成して合成画像データを生成し、この合成画像データから前記各種の所定のデータを分離する画像処理装置に関する。
【０００２】
【従来の技術】
画像および音声などのマルチメディアデータのデジタル化によって、ローカルエリアネットワーク（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ；略称ＬＡＮ）およびインターネットなどのネットワークを通して、多人数で同じデータを共有することが容易になっている。
【０００３】
ネットワークを利用したビジネスとして、コンテンツビジネスが注目されている。コンテンツビジネスとは、画像、音楽および映像などのデジタルデータを、ネットワークを介して消費者に直接届けるものである。ネットワーク上で商品を取引する電子商取引は、取引を効率化するが、商品自体が有体物である場合、この商品を消費者に届けるトラックなどの運送手段が必要である。これに対して、コンテンツビジネスは、商品自体もネットワークを介して消費者に届けられるので、運送手段を必要としない。したがって、このような特性を生かした新しいビジネスを開拓することが期待されている。
【０００４】
ところが、デジタルデータはコピーが容易であり、このようなコピーを防止する対策を講じないと、不正コピーが横行する可能性がある。不正コピーを防止するための有効な技術として、電子透かしが研究されている。
【０００５】
電子透かしとは、人間の視覚および聴覚などの知覚の特性を利用し、静止画像、動画像、オーディオなどのデジタルコンテンツに、このデジタルコンテンツ自体とは別の所定のデータを、人間に知覚されにくいように埋め込む技術であり、不正コピーを直接防止するものではないが、不正コピーを抑止することによって間接的に不正コピーを防止することができる（たとえば、特許文献１参照）。
【０００６】
上述した電子透かしを実現するために、様々な方法が提案されている。たとえば、原画像データに所定のデータを埋め込む単純な方法としては、所定のデータを原画像データの階調値の下位ビットに埋め込むことが考えられる。
【０００７】
画像をデジタル化するときの標本化点を画素と呼び、この画素は、デジタルの画像を構成する最小単位となる。白黒のファクシミリでは、各画素は、白および黒のいずれか一方であるので、各画素の階調は、２階調であって、白に階調値０、黒に階調値１を割り当てることによって１ビットで表現することができる。しかしながら、カラー画像である濃淡画像では、画素の階調を大きくする必要がある。カラー画像の階調値は、コンピュータでの扱いやすさを考慮して８ビットで表されることが多い。
【０００８】
ところで、人間の目の色を感じる器官である錐体はＬＭＳ（３原色色空間）の３種類であるため、複数の色を表すには３つの値を必要とするが、３つの値があれば十分であるとも言える。ディスプレイでは赤（Ｒ）緑（Ｇ）青（Ｂ）３つの階調値を変化させることによって、様々な色を表示することができる。このため、カラー画像は、ＲＧＢとも８ビットで表されている。
【０００９】
一般にカラー画像の階調値の下位２ビットぐらいは元々ノイズであるから、この下位のビットに所定のデータを埋め込んでも、所定のデータのデータ量が少ない場合は、画質の劣化は少ない。しかしながら、所定のデータのデータ量が多くなるにつれて画質の劣化が大きくなる。もっとも、実際に電子透かしを実現する方法は、もっと洗練されており、原画像データに埋め込んだ所定のデータの取り出しは簡単にはできないが、必ず画質劣化を伴う。また、圧縮技術の発達によって、原画像データに所定のデータを埋め込んだ後に、この画像データ全体を圧縮することになるので、圧縮に強い埋め込み方法、つまり、符号化した後、復号化したときに、埋め込んだ所定の情報を取り出せる方法であることが不可欠である。
【００１０】
画像は、データ量が多いので、圧縮されることが多い。圧縮符号化方法には、可逆圧縮と非可逆圧縮がある。可逆圧縮は、圧縮した後に解凍したデータが完全に圧縮する前のデータと一致する変換であり、非可逆圧縮では圧縮した後に解凍したデータが圧縮する前のデータと一致せず、圧縮してしまうと完全には元に戻らない。非可逆圧縮では、人間の目で敏感に感じるところには、情報を残しておき、鈍感なところほど情報を削ることによって、圧縮率を高めている。
【００１１】
非可逆圧縮では、たとえば離散余弦変換（略称ＤＣＴ）およびウェーブレット変換などを用いた変換符号化を用いる。これらの変換符号化では、平面上に並んだ画素を空間周波数成分に変換し、量子化との組み合わせによって、人間の目に鈍感な高周波成分の情報を削り、画像データの高圧縮率を実現している。静止画像圧縮符号化方式の国際標準となっているＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ
ｃｏｄｉｎｇ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）では、変換符号化にＤＣＴを使用し、ＪＰＥＧ２０００では、変換符号化にウェーブレット変換を使用している。
【００１２】
上述のように原画像データを符号化した後、符号のヘッダまたは制御信号に所定のデータを書き込む方法も考えられている。
【００１３】
【特許文献１】
特開２０００−１０６６２４号公報
【００１４】
【発明が解決しようとする課題】
上述した画像の階調値の下位ビットに所定のデータを埋め込む場合は、埋め込まれる画像の画質劣化は避けられないといった問題がある。
【００１５】
また符合のヘッダまたは制御信号に所定のデータを書き込む場合、画像の画質を劣化させることは避けられるが、原画像データとは別に所定のデータが書き込まれるので、所定のデータを簡単に取り出すことができ、原画像データの不正なコピーを容易に行ない易いといった問題がある。
【００１６】
本発明の目的は、画像の画質を劣化させずに原画像データに所定のデータを合成することができ、かつ合成された所定のデータの取り出しを困難にして、原画像データの不正なコピーを防止することができる画像処理装置を提供することである。
【００１７】
また本発明の他の目的は、原画像データに取り出しが困難な状態で合成された所定のデータを容易に確認することができる画像処理装置を提供することである。
【００１８】
【課題を解決するための手段】
本発明は、階調値が下限値の画素位置の原画像データに所定のデータを階調値が減少する方向に合成して合成画像データを生成するデータ合成手段と、
データ合成手段によって生成された合成画像データを符号化する符号化手段とを含むことを特徴とする画像処理装置である。
【００１９】
本発明に従えば、データ合成手段によって、階調値が下限値の画素位置の原画像データに、階調値が減少する方向、すなわち原画像データの階調値の下限値よりも小さな階調値となるように、たとえば画像データ、音楽データおよび文字データなどの所定のデータが合成され、合成画像データが生成される。原画像データの階調がＲ（Ｒは２以上の正の整数）である場合、各画素の階調値は、下限値の０から上限値のＲ−１までの正の整数値によって表される。データ合成手段が、階調値が下限値である０の画素位置の原画像データに、所定のデータを合成することによって、この画素位置の合成画像データの階調値は負の整数値となる。
【００２０】
所定のデータは、原画像データの階調の範囲外に合成されるので、この所定のデータが合成された合成画像データの、上限値Ｒ−１から下限値０の間に階調値を有する画像データは、原画像データだけである。したがって、所定のデータが合成された合成画像データを表示手段などによって可視化する場合には、階調値が上限値から下限値の間の画像データだけが可視化されるので、可視化された合成画像は、原画像データを可視化させた場合と同じとなり、画質はまったく劣化することがない。また原画像データの階調の範囲外に所定のデータが合成されるので、この所定のデータを利用者が知覚することがない。所定のデータを利用者が知覚することが無いので、利用者にとって所定のデータの取り出しは困難であり、所定のデータが不正に削除されて原画像データが不正にコピーされることを防止することができる。
【００２１】
また、符号化手段によって符号化された合成画像データ自体に所定のデータが埋め込まれているので、符号化された合成画像データを復号化するまでは、所定のデータを原画像データから分離することができない。したがって、符号化した状態で、所定のデータを分離することが困難であり、所定のデータが不正に削除されることを防止できる。
【００２２】
また本発明は、階調値が下限値の画素位置の原画像データに所定のデータを階調値が減少する方向に合成して生成される合成画像データが符号化された符号合成画像データを、復号化して、復号合成画像データを生成する復号化手段と、
復号化手段によって生成された復号合成画像データから、階調値が下限値の画素位置の原画像データに階調値が減少する方向に合成されている所定のデータを分離するデータ分離手段とを含むことを特徴とする画像処理装置である。
【００２３】
本発明に従えば、データ復号化手段によって、階調値が下限値の画素位置の原画像データに、階調値が減少する方向、すなわち原画像データの階調値の下限値よりも小さな階調値となるように、たとえば画像データ、音楽データおよび文字データなどの所定のデータを合成して生成される合成画像データが符号化された符号合成画像データを復号する。原画像データの階調がＲ（Ｒは２以上の正の整数）である場合、各画素の階調値は、下限値の０から上限値のＲ−１までの正の整数値によって表される。
【００２４】
データ分離手段は、復号合成画像データから、階調値が下限値である０の画素位置の原画像データに、階調値が減少する方向に合成されている所定のデータを分離するので、たとえば電子透かしとして原画像データに合成された所定のデータが合成されている場合には、原画像データの著作者を表す所定のデータなどを原画像データとは別に取り出して確認することができる。
【００２５】
また本発明は、階調値が上限値の画素位置の原画像データに所定のデータを階調値が増加する方向に合成して合成画像データを生成するデータ合成手段と、
データ合成手段によって生成された合成画像データを符号化する符号化手段とを含むことを特徴とする画像処理装置である。
【００２６】
本発明に従えば、データ合成手段によって、階調値が上限値の画素位置の原画像データに、階調値が増加する方向、すなわち原画像データの階調値の上限値よりも大きな階調値となるように、たとえば画像データ、音楽データおよび文字データなどの所定のデータが合成され、合成画像データが生成される。原画像データの階調がＲ（Ｒは２以上の正の整数）である場合、各画素の階調値は、下限値の０から上限値のＲ−１までの正の整数値によって表される。データ合成手段が、階調値が上限値であるＲ−１の画素位置の原画像データに、所定のデータを合成することによって、この画素位置の合成画像データの階調値はＲ−１よりも大きな値となる。
【００２７】
所定のデータは、原画像データの階調の範囲外に合成されるので、この所定のデータが合成された合成画像データの、上限値Ｒ−１から下限値０の間に階調値を有する画像データは、原画像データだけである。したがって、所定のデータが合成された合成画像データを表示手段などによって可視化する場合には、階調値が上限値から下限値の間の画像データだけが可視化されるので、可視化された合成画像は、原画像データを可視化させた場合と同じとなり、画質はまったく劣化することがない。また原画像データの階調の範囲外に所定のデータが合成されるので、この所定のデータを利用者が知覚することがない。所定のデータを利用者が知覚することが無いので、利用者にとって所定のデータの取り出しは困難であり、所定のデータが不正に削除されて原画像データが不正にコピーされることを防止することができる。
【００２８】
また、符号化手段によって符号化された合成画像データ自体に所定のデータが埋め込まれているので、符号化された合成画像データを復号化するまでは、所定のデータを原画像データから分離することができない。したがって、符号化した状態で、所定のデータを分離することが困難であり、所定のデータが不正に削除されることを防止できる。
【００２９】
また本発明は、階調値が上限値の画素位置の原画像データに所定のデータを階調値が増加する方向に合成して生成される合成画像データが符号化された符号合成画像データを、復号化して、復号合成画像データを生成する復号化手段と、
復号化手段によって生成された復号合成画像データから、階調値が上限値の画素位置の原画像データに階調値が増加する方向に合成されている所定のデータを分離するデータ分離手段とを含むことを特徴とする画像処理装置である。
【００３０】
本発明に従えば、データ復号化手段によって、階調値が上限値の画素位置の原画像データに、階調値が増加する方向、すなわち原画像データの階調値の上限値よりも大きな階調値となるように、たとえば画像データ、音楽データおよび文字データなどの所定のデータを合成して生成される合成画像データが符号化された符号合成画像データを復号する。原画像データの階調がＲ（Ｒは２以上の正の整数）である場合、各画素の階調値は、下限値の０から上限値のＲ−１までの正の整数値によって表される。
【００３１】
データ分離手段は、復号合成画像データから、階調値が上限値であるＲ−１の画素位置の原画像データに、階調値が増加する方向に合成されている所定のデータを分離するので、たとえば電子透かしとして原画像データに合成された所定のデータが合成されている場合には、原画像データの著作者を表す所定のデータなどを原画像データとは別に取り出して確認することができる。
【００３２】
また本発明は、階調値が下限値の画素位置の原画像データに所定のデータの一部を階調値が減少する方向に合成し、かつ階調値が上限値の画素位置の画像データに、所定のデータの残部を階調値が増加する方向に合成して合成画像データを生成するデータ合成手段と、
データ埋め込み手段によって生成された合成画像データを符号化する符号化手段とを含むことを特徴とする画像処理装置である。
【００３３】
本発明に従えば、データ合成手段によって、階調値が下限値の画素位置の原画像データに、階調値が減少する方向、すなわち原画像データの階調値の下限値よりも小さな階調値となるように、たとえば画像データ、音楽データおよび文字データなどの所定のデータの一部が合成され、階調値が上限値の画素位置の原画像データに、階調値が増加する方向、すなわち原画像データの階調値の上限値よりも大きな階調値となるように、たとえば画像データ、音楽データおよび文字データなどの所定のデータの残部が合成され、合成画像データが生成される。原画像データの階調がＲ（Ｒは２以上の正の整数）である場合、各画素の階調値は、下限値の０から上限値のＲ−１までの正の整数値によって表される。
【００３４】
データ合成手段が、階調値が下限値である０の画素位置の原画像データに、所定のデータを合成することによって、この画素位置の合成画像データの階調値は負の整数値となり、階調値が上限値であるＲ−１の画素位置の原画像データに、所定のデータを合成することによって、この画素位置の合成画像データの階調値はＲ−１よりも大きな値となる。
【００３５】
所定のデータは、原画像データの階調の範囲外に合成されるので、この所定のデータが合成された合成画像データの、上限値Ｒ−１から下限値０の間に階調値を有するデータは、原画像データだけである。したがって、所定のデータが合成された合成画像データを表示手段などによって可視化する場合には、階調値が上限値から下限値の間の画像データだけが可視化されるので、可視化された合成画像は、原画像データを可視化させた場合と同じとなり、画質はまったく劣化することがない。また原画像データの階調の範囲外に所定のデータが合成されるので、この所定のデータを利用者が知覚することがない。所定のデータを利用者が知覚することが無いので、利用者にとって所定のデータの取り出しは困難であり、所定のデータが不正に削除されて原画像データが不正にコピーされることを防止することができる。
【００３６】
また、符号化手段によって符号化された合成画像データ自体に所定のデータが埋め込まれているので、符号化された合成画像データを復号化するまでは、所定のデータを原画像データから分離することができない。したがって、符号化した状態で、所定のデータを分離することが困難であり、所定のデータが不正に削除されることを防止できる。
【００３７】
また本発明は、階調値が下限値の画素位置の原画像データに所定のデータの一部を階調値が減少する方向に合成し、かつ階調値が上限値の画素位置の画像データに所定のデータの残部を、階調値が増加する方向に合成して生成される合成画像データが符号化された符号合成画像データを、復号化して、復号合成画像データを生成する復号化手段と、
復号化手段によって生成された復号合成画像データから、階調値が下限値の画素位置の原画像データに階調値が減少する方向に合成されている所定のデータの一部と、階調値が上限値の画素位置の原画像データに階調値が増加する方向に合成されている所定のデータの残部とを分離するデータ分離手段とを含むことを特徴とする画像処理装置である。
【００３８】
データ復号化手段によって、階調値が下限値の画素位置の原画像データに、階調値が減少する方向、すなわち原画像データの階調値の下限値よりも小さな階調値となるように、たとえば画像データ、音楽データおよび文字データなどの所定のデータの一部を合成し、階調値が上限値の画素位置の原画像データに、階調値が増加する方向、すなわち原画像データの階調値の上限値よりも大きな階調値となるように、たとえば画像データ、音楽データおよび文字データなどの所定のデータの残部を合成して生成される合成画像データが符号化された符号合成画像データを復号する。原画像データの階調がＲ（Ｒは２以上の正の整数）である場合、各画素の階調値は、下限値の０から上限値のＲ−１までの正の整数値によって表される。
【００３９】
データ分離手段は、復号合成画像データから、階調値が下限値である０の画素位置の原画像データに、階調値が減少する方向に合成されている所定のデータの一部、および階調値が上限値であるＲ−１の画素位置の原画像データに、階調値が増加する方向に合成されている所定のデータを分離するので、たとえば電子透かしとして原画像データに合成された所定のデータが合成されている場合には、原画像データの著作者を表す所定のデータなどを原画像データとは別に取り出して確認することができる。
【００４０】
【発明の実施の形態】
図１は、本発明の実施の一形態の画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、画像符号化装置１２と、画像復号化装置１３とを含む。
【００４１】
画像符号化装置１２は、色変換手段１４と、データ合成手段１５と、符号化手段１６とを含む。
【００４２】
色変換手段１４は、原画像データ１のたとえば赤（Ｒ）緑（Ｇ）青（Ｂ）で表される色空間を、輝度と２つの色差とに変換する。輝度と色差とによって表される色空間は、デジタルカメラおよびテレビカメラでは、ＹＣｂＣｒが用いられ、カラーファクシミリではＣＩＥＬＡＢが用いられる。このような色空間の表色系は、その機器に搭載されるアプリケーションプログラムによって相違するが、本発明では本質的な相違ではなく、国際標準規格で規定される色変換の手法を用いればよい。
【００４３】
データ合成手段１５は、階調値が上限値の画素位置の原画像データ１に所定のデータ２を階調値が増加する方向、すなわち原画像データ１の階調値の上限値よりも大きな階調値となるように合成して合成画像データを生成する。データ合成手段１５は、判定部１７を含む。判定部１７は、原画像データ１の各画素位置の階調値が、上限値であるか否かを判定する。判定部１７が、原画像データ１の画素の階調値が上限値であると判定すると、データ合成手段１５は、この画素位置の画像データ１に所定のデータ２を合成する。画像データ１の階調をＲとすると、画像データ１の階調値は０からＲ−１までの正の整数値をとる。また合成画像データの階調値の上限値はＲ−１であり、下限値は０である。
【００４４】
所定のデータ２は、原画像データ１の輝度の成分、色相の成分および色差の分成の少なくともいずれか１つの成分に合成される。本実施の形態では、所定のデータ２は、原画像データ１の輝度の成分に合成される。
【００４５】
本実施の形態では、所定のデータ２を画像データとする。所定のデータ２は、原画像データ１に階調値に加算されているが、このデータは階調値でなくてもよく、２進数で表されるデータであればよい。たとえば、原画像データの階調値が８ビットで表される場合、階調値の上限値は２進数で１１１１１１１１として表される。たとえば所定のデータ２が２進数では１１で表される場合、合成画像データの階調値は、２進数で１００００００１１となる。本発明の実施の他の形態では、所定のデータ２は、たとえば音楽データおよび文字データなどであってもよく、画像データ、音楽データおよび文字データなどを符号化したデータであってもよい。
【００４６】
原画像データ１の階調をＲとし、階調値をＦとし、所定のデータ２の階調値をＤとし、データ合成手段１５が原画像データ１に所定のデータ２を合成することによって生成される合成画像データの階調値をＧとすると、データ合成手段１５は、以下の式（１），（２）によって合成画像データを生成する。階調Ｒは、本実施の形態では、８ビットであるＲ＝２５６が用いられる。
Ｇ＝Ｆ　　　　（０≦Ｆ＜Ｒ−１）　　　　　　　　　　　　…（１）
Ｇ＝Ｆ＋Ｄ　　（Ｆ＝Ｒ−１）　　　　　　　　　　　　　　…（２）
【００４７】
図２は、所定のデータ２の一例を示す図であり、図３は原画像データ１の一例を示す図であり、図４は合成画像データ４の一例を示す図である。同図において、縦軸は階調値であり、横軸は画像１ライン上の画素位置である。図２〜図４において、画素位置は左端を基準値０として、右に行くほど大きな値をとる正の整数値によって表される。所定のデータ２の画素位置０の階調値はＤ１であり、画素位置Ｘ１の階調値はＤ２であり、画素位置Ｘ２の階調値はＤ１である。また、原画像データ１の画素位置Ｘ３よりも左の階調値は０以上Ｒ−１よりも小さく、画素位置Ｘ３から右の階調値はＲ−１である。
【００４８】
データ合成手段１５は、図３のように示される原画像データ１の階調値がＲ−１の画素位置Ｘ３から画素位置（Ｘ２＋Ｘ３）までの各画素の階調値に、図３のように示される所定のデータ２の階調値を加算して、図４のように示される合成画像データ４を生成する。合成画像データ４の画素位置Ｘ３の階調値は、（Ｒ−１）＋Ｄ１となり、画素位置Ｘ１＋Ｘ３の階調値は、（Ｒ−１）＋Ｄ２となり、画素位置Ｘ２＋Ｘ３の階調値は、（Ｒ−１）＋Ｄ１となる。
【００４９】
このように所定のデータ２は、複数の画素位置の原画像データ１に合成される。複数の画素位置に所定のデータ２が合成される場合、所定のデータ２は、分割されて各画素の原画像データ１に合成される。本発明の実施の他の形態では、所定のデータ２は、１つの画素位置の原画像データ１に合成されてもよい。
【００５０】
データ合成手段１５によって、原画像データ１に所定のデータ２を合成することによって、原画像データ１に所定のデータ２が埋め込まれた状態の合成画像データを作成することができる。
【００５１】
データ合成手段１５が行なう処理は、原画像データ１の階調値に所定のデータ２の階調値を加算するという簡単なものである。したがって、データ合成手段１５は、原画像データ１と所定のデータ２とを合成して合成画像データを生成する処理を短時間で行なうことができる。
【００５２】
符号化手段１６は、データ合成手段１５によって生成された合成画像データを符号化して、符号合成画像データ２２を生成する。符号化手段１６は、周波数変換部１８、量子化部１９、エントロピー符号化部２０、およびビットストリーム生成部２１を含む。
【００５３】
周波数変換部１８は、データ合成手段１５から与えられる合成画像データを周波数変換して、周波数成分を出力する。周波数変換を行なうことによって、画素数と同数の周波数成分を表す変換係数が得られる。周波数変換前には、１画素が８ビットで表されているので、たとえば周波数変換として離散余弦変換（略称ＤＣＴ）を用いると、各変換係数は、小数点以下を四捨五入すれば１１ビットの整数で表すことができる。周波数変換としては、たとえばＤＣＴの他に、ウェーブレット変換、および離散サイン変換（略称ＤＳＴ）のうちのいずれか１つを用いてもよい。
【００５４】
周波数変換部１８では、画像の階調値として８ビットよりも大きな値が与えられたとしても、周波数変換の計算は正しく実行される必要があるが、上述したように、周波数変換した値は、８ビット以上の値を取ることあるので、多くの実装回路において、入力される値にはすでに８ビット以上のメモリ変数が確保されている。したがって周波数変換部１８を、汎用の周波数変換回路によって実現することができる。
【００５５】
量子化部１９は、周波数変換部１８から与えられる周波数領域に変換された合成画像データを量子化する。量子化部１９では、低周波成分を細かく量子化し、高周波成分は粗く量子化することによってデータ量を削減する。これは、高周波成分の精度を落としても、人間の目が高周波成分に対して鈍感なため、画質はあまり低下しないことを利用している。量子化部１９では、変換係数の値を量子化するにあたって、量子化のステップ幅を表す量子化テーブルを用いて、量子化を行なう。
【００５６】
エントロピー符号化部２０は、量子化部１９で量子化された周波数成分に対して、情報エントロピーが小さくなるように符号を割り当てる。エントロピー符号化部２０では、シンボルの出現確立に応じて可変長符号を割り当て、出力されるデータの平均符号長を最小にする。エントロピー符号化部２０は、たとえばハフマン符号による符号割り当てを行ない、割り当てた符号を示す符号化テーブルを同時に生成する。
【００５７】
ビットストリーム生成部２１は、量子化部１９で用いられた量子化テーブルおよびエントロピー符号化部２０で用いられた符合化テーブルなどのパラメータを、予め定められる規定にしたがった場所に配置して符号画像データ２２を生成する。予め定められる規定は、符号化方法によって異なる。符号画像データ２２には、画像のサイズおよび量子化テーブルなど、原画像を復号化するために必要な全ての情報が含まれている。
【００５８】
画像符号化装置１２によって出力される符号画像データ２２は、通信回線などを介して蓄積媒体２３に蓄えられた後、取り出されて画像復号化装置１３に入力される。
【００５９】
画像復号化装置１３は、復号化手段２４、データ分離手段２５および色変換手段２６を含む。
【００６０】
復号化手段２４は、上述した画像符号化装置１２によって符号化された符号画像データ２２を復号し、輝度と色差とによって表される復号画像データを生成する。復号化手段２４は、ビットストリーム展開部２７、エントロピー復号化部２８、逆量子化部２９および逆周波数変換部３０を含む。
【００６１】
ビットストリーム展開部２７は、符号画像データ２２を復号化するために必要な量子化テーブルおよび符号化テーブルなどのパラメータを、符号画像データ２２から取り出す。
【００６２】
エントロピー復号化部２８は、エントロピー符号化部２０で生成された符号化テーブルを用いて、ビットストリーム展開部２７から与えられる符号画像データを、量子化された周波数成分に復号化する。
【００６３】
逆量子化部２９は、エントロピー復号化部２８から与えられる量子化された周波数成分を逆量子化する。逆量子化部２９は、ビットストリーム展開部２７で取り出されたパラメータ、ここでは量子化部１９で用いられた量子化テーブルを用いて、周波数成分を復号化する。
【００６４】
逆周波数変換部３０は、逆量子化部２９から与えられる周波数成分を階調値に戻して、復号合成画像データを生成する。逆周波数変換部３０は、たとえば周波数変換部１８でＤＣＴを行なった場合には、逆ＤＣＴを行なう。
【００６５】
データ分離手段２５は、逆周波数変換部３０から与えられる復号画像合成データから、階調値が上限値の画素位置の原画像データ１に階調値が増加する方向に合成されている所定のデータ２を分離する。具体的には、データ分離手段２５は、復号化された原画像データ１と、復号化された所定のデータ２とを分離する。以下、復号化された原画像データ１を復号画像データ３と呼ぶ。上述したように、原画像データ１の階調をＲとすると、原画像データ１の階調値は０からＲ−１までの正の整数値をとる。また復号合成画像データの階調値の上限値はＲ−１であり、下限値は０である。
【００６６】
データ分離手段２５は、判定部３１を含む。判定部３１は、復号画像合成データの各画素位置の階調値が上限値よりも大きいか否かを判定する。判定部３１が、復号合成画像データの画素の階調値が、上限値よりも大きいと判定すると、データ分離手段２５では、この画素位置のデータから所定のデータ２を分離する。
【００６７】
たとえば復号画像が矩形状であり、画素が碁盤目状に並んでいるとすると、判定部３１では、行方向に順番に、この原画像データの画素の階調値が上限値よりも大きな値であるか否かを判定して、１行の判定が終わると、列方向に１列ずれた位置の画素を行方向に順番に判定する。
【００６８】
復号合成画像データの階調値をＧ´とし、復号画像データ３の階調値をＦ´とし、復号化された所定のデータ２の階調値をＤ´とすると、復号画像データ３の階調範囲は０からＲ−１までであり、データ分離手段２５では、以下の式（３），（４）によって復号合成画像データから所定のデータ２および復号画像データ３を分離する。また、復号画像データ３の階調値は、０からＲ−１までの正の整数値となる。
Ｆ´＝Ｇ´（０≦Ｇ´＜Ｒ−１）　　　　　　　　　　　　　…（３）
Ｆ´＝Ｒ−１、Ｄ´＝Ｇ´−（Ｒ−１）　　（Ｇ´≧Ｒ−１）…（４）
【００６９】
復号合成画像データで、階調値０以上Ｒ−１未満の画素位置のデータは、そのまま復号画像データ３の階調値とされ、階調値Ｒ−１以上の画素位置のデータは、階調値Ｒ−１として、復号画像データ３とされる。また、階調値Ｒ−１以上の画素位置のデータから階調値Ｒ−１を減算した値が、復号化された所定のデータ２とされる。
【００７０】
本実施の形態の画像処理装置１０では、復号化手段２４によって非可逆な圧縮を行なうので、Ｆ≒Ｆ´、Ｇ≒Ｇ´およびＤ≒Ｄ´である。復号化手段２４によって復号され、データ分離手段２５によって分離された復号画像データ３は、原画像データ１と正確には一致しないが、人間の目で見てもその違いを判別できない程度となるように、量子化ステップを決定する量子化テーブルを定めている。
【００７１】
図５は、復号合成画像データ５の一例を示す図であり、図６は復号化された所定のデータ２の一例を示す図であり、図７は復号画像データ３の一例を示す図である。同図において、縦軸は階調値であり、横軸は画像１ライン上の画素の位置である。図２〜図４において、画素位置は左端を基準値０として、右に行くほど大きな値をとる正の整数値によって表される。復号合成画像データ５の画素位置Ｘ３の階調値は（Ｒ−１）＋Ｄ１´であり、画素位置（Ｘ１＋Ｘ３）の階調値は（Ｒ−１）＋Ｄ２´であり、画素位置Ｘ３から画素位置（Ｘ１＋Ｘ３）までの階調値はＲ−１よりも大きい。
【００７２】
データ分離手段２５では、図５のように示される復号合成画像データ５の階調値がＲ−１よりも大きな画素位置Ｘ３から画素位置Ｘ１＋Ｘ３までの階調値から、Ｒ−１を減算することによって、図６のように示される復号化された所定のデータ２を分離し、画素位置Ｘ３から右の画素の階調値をＲ−１とすることによって、図７のように示される復号画像データ３を分離することができる。復号化された所定のデータ２の画素位置０の階調値はＤ１´であり、画素位置Ｘ１の階調値はＤ２´であり、画素位置Ｘ２の階調値はＤ３´である。
【００７３】
所定データ２は、原画像データ１に合成された後、周波数変換され、量子化されるので、所定データ２と復号化された所定データ２とは、完全には一致しないので、所定のデータ２を電子透かしとして利用する場合には、注意する必要がある。しかしながら、所定のデータ２は符号化された符号画像データ２２を復号化した後でないと、取り出すことができないので、符号化された画像データのヘッダなどに付与する場合に比べて、所定のデータ２を取り出すことが困難であり、これによって不正なコピーを抑制することができる。
【００７４】
色変換手段２６は、復号画像データの輝度と色差によって表されている色空間を表示デバイスの色空間に変換する。これによって標示デバイスに画像を表示させることができる。たとえば、表示デバイスがディスプレイである場合はＲＧＢ、プリンタである場合はシアン（Ｃ），マゼンタ（Ｍ），イエロー（Ｙ），ブラック（Ｋ）から成るＣＭＹＫなどが用いられる。
【００７５】
上述したように原画像データ１の階調をＲとすると、階調値は０からＲ−１までの正の整数値になる。一般的に階調値は８ビットの値である２５６が用いられることが多く、本実施の形態でも階調値を２５６にしている。ＪＰＥＧおよびＪＰＥＧ２０００などの非可逆の符号化では、周波数変換と量子化とで誤差が発生するので、画像を復号したときに、階調値が階調の範囲外に出ることがある。つまり、階調値が０よりも小さな値である負の値、あるいは階調値がＲ−１よりも大きな値となる場合がある。
【００７６】
画像データをディスプレイなどの表示手段に表示させる場合には、画像データの階調値が階調範囲に収まっていなければならないため、復号側では逆変換で周波数成分を階調値に戻したあと、階調範囲を超えた分を切り捨てている。具体的には階調が８ビットの場合は、マイナスの階調値を０に、２５６以上の階調値を２５５にすることによって、最終的な画像の階調を８ビットに収めている。この処理はクリッピングと呼ばれる。
【００７７】
図８は、前記クリッピングを行なうクリッピング手段３５が設けられる画像復号化装置３６を示すブロック図である。図８に示す画像復号化装置３６において、上述した図１に示す画像処理装置１０の画像復号化装置１３と同様な構成には同一の符号を付してその説明を省略する。
【００７８】
図９（１），（２），（３）は、白を下地とする原画像に階段状のエッジがあったときに、その周りにノイズが発生し、このノイズのうち、復号画像データの階調値がＲ以上になったものがＲ−１にクリッピングされる様子を示している。このようなクリッピング処理によって、最終的には、ノイズのうち画素値がＲ−１以下になったものだけが見える。また、符号化前に下地の画素値で階調の範囲外に出たものについては、下地をシフトする階調幅が符号化によって発生するノイズの階調幅よりも大きければ、図９（３）に示されるように、クリッピングによってほとんどのノイズが消えてしまう。
【００７９】
クリッピング手段３５は、階調値Ｒ−１よりも大きな値をクリッピングすることによって、復号合成画像データから復号画像データ３を表示手段で表示させることができる。したがって、このような画像復号化装置３６においても、上述した画像符号化装置１２で符号化した符号画像データ２２を復号化して表示手段に復号画像を表示させることができる。
【００８０】
本実施の形態の画像処理装置１０では、変換符号化においては、画素の階調値が復号時に階調範囲を越える場合があることを積極的に利用し、符号化前に階調範囲を超えたところに、所定のデータ２を合成している。図８に示した画像復号化装置３６では、階調範囲を越える画素の階調値は、クリッピング手段３５によって消えてしまうが、図１に示した画像復号化装置１３では、復号合成画像データ５の階調範囲を越えた部分を所定データ２として分離する。したがって、原画像データ１に合成された所定のデータ２を取り出すことができ、たとえば電子透かしとして用いる場合には、原画像データ１に合成される著作者を表す所定のデータ２などを確認することができる。
【００８１】
また画像処理装置１０では、所定のデータ２は、原画像データ１の階調の範囲外に合成されるので、この所定のデータ２が合成された合成画像データの上限値Ｒ−１から下限値０の間に階調値を有するデータは、原画像データ１だけである。したがって、所定のデータ２が合成された合成画像データをディスプレイなどの表示手段などによって可視化する場合には、階調値が上限値Ｒ−１から下限値０の間の画像データだけが可視化されるので、可視化された合成画像は原画像データ１を可視化させた場合と同じとなり、画質はまったく劣化することがない。また原画像データ１の階調の範囲外に所定のデータ２が合成されるので、この所定のデータ２を利用者が知覚することがない。所定のデータを利用者が知覚することが無いので、利用者にとって所定のデータの取り出しは困難であり、所定のデータが不正に削除されて原画像データが不正にコピーされることを防止することができる。したがって、電子透かしとして有効に利用することができる。
【００８２】
本発明の実施の他の形態では、色変換手段１４と、データ合成手段１５との間にサブサンプリング部を設け、かつデータ分離手段２５と、色変換手段２６との間にアップサンプリング部を設ける構成としてもよい。サブサンプリング部は、輝度の解像度はそのままで、色差の解像度を落とす。サンプリングには、画像の縦横ともサンプリングして、輝度４画素に対して色差１画素を対応させる方法、または横だけサンプリングして、輝度２画素に色差１画素を対応させる方法が採用される。サンプリングには、間引きだけの代わりに、平均を用いてもよい。アップサンプリング部は、色差の改造度を元の解像度、つまり輝度と同じ解像度に戻す。アップサンプリングの方法は、輝度４画素に色差２画素が対応している場合、色差画素４箇所に同じ画素をコピーする方法、および補間を行なう方法などが採用される。
【００８３】
このように、サブサンプリング部およびアップサンプリング部を設けることによって、合成画像データを符号化した符号画像データ２２のデータ量をよりも小さくすることができる。
【００８４】
本発明の実施のさらに他の形態では、原画像データ１を色変換しないで扱い、原画像データ１の赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分のうち少なくともいずれか１つの成分に所定のデータ２をデータ合成手段１５が合成する構成としてもよい。
【００８５】
本発明の実施のさらに他の形態の画像処理装置は、上述した図１に示される画像処理装置１０と構成は同じであり、データ合成手段１５およびデータ分離手段２５の処理だけが異なる。上述した実施の形態と対応する部分には同一の符号を付す。本実施の形態のデータ合成手段１５では、階調値が下限値の画素位置の原画像データ１に所定のデータ２を階調値が減少する方向、すなわち原画像データ１の階調値の下限値よりも小さな階調値となるように合成して合成画像データを生成し、データ分離手段２５では、復号合成画像データから階調値が下限値の画素位置の原画像データ１に階調値が減少する方向に合成されている所定のデータ２を分離する。
【００８６】
データ合成手段１５の判定部１７は、原画像データ１の各画素位置の階調値が、下限値であるか否かを判定する。判定部１７が、原画像データ１の画素の階調値が下限値の０であると判定すると、データ合成手段１５は、この画素位置の画像データ１に所定のデータ２を合成する。
【００８７】
原画像データ１の階調をＲとし、階調値をＦとし、所定のデータ２の階調値をＤとし、データ合成手段１５が原画像データ１に所定のデータ２を合成することによって生成される合成画像データの階調値をＧとすると、原画像データ１の階調範囲は０からＲ−１までであり、データ合成手段１５は、以下の式（５），（６）によって合成画像データを生成する。階調Ｒは、たとえば８ビットであるＲ＝２５６が用いられる。原画像データ１の階調値は、０からＲ−１までの正の整数値をとる。
Ｇ＝−Ｄ　　　　（Ｆ＝０）　　　　　　　　　　　　　　　…（５）
Ｇ＝Ｆ　　　　　（０＜Ｆ≦Ｒ−１）　　　　　　　　　　　…（６）
【００８８】
原画像データ１で、階調値０の画素位置のデータには、所定のデータ２が減算されて合成画像データとされ、階調値０よりも大きくＲ−１以下の画素位置の原画像データ１は、そのまま合成画像データとされる。
【００８９】
図１０は、原画像データ１の一例を示す図であり、図１１は原画像データ１に、図２に示す所定のデータ２が合成されて生成される合成画像データ４の一例を示す図である。同図において、縦軸は階調値であり、横軸は画像１ライン上の画素の位置である。図１０および図１１において、画素位置は左端を基準値０として、右に行くほど大きな値をとる正の整数値によって表される。原画像データ１の画素位置Ｘ５から左の階調値は０よりも大きくＲ−１以下であり、画素位置Ｘ５よりも右の階調値は０である。
【００９０】
データ合成手段１５は、図１０のように示される原画像データ１の階調値が０の画素位置Ｘ５から画素位置Ｘ２＋Ｘ５までの各画素の階調値から、図３のように示される所定のデータ２の階調値を減算して、図１１のように示される合成画像データ４を生成する。合成画像データ４の画素位置Ｘ５の階調値は−Ｄ１となり、画素位置Ｘ１＋Ｘ５の階調値は、−Ｄ２となり、画素位置Ｘ２＋Ｘ５の階調値は−Ｄ１となる。
【００９１】
データ分離手段２５の判定部３１は、復号画像合成データの各画素位置の階調値が下限値よりも小さいか否かを判定する。判定部３１が、復号合成画像データの画素の階調値が、下限値である０よりも小さいと判定すると、データ分離手段２５では、この画素位置のデータから所定のデータ２を分離する。
【００９２】
復号合成画像データの階調値をＧ´とし、復号画像データ３の階調値をＦ´とし、復号化された所定のデータ２の階調値をＤ´とすると、復号画像データの階調範囲は０からＲ−１までであり、データ分離手段２５では、以下の式（７），（８）によって復号合成画像データから所定のデータと復号画像データとを分離する。復号画像データ３の階調値は、０からＲ−１までの正の整数値となる。
Ｆ´＝０、Ｄ´＝−Ｇ´　　（Ｇ´≦０）　　　　　　　　　…（７）
Ｆ´＝Ｇ´　　　　　　　　（０＜Ｇ´≦Ｒ−１）　　　　　…（８）
【００９３】
復号合成画像データで、階調値が０以下の画素位置のデータは、復号化された所定のデータ２とされる。また復号合成画像データで、階調値が０以下の画素位置のデータは、復号画像データでは階調値０とされ、階調値が０よりも大きくＲ−１以下の画素位置のデータは、そのまま復号画像データ３の階調値とされる。
【００９４】
図１２は、復号合成画像データ５の一例を示す図であり、図１３は復号画像データ３の一例を示す図である。同図において、縦軸は階調値であり、横軸は画像１ライン上の画素の位置である。図１２および図１３において、画素位置は左端を基準値０として、右に行くほど大きな値をとる正の整数値によって表される。復号合成画像データ５の画素位置Ｘ５よりも左の階調値は０よりも大きく、画素位置Ｘ４から画素位置Ｘ２＋Ｘ５までの階調値は０よりも小さい。
【００９５】
データ分離手段２５では、図１２のように示される復号合成画像データ５の階調値が０よりも小さな値、つまり負の値の画素位置Ｘ５から画素位置Ｘ２＋Ｘ５までの階調値の符号を変えて、図６のように示される所定のデータ２を分離し、画素位置Ｘ５から右の画素の階調値を０とすることによって、図１３のように示される復号画像データ３を分離することができる。
【００９６】
本発明の実施のさらに他の形態の画像処理装置は、上述した図１に示される画像処理装置１０と構成は同じであり、データ合成手段１５およびデータ分離手段２５の処理だけが異なる。上述した実施の形態と対応する部分には同一の符号を付す。本実施の形態のデータ合成手段１５では、階調値が上限値の画素位置の原画像データ１に所定のデータ２の一部を階調値が増加する方向、すなわち原画像データ１の階調値の上限値よりも小さな階調値となるように合成し、かつ階調値が下限値の画素位置の原画像データ１に所定のデータ２の残部を階調値が減少する方向、すなわち原画像データ１の階調値の下限値よりも小さな階調値となるように合成して合成画像データを生成し、データ分離手段２５において、復号合成画像データから階調値が上限値の画素位置の原画像データに階調値が増加する方向に合成されている所定のデータ２の一部を分離し、復号合成画像データから階調値が下限値の画素位置の原画像データ１に階調値が減少する方向に合成されている所定のデータ２の残部を分離する。
【００９７】
データ合成手段１５の判定部１７は、原画像データ１の各画素位置の階調値が、上限値または下限値であるか否かを判定する。判定部１７が、原画像データ１の画素の階調値が上限値のＲ−１または下限値の０であると判定すると、データ合成手段１５は、この画素位置の画像データ１に所定のデータ２を合成する。
【００９８】
原画像データ１の階調をＲとし、階調値をＦとし、所定のデータ２の階調値をＤとし、データ合成手段１５が原画像データ１に所定のデータ２を合成することによって生成される合成画像データの階調値をＧとすると、原画像データ１の階調範囲は０からＲ−１までであり、データ合成手段１５は、以下の式（９），（１０），（１１）によって合成画像データを生成する。階調Ｒは、たとえば８ビットであるＲ＝２５６が用いられる。原画像データの階調値は、０からＲ−１までの正の整数値をとる。
Ｇ＝−Ｄ　　　　　（Ｆ＝０）　　　　　　　　　　　　　　…（９）
Ｇ＝Ｆ　　　　　　（０＜Ｆ＜Ｒ−１）　　　　　　　　　　…（１０）
Ｇ＝Ｆ＋Ｄ　　　　（Ｆ＝Ｒ−１）　　　　　　　　　　　　…（１１）
【００９９】
原画像データ１で、階調値０以上Ｒ−１未満の画素位置のデータは、そのまま合成画像データとされ、階調値の上限値である階調値Ｒ−１の画素位置のデータは、所定のデータ２の一部が加算されて合成画像データとされる。
【０１００】
また原画像データ１で、階調値０の画素位置のデータには、所定のデータ２の一部が減算されて合成画像データとされ、階調値０よりも大きくＲ−１以下の画素位置のデータは、そのまま合成画像データとされる。
【０１０１】
図１４は、原画像データ１の一例を示す図であり、図１５は原画像データ１に、図２に示す所定のデータ２が合成されて生成される合成画像データ４の一例を示す図である。同図において、縦軸は階調値であり、横軸は画像１ライン上の画素の位置である。図１４および図１５において、画素位置は左端を基準値０として、右に行くほど大きな値をとる正の整数値によって表される。原画像データ１の画素位置Ｘ６よりも左の階調値は０よりも大きくＲ−１以下であり、画素位置Ｘ６から画素位置Ｘ７までの階調値はＲ−１であり、画素位置Ｘ７よりも右であって、画素位置Ｘ８よりも左の階調値は０よりも大きくＲ−１以下であり、画素位置Ｘ８から左の階調値は０である。
【０１０２】
データ合成手段１５は、図１４のように示される原画像データ１の階調値がＲ−１の階調値Ｘ６から画素位置Ｘ７までの各画素の階調値に、図３のように示される所定のデータ２の一部を加算し、原画像データ１の階調値が０の画素位置Ｘ８から右の各画素から図３のように示される所定のデータ２の残部を減算して、図１１のように示される合成画像データを生成する。ここでは、（Ｘ７−Ｘ６）＞Ｘ１であり、合成画像データ４の画素位置Ｘ６の階調値は、（Ｒ−１）＋Ｄ１となり、画素位置Ｘ７の階調値は（Ｒ−１）＋Ｄ２となり、画素位置Ｘ８の階調値は−Ｄ２となり、画素位置Ｘ９＝｛Ｘ８＋（Ｘ７−Ｘ６）−Ｘ２｝の階調値は−Ｄ１となる。
【０１０３】
データ分離手段２５の判定部３１は、復号画像合成データの各画素位置の階調値が上限値よりも大きいか、および下限値よりも小さいか否かを判定する。判定部３１が、復号合成画像データの画素の階調値が、上限値であるＲ−１よりも大きい、または下限値である０よりも小さいと判定すると、データ分離手段２５では、この画素位置のデータから所定のデータ２を分離する。
【０１０４】
復号合成画像データの階調値をＧ´とし、復号画像データ３の階調値をＦ´とし、復号化された所定のデータ２の階調値をＤ´とすると、復号画像データ３の階調範囲は０からＲ−１までであり、データ分離手段２５では、以下の式（１２），（１３），（１４）によって複合画像合成データから所定のデータ２と復号画像データ３とを分離する。復号画像データ３の階調値は、０からＲ−１までの正の整数値となる。
Ｆ´＝０、Ｄ´＝−Ｇ´　　　　（Ｇ´≦０）　　　　　　　…（１２）
Ｆ´＝Ｇ´　　　　　　　　　　（０＜Ｇ´＜Ｒ−１）　　　…（１３）
Ｆ´＝Ｒ−１、Ｄ´＝Ｇ´−（Ｒ−１）　　（Ｇ´≧Ｒ−１）…（１４）
【０１０５】
復号合成画像データで、階調値０以上Ｒ−１未満の画素位置の階調値は、そのまま復号画像データ３の階調値とされ、階調値Ｒ−１以上の画素位置の階調値はＲ−１とされて、復号画像データ３の階調値とされる。また、階調値Ｒ−１以上の画素位置のデータから階調値Ｒ−１を減算した値が、復号化された所定のデータ２の一部とされる。
【０１０６】
また復号合成画像データで、階調値が０以下の画素位置の階調値は、復号化された所定のデータ２の階調値とされる。また復号合成画像データで、階調値が０以下の画素位置のデータは、復号画像データでは階調値０とされ、階調値が０よりも大きくＲ−１以下の画素位置の階調値は、そのまま復号画像データ３の階調値とされる。
【０１０７】
図１６は、復号合成画像データ５の一例を示す図であり、図１７は復号画像データ３を示す図である。同図において、縦軸は階調値であり、横軸は画像１ライン上の画素の位置である。図１６および図１７において、画素位置は左端を基準値０として、右に行くほど大きな値をとる正の整数値によって表される。復号合成画像データ５の画素位置Ｘ６よりも左の階調値は０よりも大きくＲ−１よりも小さく、画素位置Ｘ６から画素位置Ｘ７までの階調値はＲ−１よりも大きく、画素位置Ｘ７よりも右で画素位置Ｘ８よりも左の階調値は０よりも大きくＲ−１よりも小さく、画素位置Ｘ８から画素位置Ｘ９までの階調値は０よりも小さい。
【０１０８】
データ分離手段２５は、図１６のように示される復号画像データ３の階調値がＲ−１よりも大きな値の画素位置Ｘ６から画素位置Ｘ７までの階調値から、Ｒ−１を減算することによって、図６のように示される所定のデータ２の一部を分離し、復号画像データ３の階調値が０よりも小さな値の画素位置Ｘ８から画素位置Ｘ９までの階調値の符号を変えて、図６のように示される所定のデータ２の残部を分離する。また、データ分離手段２５は、図１６のように示される復号画像データ３の階調値がＲ−１よりも大きな値の画素位置Ｘ６から画素位置Ｘ７までの階調値をＲ−１とし、復号画像データ３の階調値が０よりも小さな値の画素位置Ｘ８から画素位置Ｘ９までの階調値を０とすることによって、図１７に示される復号画像データ３を分離することができる。
【０１０９】
このように、階調値が上限値の原画像データ１に、階調値が増加する方向に所定のデータ２の一部を合成し、階調値が下限値の原画像データ１に、階調値が減少する方向に所定のデータ２の残部を合成することによって、階調値が上限値の原画像データ１だけに、階調値が増加する方向に所定のデータ２を合成する場合および階調値が下限値の原画像データ１だけに、階調値が減少する方向に所定のデータ２を合成する場合と比較して、合成画像データの全体の階調を小さくして、少ないビット数でよりも多くのデータを埋め込むことができる。
【０１１０】
上述した画像符号化装置１２によって生成された符号画像データ２２は、ＪＰＥＧおよびＪＰＥＧ２０００で規定されているフォーマットに準拠しているので、既存のＪＰＥＧおよびＪＰＥＧ２０００を復号化する復号器でも、復号することができるので、所定のデータ２が埋め込まれた画像データであっても、所定のデータが埋め込まれていない画像データと同様に取り扱うことができる。
【０１１１】
本発明の実施の形態では、原画像データは静止画像データおよび動画像データのいずれであってもよい。動画像データの場合、たとえばＭＰＥＧ（Ｍｏｔｉｏｎ
Ｐｉｃｔｕｒｅ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）では、所定のデータが埋め込まれる原画像データを、１画面の画像データであるＩピクチャとする。
【０１１２】
また符号化手段１６での符号化には、動画、静止画に拘らず、自然画像の符号化に広く使われている標準画像符号化方式を採用することができるので、実装が容易であり、各種アプリケーションプログラムに搭載することができる。
【０１１３】
本発明は、ＷＷＷブラウザ、カラーファクシミリ、ディスプレイ付き携帯電話などに搭載される静止画および動画を扱うアプリケーションプログラムに好適に実施することができる。
【０１１４】
【発明の効果】
以上のように本発明によれば、所定のデータは、原画像データの階調の範囲外に合成されるので、この所定のデータが合成された合成画像データの階調値が上限値から下限値の間のデータは、原画像データだけである。したがって、所定のデータが合成された合成画像データを表示手段などによって可視化する場合には、階調値が上限値から下限値の間の画像データだけが可視化されるので、可視化された合成画像は、原画像データを可視化させた場合と同じとなり、画質はまったく劣化することがない。また原画像データの階調の範囲外に所定のデータが合成されるので、この所定のデータを利用者が知覚することがない。
【０１１５】
しがたって、利用者に知覚されないように所定のデータを原画像データに埋め込むことができ、かつ所定のデータを埋め込んだとしても表示手段に表示される画像の画質を劣化させることがないので、所定のデータを電子透かしとして有効に利用することができる。また所定のデータを利用者が知覚することが無いので、利用者にとって所定のデータの取り出しは困難であり、所定のデータが不正に削除されて原画像データが不正にコピーされることを防止することができる。
【０１１６】
また、符号化手段によって符号化された合成画像データ自体に所定のデータが埋め込まれているので、符号化された合成画像データを復号化するまでは所定のデータを原画像データから分離することができない。したがって、符号化した状態で、所定のデータを分離することが困難であり、所定のデータが不正に削除されることを防止できる。
【０１１７】
また本発明によれば、データ復号化手段によって、階調範囲外に所定のデータ、たとえば画像データ、音楽データおよび文字データなどの所定のデータを合成して生成される合成画像データが符号化された符号合成画像データを復号する。原画像データの階調がＲ（Ｒは２以上の正の整数）である場合、原画像データの各画素の階調値は、下限値の０から上限値のＲ−１までの正の整数値のいずれか１つで表される。
【０１１８】
データ分離手段は、復号合成画像データから、階調範囲外に合成されている所定のデータを分離するので、たとえば電子透かしとして原画像データに合成された所定のデータが合成されている場合には、原画像データの著作者を表す所定のデータなどを原画像データとは別に取り出して容易に確認することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の画像処理装置１０の構成を示すブロック図である。
【図２】所定のデータ２の一例を示す図である。
【図３】原画像データ１の一例を示す図である。
【図４】合成画像データ４の一例を示す図である。
【図５】復号合成画像データ５の一例を示す図である。
【図６】復号化された所定のデータ２の一例を示す図である。
【図７】復号画像データ３の一例を示す図ある。
【図８】クリッピング手段３５が設けられる画像復号化装置３６を示すブロック図である。
【図９】白を下地とする原画像に階段状のエッジがあったときに、その周りにノイズが発生し、このノイズのうち、復号画像データの階調値がＲ以上になったものがＲ−１にクリッピングされる様子を示している。
【図１０】原画像データ１の一例を示す図である。
【図１１】原画像データ１に、所定のデータ２が合成されて生成される合成画像データ４の一例を示す図である。
【図１２】復号合成画像データ５の一例を示す図である。
【図１３】復号画像データ３の一例を示す図である。
【図１４】原画像データ１の一例を示す図である。
【図１５】原画像データ１に、所定のデータ２が合成されて生成される合成画像データ４の一例を示す図である。
【図１６】復号合成画像データ５の一例を示す図である。
【図１７】復号画像データ３の一例を示す図である。
【符号の説明】
１　原画像データ
２　所定のデータ
１０　画像処理装置
１５　データ合成手段
１６　符号化手段
２２　符号画像データ
２４　復号化手段
２５　データ分離手段
【図１】
2004120122.tif 000003
【図２】
2004120122.tif 000004
【図３】
2004120122.tif 000005
【図４】
2004120122.tif 000006
【図５】
2004120122.tif 000007
【図６】
2004120122.tif 000008
【図７】
2004120122.tif 000009
【図８】
2004120122.tif 000010
【図９】
2004120122.tif 000011
【図１０】
2004120122.tif 000012
【図１１】
2004120122.tif 000013
【図１２】
2004120122.tif 000014
【図１３】
2004120122.tif 000015
【図１４】
2004120122.tif 000016
【図１５】
2004120122.tif 000017
【図１６】
2004120122.tif 000018
【図１７】
2004120122.tif 000019