(57)【特許請求の範囲】
【請求項１】
主画像データに付加データを埋め込むことにより、付加データの埋め込まれた主画像データとし、前記付加データの埋め込まれた主画像データを符号化する画像データ処理方法であって、
前記付加データを、前記主画像データの本来の表示範囲から外れた飽和処理されるべき値として前記主画像データに埋め込む付加データ埋め込みステップと、
前記付加データの埋め込まれた主画像データを符号化して、符号化データとして出力する符号化データ出力ステップと、
を有し、
前記付加データ埋め込みステップは、前記付加データを前記本来の表示範囲の最大値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最大値に加えた値とし、前記付加データの値を前記本来の表示範囲の最小値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最小値から引いた値とすることを特徴とする画像データ処理方法。
【請求項２】
請求項１に記載の画像データ処理方法によって符号化された符号化データを復号化する画像データ処理方法であって、
前記符号化データを復号化して復号化データとする復号化ステップと、
前記復号化データの値の大きさを判定し、前記復号化データの値が前記本来の表示範囲内の値である場合には、通常の画像データ処理を行い、前記復号化データの値が前記本来の表示範囲を外れた値である場合には、前記復号化データから付加データを再生する付加データ再生ステップと、
を有し、
前記付加データ再生ステップは、前記本来の表示範囲を外れた場合における付加データの再生処理として、前記復号化データの値が正か負かを判定し、前記復号化データの値が正である場合には、前記復号化データの値から前記本来の表示範囲の最大値を引いた値を付加データとして抽出し、前記復号化データの値が負である場合には、前記本来の表示範囲の最小値から前記復号化データの値を引いた値を付加データとして抽出することを特徴とする画像データ処理方法。
【請求項３】
前記付加データ再生ステップは、抽出された前記付加データの値と前記付加データの埋め込み位置とを記憶するステップをさらに有することを特徴とする請求項２に記載の画像データ処理方法。
【請求項４】
前記本来の表示範囲の最大値は、当該最大値に演算誤差を考慮した値を加えた値とし、前記本来の表示範囲の最小値は、当該最小値に演算誤差を考慮した値を引いた値とすることを特徴とする請求項１〜３のいずれかに記載の画像データ処理方法。
【請求項５】
主画像データに付加データを埋め込むことにより、付加データの埋め込まれた主画像データとし、前記付加データの埋め込まれた主画像データを符号化する画像データ処理装置であって、
前記付加データを、前記主画像データの本来の表示範囲から外れた飽和処理されるべき値として前記主画像データに埋め込む付加データ埋め込み部と、
前記付加データの埋め込まれた主画像データを符号化して、符号化データとして出力する符号化部と、
を有し、
前記付加データ埋め込み部は、前記付加データを前記本来の表示範囲の最大値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最大値に加えた値とし、前記付加データの値を前記本来の表示範囲の最小値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最小値から引いた値とすることを特徴とする画像データ処理装置。
【請求項６】
請求項５に記載の画像データ処理装置によって符号化された符号化データを復号化する画像データ処理装置であって、
前記符号化データを復号化して復号化データとする復号化部と、
前記復号化データの値の大きさを判定し、前記復号化データの値が前記本来の表示範囲内の値である場合には、通常の画像データ処理を行い、前記復号化データの値が前記本来の表示範囲を外れた値である場合には、前記復号化データから付加データを再生する付加データ再生部と、
を有し、
前記付加データ再生部は、前記本来の表示範囲を外れた場合における付加データの再生処理として、前記復号化データの値が正か負かを判定し、前記復号化データの値が正である場合には、前記復号化データの値から前記本来の表示範囲の最大値を引いた値を付加データとして抽出し、前記復号化データの値が負である場合には、前記本来の表示範囲の最小値から前記復号化データの値を引いた値を付加データとして抽出することを特徴とする画像データ処理装置。
【請求項７】
前記付加データ再生部は、抽出された前記付加データの値と前記付加データの埋め込み位置とを記憶する処理をさらに行うことを特徴とする請求項６に記載の画像データ処理装置。
【請求項８】
前記本来の表示範囲の最大値は、当該最大値に演算誤差を考慮した値を加えた値とし、前記本来の表示範囲の最小値は、当該最小値に演算誤差を考慮した値を引いた値とすることを特徴とする請求項５〜７のいずれかに記載の画像データ処理装置。
【請求項９】
主画像データに付加データを埋め込むことにより、付加データの埋め込まれた主画像データとし、前記付加データの埋め込まれた主画像データを符号化する画像データ処理プログラムであって、
前記付加データを、前記主画像データの本来の表示範囲から外れた飽和処理されるべき値として前記主画像データに埋め込む付加データ埋め込みステップと、
前記付加データの埋め込まれた主画像データを符号化して、符号化データとして出力する符号化データ出力ステップと、
を有し、
前記付加データ埋め込みステップは、前記付加データを前記本来の表示範囲の最大値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最大値に加えた値とし、前記付加データの値を前記本来の表示範囲の最小値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最小値から引いた値とすることを特徴とする画像データ処理画像データ処理プログラム。
【請求項１０】
請求項９に記載の画像データ処理プログラムによって符号化された符号化データを復号化する画像データ処理プログラムであって、
前記符号化データを復号化して復号化データとする復号化ステップと、
前記復号化データの値の大きさを判定し、前記復号化データの値が前記本来の表示範囲内の値である場合には、通常の画像データ処理を行い、前記復号化データの値が前記本来の表示範囲を外れた値である場合には、前記復号化データから付加データを再生する付加データ再生ステップと、
を有し、
前記付加データ再生ステップは、前記本来の表示範囲を外れた場合における付加データの再生処理として、前記復号化データの値が正か負かを判定し、前記復号化データの値が正である場合には、前記復号化データの値から前記本来の表示範囲の最大値を引いた値を付加データとして抽出し、前記復号化データの値が負である場合には、前記本来の表示範囲の最小値から前記復号化データの値を引いた値を付加データとして抽出することを特徴とする画像データ処理プログラム。
【請求項１１】
前記付加データ再生ステップは、抽出された前記付加データの値と前記付加データの埋め込み位置とを記憶するステップをさらに有することを特徴とする請求項１０に記載の画像データ処理プログラム。
【請求項１２】
前記本来の表示範囲の最大値は、当該最大値に演算誤差を考慮した値を加えた値とし、前記本来の表示範囲の最小値は、当該最小値に演算誤差を考慮した値を引いた値とすることを特徴とする請求項９〜１１のいずれかに記載の画像データ処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像データの中にその画像データに見かけ上、何等影響を与えないように他のデータを埋め込むことを可能とした画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラムに関する。
【０００２】
【従来の技術】
画像データ（主画像データという）に対応するデータとして、たとえば、その画像データを説明するための文字データや音（音声や音楽などを含む）データ、プログラムデータ、他の画像データ、あるいは著作権情報など（これらを付加データと呼ぶことにする）を主画像データに付加的に埋め込んで、その主画像データを再生しているときに、必要に応じて、これら付加データを再生できるようにすることが従来より一般的に行われている。
【０００３】
たとえば、図１２に示すように、動物の画像が再生されている画面上で、「いぬ」と欠かれた部分（矢印Ａで示す）をマウスなどでクリックすると、犬についての百科事典的な説明が文字データでなされたり、その鳴き声などが音声として出力されたりといったことが可能となる。
【０００４】
このように、主画像データに付加データを埋め込む手法としては、従来、主画像データを復元したときに、その主画像データに影響を与えないようにするために、付加データを主画像データとは別の領域に書き込むのが一般的である。
【０００５】
図１７は、従来の手法によるデータ構造（復号化データとする）を示すもので、復号化する際の様々な制御情報が書き込まれた制御データ領域Ｄ１、付加データが書き込まれた付加データ領域Ｄ２、主画像データが書き込まれた主画像データ領域Ｄ３、データ終了を示す制御情報が書き込まれた制御データ領域Ｄ４などから構成されている。
【０００６】
たとえば、前述した図１２の例であれば、幾つかの動物の画像に対する画像データは主画像データ領域Ｄ３に書き込まれ、これらそれぞれの動物に対する説明内容の文字データあるいは音声データなどの付加データは付加データ領域Ｄ２に書き込まれている。
【０００７】
【発明が解決しようとする課題】
このように従来では、付加データを主画像データとは別の領域に埋め込むのが普通である。しかし、この手法では、たとえ、主画像データ領域Ｄ３に複数種類の主画像データが存在する場合でも、その複数種類の画像データ全体に対して付加データが与えらるデータ構造であり、しかも、個々の主画像データとそれに対応する付加データとの位置関係についての情報は持たないのが普通である。
【０００８】
したがって、たとえば、図１２の例で、それぞれの動物（この図では４種類の動物）の画像データをたとえば、図１４に示すように、３つのグループＧ１，Ｇ２，Ｇ３に切り分けるような編集作業を行ったりすると、主画像データと付加データとの対応関係の判断がむずかしくなる問題がある。
【０００９】
勿論、位置関係についての情報を別に持つことも可能ではあるが、その場合でも、上述したような編集作業を行ったりすると、主画像データと付加データとの対応関係をどのように対応付けるかなどの複雑な処理が必要となってくる。
【００１０】
また、主画像データに対する付加データを、決められた仕様で定義された別データとして処理する方法として、たとえば、ＪＦＩＦやＥｘｉｆなどと呼ばれている画像データ処理方法がある。
【００１１】
これらも、図１７で示したように、主画像データに対し付加データを別領域として埋め込むものであり、上述したと同様、主画像データに対する位置関係については何も情報を持たないので、この場合も、複数種類の画像データを別々に切り分けたような編集作業を行ったりすると、主画像データと付加データとの対応関係が崩れてしまう問題がある。
【００１２】
また、これらの主画像データに対し付加データを別領域に書き込む手法は、付加データの抽出処理が容易に行えることができる利点があるが、それは、データの改変や削除なども容易であることを意味している。したがって、たとえば、著作権情報などが付加データとして埋め込まれている場合には、著作権情報を簡単に改変したりすることも容易となり、著作権上の問題を引き起こすといったリスクを背負うことになる。
【００１３】
そこで本発明は、これらの問題点を解決するために、主画像データに付加データを埋め込む際、主画像データそのものに付加データを埋め込むことにより、主画像データと付加データの位置関係の対応をとりやすくすることができ、しかも、見かけ上は標準的な符号化したデータと何等変わらないので、従来の標準的な画像復号化ソフトウエアによっても、画像そのものの復号化は従来通り可能となり、汎用性に優れた画像データ処理を可能とすることを目的としている。
【００１４】
【課題を解決するための手段】
上述した目的を達成するために、本発明の画像データ処理方法は、ある主画像データに何らかの付加データを付加し、これら主画像データと付加データを符号化側でそれぞれ符号化して、その符号化された符号化データを復号化側で復号化する画像データ処理方法において、前記符号化側が行う処理として、主画像データに付加すべき付加データを前記本来の表示範囲から外れた飽和処理すべき値として当該主画像データに埋め込み、その主画像データと埋め込まれた付加データを符号化して、見かけ上は前記主画像データを符号化した符号化データとして出力するようにしている。
【００１５】
また、本発明の画像データ処理装置は、ある主画像データに何らかの付加データを付加し、これら主画像データと付加データを符号化側でそれぞれ符号化して、その符号化された符号化データを復号化側で復号化する画像データ処理装置において、前記主画像データに付加すべき付加データを前記本来の表示範囲から外れた飽和処理すべき値として当該主画像データに埋め込む付加データ埋め込み部と、その主画像データおよび埋め込まれた付加データを符号化して、見かけ上は前記主画像データを符号化した符号化データとして出力する符号化部とを前記符号化側に有する構成としている。
【００１６】
また、本発明の画像データ処理プログラムを記録した記録媒体は、ある主画像データに何らかの付加データを付加し、これら主画像データと付加データを符号化側でそれぞれ符号化して、その符号化された符号化データを復号化側で復号化する画像データ処理プログラムを記録した記録媒体であって、その画像データ処理プログラムは、前記符号化側が行う処理として、主画像データに付加すべき付加データを前記本来の表示範囲から外れた飽和処理すべき値として当該主画像データに埋め込む手順と、その主画像データおよび埋め込まれた付加データを符号化して、見かけ上は前記主画像データを符号化した符号化データとして出力する手順とを含むものである。
【００１７】
これら各発明において、前記付加データを前記本来の表示範囲から外れた値として主画像データに埋め込む処理は、その付加データを前記本来の表示範囲の最大値に埋め込む場合は、その付加データの値を前記本来の表示範囲の最大値に加えた値とし、前記付加データを前記本来の表示範囲の最小値に埋め込む場合は、その付加データの値を前記本来の表示範囲の最小値から引いた値とする処理を行う。
【００１８】
また、前記符号化データを復号化する復号化側の処理として、前記符号化側からの符号化データを復号化処理し、その復号化された復号化データに対し、その値の大きさを判定し、その値が本来の表示範囲内の値である場合には、通常の画像データ処理を行い、本来の表示範囲を外れた値である場合には、それを付加データとして抽出する処理を行う。なお、画像データ処理装置の復号化側の構成要素としては、前記符号化側からの符号化データを復号化処理する復号化部と、その復号化された復号化データに対し、その値の大きさを判定し、その値が本来の表示範囲内の値である場合には、通常の画像データ処理を行い、本来の表示範囲を外れた値である場合には、それを付加データとして抽出する処理を行う付加データ再生部とを有する。
【００１９】
ここで、前記本来の表示範囲を外れた場合における付加データの抽出処理は、値が正か負かを判定し、正である場合には、復号化データの値から前記本来の表示範囲の最大値を引いた値とし、負である場合には、前記本来の表示範囲の最小値から復号化データの値を引いた値とし、その付加データの値と付加データの埋め込み位置を記憶する処理である。
【００２０】
なお、前記本来の表示範囲の最大値および最小値は、当該最大値および最小値に演算誤差を考慮した値を加えた値とすることも可能としている。
【００２１】
上述したように本発明は、主画像データにおける本来の表示範囲（たとえば、８ビット画像であれば、０〜２５５の範囲）を外れた領域を利用し、そこに付加データを埋め込もうとするものである。
【００２２】
このように、本来の表示範囲を外れた領域に付加データが埋め込まれて符号化されたデータは、見かけ上は、主画像データを符号化した通常の符号化データと同等であるので、従来から通常に行われている画像復号化ソフトウエアによって従来通り復号化処理することができる。ただし、その場合は、主画像データは従来通り普通に復号化処理されるが、付加データ部分は飽和処理される。なお、その付加データが埋め込まれた符号化データを本発明の画像復号化ソフトウエアを用いて復号化処理すれば、主画像データは従来通り普通に復元できることは勿論、付加データも復元できる。
【００２３】
なお、本発明の場合は、主画像そのものに付加データを埋め込むので、主画像と付加データとの位置関係を確実に対応付けることができる。これによって、たとえば、１つの画面上に複数種類の主画像が存在していて、それぞれの主画像に対応して付加データが埋め込まれているような場合、編集用ソフトウエアなどを用いて、これら複数種類の主画像を切り分けるなどの編集作業を行っても、それぞれの主画像とそれに対応する付加データと対応が崩れることがない。
【００２４】
また、付加データを本来の表示範囲から外れた値として主画像データに埋め込む処理としては、付加データを前記本来の表示範囲の最大値に埋め込む場合は、その付加データの値を前記本来の表示範囲の最大値に加えた値とし、当該付加データの値を前記本来の表示範囲の最小値に埋め込む場合は、その付加データの値を前記本来の表示範囲の最小値から引いた値とする。
【００２５】
そして、復号側では、その符号化データを復号化して、その復号化された復号化データの値が本来の表示範囲内である場合には、通常の画像データ処理を行い、本来の表示範囲外である場合には、値が正か負かを判定し、正である場合には、復号化データの値から前記本来の表示範囲の最大値を引いた値を付加データとして抽出し、負である場合には、本来の表示範囲の最小値から復号化データの値を引いた値として、付加データの抽出を行う。
【００２６】
このように、本来の表示範囲の最大値または最小値にその付加データの値を足したり引いたりするだけの簡単な演算で、付加データの埋め込みや抽出ができるので、処理能力のそれ程高くないＣＰＵでも対応することができ、安価なシステムにも適用できる。
【００２７】
また、このとき、本来の表示範囲の最大値および最小値は、当該最大値および最小値に演算誤差を考慮した値を加えた値とすることもできる。これは、付加データが埋め込まれていない領域でも、本当の演算誤差によって本来の表示範囲を超えた値となる場合もあるからであり、その分の余裕を少し取っておいた方が都合のよい場合もある。これに対応できるように、付加データの値を、本来の表示範囲の最大値や最小値よりも少し離れた値を基点にそれ以上大きい値または小さい値に設定する。これによって、演算誤差が生じていた場合であっても、付加データを正確に再現することができる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、この実施の形態で説明する内容は、本発明の画像データ処理方法、画像データ処理装置についての説明であるとともに、本発明の画像データ処理プログラムを記録した記録媒体における画像データ処理プログラムの具体的な処理内容をも含むものである。
【００２９】
本発明は前述したように、画像データ（主画像データ）に他のデータ（付加データ）を埋め込むものであるが、実施の形態を説明する前に、本発明の基本的な考え方について説明する。
【００３０】
まず、ここでいう付加データとは、前述したように、主画像データを補完する文字データ、音データ、プログラムデータ、他の画像データなどであり、さらには、著作権情報などであってもよい。
【００３１】
なお、文字データの例としては、たとえば、主画像データについての百科事典的あるいは辞書的な情報が考えられる。また、音データの例としては、たとえば、主画像データに対する視覚障害者向けの音声データや、主画像データが動物画像である場合にはその鳴き声、主画像データが人物画像である場合にはその人物の声、主画像データが楽器である場合にはその音色、主画像データが風景画像である場合には、その風景にマッチしたＢＧＭなどが考えられる。
【００３２】
また、本発明の適用できる画像データ形式としては、原理的にどのような画像データ形式であってもよいが、ここでの説明では、インタネットなどで標準的に用いられているＪＰＥＧ規格の画像データであるとし、このＪＰＥＧ規格の画像データ（主画像データ）に上述したような付加データを埋め込む例について説明する。
【００３３】
画像データは、本来、ある一定の範囲内の値を持つものである。ところが、画像データ処理、特に、符号化を行う場合、その処理の演算の精度不足や情報の切り捨てによって、復号化された画像データが、本来の表示範囲を超える場合がある。
【００３４】
たとえば、それぞれの画素が８ビットで表される値を有する画像データにおいては、画像を構成する色要素の値は、０〜２５５の範囲の値を有するべきである。しかし、上述した理由によって、復号化されたデータが、この範囲を超える場合がある。なお、通常のＪＰＥＧ復号化処理においては、飽和処理がなされるので、０よりも小さい値は０に、２５５よりも大きな値は２５５に設定される。
【００３５】
本発明は、付加データをこの本来の表示範囲（８ビットデータの場合、０〜２５５）を超える値として主画像データに埋め込むものである。
【００３６】
たとえば、本来の表示範囲が０〜２５５であるとして、付加データを０よりも小さい値として埋め込む場合は、１バイトのデータを、−１から−２５６の値としてＪＰＥＧ規格の主画像データに埋め込む。また、付加データを２５５よりも大きな値として埋め込む場合は、１バイトのデータを、２５６〜５１１の値としてＪＰＥＧ規格の主画像データに埋め込む。
【００３７】
今、図１（ａ）に示すような黒と白の２値画像でなる主画像データがあるとする。この主画像データにおいて、たとえ、その主画像データの値が０よりも小さいところがあっても、従来のＪＰＥＧ復号化ソフトウエアを用いて復号すれば、すべて０（黒）として復元され、同様に、２５５よりも大きいところがあってもすべて２５５（白）として復元される。
【００３８】
このように従来の通常のＪＰＥＧ復号化ソフトウエアによって復号化処理を行えば、本来の表示範囲から外れた値が存在しても、飽和処理によって０〜２５５の範囲の主画像データとして復元される。
【００３９】
本発明は、この本来の表示範囲から外れた領域に積極的に利用して、その領域に付加データを埋め込もうとするものである。
【００４０】
たとえば、図１（ａ）におけるラインＬ１に沿った部分の値は、図１（ｂ）の太線Ｋで示すような値の変化となり、その０よりも小さい部分に、付加データＤ１を−１から−２５６の範囲の値として埋め込み、２５５よりも大きい部分に、付加データＤ２を２５６〜５１１の値として埋め込む。
【００４１】
なお、この図１は、負方向（０より小さい領域）と正方向（２５５よりも大きい領域）の両方に付加データＤ１，Ｄ２を埋め込んだ例であるが、図２に示すように、負方向のみに付加データＤ１を埋め込むことも可能であり、また、図示しないが、正方向のみに付加データを埋め込むことも可能である。
【００４２】
このように通常の範囲外に従データを埋め込んで、それを本発明のＪＰＥＧ復号化処理を行うと、主画像データについては、上述同様、０〜２５５のデータとして復元され、同時に、０より小さい値を持つデータおよび２５５より大きい値を持つデータは、それぞれ付加データとして復号化処理がなされる。
【００４３】
なお、この付加データの埋め込まれた符号化データ（これをここでは拡張ＪＰＥＧデータと呼ぶ）は、見かけ上、標準的なＪＰＥＧデータと全く同等である。したがって、このようなＪＰＥＧデータは、従来の通常のＪＰＥＧ復号化ソフトウエアによっても復号化処理を行うことができるが、その場合、飽和処理によって０〜２５５の範囲の主画像データのみが復元され、付加データ部分はすべて０または２５５として処理され、付加データとして現れてはこない。
【００４４】
一方、この拡張ＪＰＥＧデータを、専用のＪＰＥＧ復号化ソフトウエアによって復号化処理を行えば、主画像データは勿論、付加データ部分も復号化されて、主画像データとともに付加データも復元することができる。しかも、付加データはそれぞれの主画像データそのものに埋め込まれているので、主画像データと付加データとの位置関係はそのままごく自然に表現される。これによって、たとえば、画面上に表示された複数種類の主画像を切り分けるなどの編集作業を行っても、それぞれの主画像データとそれに対応する付加データとの対応が崩れることがない。以下、本発明の具体例について説明する。
【００４５】
まず、主画像データの一部を付加データに入れ替えることで付加データを埋め込むことを考える。この場合は、主画像データにおいて、付加データの埋め込みをブロックを特定して、その埋め込みブロックに付加データを埋め込むので、その部分の主画像データはつぶれることになる。
【００４６】
図３に示すように、たとえば、４×６のブロックで構成される主画像データブロックＢ１があるとする。なお、１つ１つのブロックは８画素×８画素で構成されているものとし、符号化処理など様々な処理はこのブロックごとになされるものとする。したがって、付加データの埋め込みもブロック単位で行う。ここでは、このような主画像データブロックＢ１に対して、太線の枠Ｗで囲った４つのブロックの部分（データ埋め込みブロックＢ２という）に付加データを埋め込むとする。
【００４７】
このようにデータ埋め込みブロックＢ２を特定して付加データを埋め込む例としては、たとえば、カラー画像の中に、白地に黒い文字データなどを表現したり、逆に、黒い背景に白抜きの文字データなどを表現したりする場合などが一つの例として挙げられる。なお、このデータ埋め込みブロックＢ２は任意の位置に設定することができる。
【００４８】
また、図４は主画像データにおける階調表示部分Ｈには、付加データの埋め込みを行わず、黒部分（０よりも小さい部分）のみに付加データＤ１を埋め込ませた例を示す図である。また、ここでは図示しないが、白部分（２５５よりも大きい部分）のみに付加データを埋め込ませることもできる。
【００４９】
その応用例として図５に示すように、犬や牛などの動物が描かれた主画像データの中で、階調表示部分はそのままにして、表示最小値（０）や表示最大値（２５５）を持つ画素を選び、その表示最小値（０）や表示最大値（２５５）を持つ画素に少量の付加データを埋め込ませることができる。
【００５０】
この図５では、「Ｃｏｐｙｒｉｇｈｔ」という文字が、主画像データ中の表示最小値と表示最大値を有する部分に付加データとして埋め込まれた様子を示している。なお、図５において、「Ｃｏｐｙｒｉｇｈｔ」を構成する１つ１つの文字から出されている矢印の先端部分が、主画像データにおける表示最小値（０）や表示最大値（２５５）の部分であるとする。
【００５１】
このように、データ埋め込みブロックを特定せずに、主画像データ中の表示最小値や表示最大値を持つ画素に付加データを埋め込ませる手法は、主画像データを復元したときに、主画像データはそのままの状態で復元され、外観上からは付加データが埋め込まれているか否かさえもわからず、また、埋め込まれていることがわかってもその位置が外観上からは見えないので、著作権情報などを画像に埋め込む場合に有効なものとなる。
【００５２】
図６はその具体的な数値例を示すものである。図６（ａ）は主画像データのそれぞれの画素ごとの値を部分的に取り出して示すもので、その値の範囲は階調表示範囲である０〜２５５の間の値となっている。図６（ｂ）は付加データの値を部分的に取り出して示すものであり、その値がたとえば、３１，５６，６７，１５７，・・・というような値であるとする。
【００５３】
このような付加データを主画像データに埋め込む場合、主画像データの中から表示最大値（２５５）または表示最小値（０）を選んで、図６（ｃ）に示すように、その表示最大値または表示最小値に埋め込みデータを埋め込んで行く。この場合、図６（ａ）における主画像データにおいて表示最小値０が存在するので、その部分に、図６（ｂ）における付加データの値３１をその表示最小値０に埋め込む。つまり、０−３１を計算して、−３１の値として埋め込む。次に、図６（ａ）における主画像データにおいて表示最大値２５５が存在するので、その部分に、図６（ｂ）における付加データの値５６をその表示最大値２５５に埋め込む。つまり、２５５＋５６を計算して、３１１の値として埋め込む。
【００５４】
このように、主画像データにおける表示最大値または表示最小値を見つけ、表示最大値に対しては表示最大値に付加データを足し算し、表示最小値に対しては表示最小値から付加データを引き算して順次埋め込んで行く。
【００５５】
このようにして、主画像データに付加データが埋め込まれたあと、それを復号化処理すると、従来の通常の画像復号化ソフトウエアでは、図６（ｄ）に示すように、埋め込みデータの埋め込まれた部分の値−３１は０に、値３１１は２５５に飽和処理され、主画像データのみが復元される。
【００５６】
これに対して、本発明における画像復号化ソフトウエアにより復号化を行えば、主画像データは従来と同様に復号化され、さらに、付加データの埋め込まれた部分の値−３１は、表示最小値０から−３１を引き算、つまり、０−（−３１）を計算することによって、図６（ｅ）に示すように、付加データとしての値３１を得る。また、付加データの埋め込まれた部分の値３１１は、その値３１１から表示最大値２５５を引き算、つまり、３１１−２５５を計算することによって、同じく図６（ｅ）に示すように、付加データとしての値５６を得る。
【００５７】
これを全ての付加データの埋め込み部分について行えば、図６（ｂ）に示す付加データが復元される。
【００５８】
図７は本発明の符号化処理を実現するための符号化装置の構成を示す図であり、符号化すべき主画像データを入力する符号化画像データ入力手段１、ＤＣＴ（Discrete Cosine Transform）手段２、量子化手段３、ハフマン符号化手段４、ＪＰＥＧデータ出力手段５などの従来の標準的な符号化装置が有する符号化部としての構成要素の他に、本発明では、付加データ埋め込み部として、付加データを入力する付加データ入力手段６、その付加データの埋め込み位置や埋め込むべき位置の値を、符号化画像データ入力手段１からの画像データ（主画像データ）に基づいて判定するデータ埋め込み位置判定手段７、付加データ入力手段６から入力された付加データに対し付加データとしての値を生成する付加データ生成手段８、符号化画像データ入力手段１により入力された主画像データと付加データ生成手段で生成された付加データのいずれかを符号化すべきデータとして選択するための符号化データ切り替え手段９などが付け加えられた構成となっている。
【００５９】
このような構成において、上述の付加データ生成手段８が行う付加データの生成処理は、図８に示すように、付加データ入力手段６からの付加データとデータ埋め込み位置判定手段７からの埋め込み位置情報を入力すると（ステップｓ１）、その埋め込み位置が表示最小値か否かを判定し（ステップｓ２）、表示最小値（この実施の形態では、本来の表示範囲を０〜２５５としているので、表示最小値は０）であれば、その表示最小値０から付加データを引き算する（ステップｓ３）。たとえば、付加データの値が３０であるとすれば、付加データを−３０とする。
【００６０】
一方、ステップｓ２における判定が、埋め込み位置が表示最小値でないと判定された場合には、埋め込み位置が表示最大値か否かを判定し（ステップｓ４）、表示最大値（この場合、表示最大値は２５５）であれば、その表示最大値２５５に付加データを足し算する（ステップｓ５）。たとえば、付加データの値が５０であるとすれば、付加データの値を３０５とする。
【００６１】
また、埋め込み位置が表示最小値でもなく表示最大値でもない場合には、付加データは埋め込めないとする（ステップｓ６）。
【００６２】
以上のような処理を付加すべきデータのそれぞれの画素の値について行うことによって、付加データが生成され、その付加データは符号化データ切り替え手段９に与えられる。
【００６３】
この符号化データ切り替え手段９は、符号化画像データ入力手段１からの主画像データと付加データ生成手段８からの付加データを順次切り換えて、ＤＣＴ手段２に送出する。そして、ＤＣＴ手段２、量子化手段３、ハフマン符号化手段４によって、主画像データや埋め込みデータの区別なく従来から行われているＪＰＥＧ規格の符号化処理が行われ、ＪＰＥＧデータ出力手段４からＪＰＥＧデータとして出力される。
【００６４】
図９は図７によって生成されたＪＰＥＧデータを復号化する復号化装置の構成を示す図であり、復号化すべきＪＰＥＧデータを入力するＪＰＥＧデータ入力手段１１、ハフマン復号化手段１２、逆量子化手段１３、逆ＤＣＴ手段１４、画像再構成手段１５などの従来の標準的な復号化装置が有する復号化部としての構成要素の他に、本発明では、付加データ再生部として、逆ＤＣＴ手段１４から渡された逆ＤＣＴ変換後のデータに付加データが存在するか否かを判定するデータ判定手段１６、付加データがあればその付加データの埋め込み位置を記憶する付加データ位置記憶手段１７、付加データがあればその付加データを抽出する付加データ抽出手段１８、抽出された付加データを記憶する付加データ記憶手段１９などが付け加えられた構成となっている。
【００６５】
この付加データ再生部が行う処理は、図１０に示すフローチャートに示すように、逆ＤＣＴ手段１４からの復号化されたデータを入力し（ステップｓ１１）、そのデータが表示範囲内（この実施の形態では、０〜２５５の範囲）にあるか否かを判定し（ステップｓ１２）、そのデータが表示範囲内でなければ、その表示範囲外の領域に何らかのデータが埋め込まれているとして、値が正であるか否かを判断し（ステップｓ１３）、正でなければ、表示最小値（ここでは０）からそのデータを引き算する（ステップｓ１４）。たとえば、逆ＤＣＴ手段１４から渡されたデータが−３０であったとすれば、０−（−３０）＝３０とする。
【００６６】
また、ステップｓ１３の処理において、値が正であると判定された場合は、そのデータから表示最大値（この場合２５５）を引き算する（ステップｓ１５）。たとえば、逆ＤＣＴ手段１４から渡されたデータが３０５であったとすれば、３０５−（２５５）＝５０とする。
【００６７】
このような処理を逆ＤＣＴ手段１４から渡されたデータのなかで、表示範囲外とされたデータすべてについて行うことによって、埋め込みデータが復元され、その復元データを記憶するとともに、その位置を記憶する（ステップｓ１６）。
【００６８】
ところで、ステップｓ１２の処理において、逆ＤＣＴ手段１４から渡されたデータが表示範囲内にある場合には、主画像データであるとみなして、従来から普通に行われている画像データ処理が行われる（ステップｓ１７）。
【００６９】
なお、上述した図８や図１０における表示最大値はここでは２５５、表示最小値は０としたが、本来のそれらの値に、演算誤差を考慮したマージンを加えた値としてもよい。これは、付加データが埋め込まれていない領域でも、本当の演算誤差によって本来の表示範囲を超えた値となる場合もあり、その分の余裕を少し取っておいた方が都合のよい場合もある。これに対応できるように、付加データの値を、本来の表示範囲の最大値や最小値よりも少し離れた値を基点にそれ以上大きい値または小さい値に設定する。これによって、演算誤差が生じていた場合であっても、付加データを正確に再現することができる。
【００７０】
また、図１１は付加データが埋め込まれた画像データにおいて、ユーザがマウスなどで埋め込み位置を指定することによって、その位置に埋め込まれた付加データを再生させる機能を付加した復号化装置のブロック図である。
【００７１】
この図１１は図９に示す付加データ再生部の構成として、選択位置入力手段２０、付加データ位置／選択位置入力比較手段２１、付加データ選択手段２２、付加データ再生手段２３が付け加えられた構成となっており、その他、図９と同一部分には同一符号が付されている。
【００７２】
この図１１の処理内容としては、ユーザによって、選択位置入力手段２０（マウスなど）によって、所定の位置が指定されると、その位置情報と付加データ位置記憶手段１７に記憶されている位置情報とを、付加データ位置／選択位置入力比較手段２１が比較することで、付加データ位置記憶手段１７に記憶されている位置情報を得て、その位置情報を付加データ選択手段２２に渡し、この付加データ選択手段２２がその位置情報に基づいて、付加データ記憶手段１９から付加データを選択して、それを付加データ再生手段２３に渡す。この付加データ再生手段２３は、付加データ選択手段２２から渡された付加データを再生処理する。
【００７３】
この図１１に示される復号化装置により、たとえば、図１２や図１３に示すような付加データの再生が可能となる。
【００７４】
図１２の例は、ユーザが犬の画像の下に書かれた「いぬ」という文字部分（矢印Ａで示す）をマウスなどで指示（クリック）した場合、犬についての百科事典的な説明がポップアップ表示などによって表示された例を示すもので、この「いぬ」と書かれた部分に、ポップアップ表示された文字データが付加データとして埋め込まれている。
【００７５】
一方、図１３の例は、ユーザが犬の画像の下に書かれた「いぬ」という文字部分Ａをマウスなどでクリックした場合、犬の鳴き声がたとえば「ワンワン」といった音声として再生された例を示すもので、この「いぬ」と書かれた部分に、犬の鳴き声を示す音声データが付加データとして埋め込まれている。
【００７６】
この図１２や図１３の例からもわかるように、本発明では、付加データはそれぞれ対応する画像データ中に埋め込まれている。これによって、たとえば、画像の編集を行って、それぞれの画像を切り分けた場合でも、画像データと埋め込みデータの対応関係が崩れることがなくなる。
【００７７】
一例として、図１４に示すように、４つの動物画像を、３つのグループＧ１，Ｇ２，Ｇ３にわけるような編集作業を行った場合、それぞれのグループＧ１，Ｇ２，Ｇ３と、それに対する付加データの対応関係はそのまま保存される。ちなみに、従来のように、主画像データと付加データを別領域に保存する方式では、このような編集作業を行った場合、両者の対応関係は崩れてしまうことになる。
【００７８】
また、本発明は付加データを図１５や図１６のように埋め込むことも可能である。図１５の例は、付加データが画面に表示された画像の下部の黒い帯部分Ｃ１に存在することをユーザに明示的に示した例である。たとえば、ここでは図示されていないが、黒い帯部分Ｃ１に「ここに説明内容が埋め込まれています」というように、ユーザに付加データの存在を示すようなこともできる。そして、たとえば、その部分をユーザがマウスなどでクリックすると、たとえば、画面に表示されている動物画像などについての説明が音声として出力されたり、文字によって表現されたりする。
【００７９】
また、図１６の例は、付加データの存在する場所を外観上からはわからないように付加データを埋め込んだ例であり、この場合、付加データは動物画像を囲む額縁部分Ｃ２に埋め込まれている。この場合も、ユーザが額縁部分Ｃ２をマウスなどでクリックすると、たとえば、画面に表示されている動物画像などについての説明が音声として出力されたり、文字によって表現されたりする。
【００８０】
なお、本発明は以上説明した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施の形態では、主画像データが８ビット画像の例について説明しているので、階調表示範囲を０〜２５５とし、それに伴って、付加データも０〜２５５の範囲外のデータとしているが、主画像データのビット数が異なれば、当然のことながら、付加データの値もそれに伴って異なってくる。
【００８１】
また、前述の実施の形態では、画像データの形式はをＪＰＥＧ規格の画像データとしているが、前述したように、本発明はどのような画像形式にも適用できるものである。
【００８２】
また、本発明は、以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくことができ、本発明はその処理プログラムが記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【００８３】
【発明の効果】
以上説明したように本発明は、主画像データにおける本来の表示範囲（たとえば、８ビット画像であれば、０〜２５５の範囲）を外れた領域を利用し、そこに付加データを埋め込もうとするものである。このように、本来の表示範囲を外れた領域に付加データが埋め込まれて符号化されたデータは、見かけ上は、主画像データを符号化した通常の符号化データと同等であるので、従来から通常に行われている画像復号化ソフトウエアによって従来通り復号化処理することができる。ただし、その場合は、主画像データは従来通り普通に復号化処理されるが、付加データ部分は飽和処理される。なお、その付加データが埋め込まれた符号化データを本発明の画像復号化ソフトウエアを用いて復号化処理すれば、主画像データは従来通り普通に復元できることは勿論、付加データも復元できる。
【００８４】
なお、本発明の場合は、主画像そのものに付加データを埋め込むので、主画像と付加データとの位置関係を確実に対応付けることができる。これによって、たとえば、１つの画面上に複数種類の主画像が存在していて、それぞれの主画像に対応して付加データが埋め込まれているような場合、編集用ソフトウエアなどを用いて、これら複数種類の主画像を切り分けるなどの編集作業を行っても、それぞれの主画像とそれに対応する付加データとの対応が崩れることがない。
【００８５】
また、本発明は、本来の表示範囲の最大値または最小値に、その付加データの値を足したり引いたりするだけの簡単な演算で、付加データの埋め込みや抽出ができるので、処理能力のそれ程高くないＣＰＵでも対応することができ、安価なシステムにも適用できる。
【図面の簡単な説明】
【図１】２値画像における本来の表示範囲（０〜２５５）から外れた正および負の両方の領域にそれぞれ付加データを埋め込む例を説明する図である。
【図２】２値画像における本来の表示範囲（０〜２５５）から外れた負の領域のみに付加データを埋め込む例を説明する図である。
【図３】主画像データの中でデータ埋め込みブロックを特定して付加データを埋め込む場合を説明する図である。
【図４】階調表示された主画像データの表示最大値部分に付加データを埋め込んだ例を説明する図である。
【図５】著作権情報などを主画像データ中の表示最大値または表示最小値に埋め込んだ例を説明する図である。
【図６】図５の例を具体的な数値例を用いて説明する図である。
【図７】本発明の符号化処理を実現するための符号化装置の構成を示すブロック図である。
【図８】図７における付加データ生成処理を説明するフローチャートである。
【図９】本発明の復号化処理を実現するための復号化装置の構成を示すブロック図である。
【図１０】図９における付加データ再生処理を説明するフローチャートである。
【図１１】図９においてユーザがマウスなどで埋め込み位置を指定することによって、その位置に埋め込まれた付加データを再生させる機能を付加した復号化装置のブロック図である。
【図１２】付加データの具体的な再生例を説明する図であり、付加データとして文字データが再生される例を説明する図である。
【図１３】付加データの具体的な再生例を説明する図であり、付加データとして音データが再生される例を説明する図である。
【図１４】表示画面上に複数の主画像が存在する場合に、それを切り分けたときそれぞれの主画像データと付加データとの対応関係について説明する図である。
【図１５】付加データの埋め込み例を説明する図であり、ユーザに明示的に付加データの存在を示す例を説明する図である。
【図１６】付加データの埋め込み例を説明する図であり、付加データの存在を外観からはわかりにくくして埋め込んだ例を説明する図である。
【図１７】主画像データに付加データを埋め込む場合の従来の手法を説明するデータ構造図である。
【符号の説明】
１  符号化画像データ入力手段
２  ＤＣＴ手段
３  量子化手段
４  ハフマン符号化手段
５  ＪＰＥＧデータ出力手段
６  付加データ入力手段
７  データ埋め込み位置判定手段
８  付加データ生成手段
９  符号化データ切り替え手段
１１  ＪＰＥＧデータ入力手段
１２  ハフマン復号化手段
１３  逆量子化手段
１４  逆ＤＣＴ手段
１５  画像再構成手段
１６  データ判定手段
１７  付加データ位置記憶手段
１８  付加データ抽出手段
１９  付加データ記憶手段
２０  選択位置入力手段
２１  付加データ位置／選択位置入力比較手段
２２  付加データ選択手段
２３  付加データ再生手段
【図１】
0003777993.tif 000002
【図２】
0003777993.tif 000003
【図３】
0003777993.tif 000004
【図４】
0003777993.tif 000005
【図５】
0003777993.tif 000006
【図６】
0003777993.tif 000007
【図７】
0003777993.tif 000008
【図８】
0003777993.tif 000009
【図９】
0003777993.tif 000010
【図１０】
0003777993.tif 000011
【図１１】
0003777993.tif 000012
【図１２】
0003777993.tif 000013
【図１３】
0003777993.tif 000014
【図１４】
0003777993.tif 000015
【図１５】
0003777993.tif 000016
【図１６】
0003777993.tif 000017
【図１７】
0003777993.tif 000018