(57)【特許請求の範囲】
【請求項１】
第１のデータを第２のデータに従って符号化する符号化装置であって、
前記第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック化手段と、
前記ブロックを、前記所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割手段と、
前記第２のデータに従って、前記第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、前記第１のデータに前記第２のデータに関するデータを埋め込んで符号化する符号化手段と
を備える符号化装置。
【請求項２】
前記ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算手段をさらに備え、
前記符号化手段は、最上位ビットのビットプレーンから最下位ビットのビットプレーンの方向に、前記相関が昇順に並んでいるブロックのみを、ビットプレーン単位の入れ替えを行う対象とする
請求項１に記載の符号化装置。
【請求項３】
前記符号化手段は、前記相関が同一のビットプレーンを有するブロックを、ビットプレーン単位の入れ替えを行う対象から除外する
請求項２に記載の符号化装置。
【請求項４】
前記ビットプレーン単位の入れ替えの対象としなかったブロックに関するブロック情報を、前記第２のデータが埋め込まれた前記第１のデータに付加する付加手段をさらに備える
請求項１に記載の符号化装置。
【請求項５】
前記第１のデータ及び前記第２のデータを入力する入力手段をさらに備える
請求項１に記載の符号化装置。
【請求項６】
前記第１のデータが複数の画素データから構成される画像データであり、
前記符号化手段は、前記第２のデータに従って、前記第１の画像データの少なくとも１つの画像ブロックをビットプレーン単位で入れ替えることにより、前記第１の画像データに前記第２のデータに関するデータを埋め込む
請求項１に記載の符号化装置。
【請求項７】
前記符号化手段は、前記第１の画像データの少なくとも１つの画像ブロックの入れ替えを、前記第２のデータの値に応じて行う
請求項６に記載の符号化装置。
【請求項８】
第１のデータを第２のデータに従って符号化する符号化方法であって、
前記第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック化ステップと、
前記ブロックを、前記所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割ステップと、
前記第２のデータに従って、前記第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、前記第１のデータに前記第２のデータに関するデータを埋め込んで符号化する符号化ステップと
を含む符号化方法。
【請求項９】
第１のデータが第２のデータにしたがって符号化された符号化データを復号する復号装置であって、
前記符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック手段と、
前記ブロックを、前記所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割手段と、
前記ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算手段と、
前記相関演算手段により求められた前記相関に基づいて、前記符号化データの前記少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより前記符号化データを元の前記第１のデータに復号すると共に、前記入れ替えに応じて前記符号化データに埋め込まれた前記第２のデータを復号する復号手段と
を備える復号装置。
【請求項１０】
前記ブロックに前記第２のデータが埋め込まれているか否かを判定する判定手段をさらに備え、
前記復号手段は、前記判定手段により前記第２のデータが埋め込まれていると判定された前記ブロックを、前記ビットプレーン単位で入れ替える対象の前記ブロックとする
請求項９に記載の復号装置。
【請求項１１】
前記判定手段は、前記各ブロックに前記第２のデータが埋め込まれているか否かに関するブロック情報に基づいて、前記ブロックに前記第２のデータが埋め込まれているか否かを判定する
請求項１０に記載の復号装置。
【請求項１２】
前記復号手段は、前記少なくとも一つのブロックの各ビットプレーン内の相関が、最上位ビットのビットプレーンから最下位ビットのビットプレーンの方向に昇順に並ぶように入れ替える
請求項９に記載の復号装置。
【請求項１３】
前記復号手段は、前記符号化データの前記少なくとも一つのブロックの前記ビットプレーン単位の入れ替えパターンを決定し、前記入れ替えパターンに相当する値を第２のデータとする
請求項９に記載の復号装置。
【請求項１４】
第１のデータが第２のデータにしたがって符号化された符号化データを復号する復号方法であって、
前記符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック化ステップと、
前記ブロックを、前記所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割ステップと、
前記ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算ステップ
前記相関に基づいて、前記符号化データの前記少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより前記符号化データを元の前記第１のデータに復号すると共に、前記入れ替えに応じて前記符号化データに埋め込まれた前記第２のデータを復号する復号ステップと
を含む復号方法。
【請求項１５】
第１のデータを第２のデータに従って符号化し、前記符号化データを復号するデータ処理システムであって、
前記第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化する第１のブロック化手段と、
前記ブロックを、前記所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する第１の分割手段と、
前記第２のデータに従って、前記第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、前記第１のデータに前記第２のデータに関するデータを埋め込んで符号化する符号化手段と、
前記符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化する第２のブロック化手段と、
前記ブロックを、前記所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する第２の分割手段と、
前記ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算手段と、
前記相関演算手段により求められた前記相関に基づいて、前記符号化データの前記少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより前記符号化データを元の前記第１のデータに復号すると共に、前記入れ替えに応じて前記符号化データに埋め込まれた前記第２のデータを復号する復号手段と
を備えるデータ処理システム。
【請求項１６】
第１のデータを第２のデータに従って符号化するためのコンピュータ制御可能なプログラムが記憶される記録媒体であって、
前記第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック化ステップと、
前記ブロックを、前記所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割ステップと、
前記第２のデータに従って、前記第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、前記第１のデータに前記第２のデータに関するデータを埋め込んで符号化する符号化ステップと
をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項１７】
第１のデータが第２のデータにしたがって符号化される符号化データを復号するためのコンピュータ制御可能なプログラムが記憶される記録媒体であって、
前記符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック化ステップと、
前記ブロックを、前記所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割ステップと、
前記ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算ステップと、
前記相関に基づいて、前記符号化データの前記少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより前記符号化データを元の前記第１のデータに復号すると共に、前記入れ替えに応じて前記符号化データに埋め込まれた前記第２のデータを復号する復号ステップと
をコンピュータに実行させるプログラムが記録されている記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、提供媒体、並びに画像処理システムに関し、復号画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにする画像処理装置および画像処理方法、提供媒体、並びに画像処理システムに関する。
【０００２】
【従来の技術】
ディジタル画像データに対して、そのデータ量を増加させることなく、情報を埋め込む手法としては、例えば、値の大きな画素値の最下位ビットや、下位２ビットなどを、埋め込む情報に置換するものなどがある。この手法は、値の大きな画素値の下位ビットが、画質にあまり影響を与えないことを利用し、その下位ビットを、単に、埋め込む情報に置き換えるものであり、従って、再生時には、情報が埋め込まれた画像データは、その下位ビットを元に戻さずに、そのまま出力される。即ち、このように単に置換することで情報が埋め込まれた下位ビットを、元に戻すのは困難であり、また、値の大きな画素値の下位ビットは、画質に、あまり影響を与えないことから、画像データは、情報が埋め込まれた状態で出力（表示）される。
【０００３】
【発明が解決しようとする課題】
しかしながら、以上のような手法では、本来の画像データと異なるデータが出力される。従って、出力される画像の画質に、少なからず影響がある。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、画像の画質の劣化を極力なくし、かつデータ量を増加せずに（あるいは、データ量の増加を最低限に抑えて）、画像に情報を埋め込むことができるようにするものである。
【０００５】
【課題を解決するための手段】
請求項１に記載の符号化装置は、第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック化手段と、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割手段と、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータを埋め込んで符号化する符号化手段とを備える。
【０００６】
請求項８に記載の符号化方法は、第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック化ステップと、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割ステップと、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータを埋め込んで符号化する符号化ステップとを含む。
【０００８】
請求項９に記載の復号装置は、符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック手段と、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割手段と、ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算手段と、相関演算手段により求められた相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより符号化データを元の第１のデータに復号すると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータを復号する復号手段とを備える。
【０００９】
請求項１４に記載の復号方法は、符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック化ステップと、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割ステップと、ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算ステップと、相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより符号化データを元の第１のデータに復号すると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータを復号する復号ステップとを含む。
【００１１】
請求項１５に記載のデータ処理システムは、第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化する第１のブロック化手段と、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する第１の分割手段と、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータを埋め込んで符号化する符号化手段と、符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化する第２のブロック化手段と、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する第２の分割手段と、ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算手段と、相関演算手段により求められた相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより符号化データを元の第１のデータに復号すると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータを復号する復号手段とを備える。
【００１２】
請求項１に記載の符号化装置においては、ブロック化手段は、第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化し、分割手段は、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割するようになされている。符号化手段は、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータを埋め込んで符号化するようになされている。
【００１３】
請求項８に記載の符号化方法においては、第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化し、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割し、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータを埋め込んで符号化するようになされている。
【００１５】
請求項９に記載の復号装置においては、ブロック化手段は、符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化し、分割手段は、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割するようになされている。相関演算手段は、ブロックの各ビットプレーン内のビットどうしの相関を求め、復号手段は、相関演算手段により求められた相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより符号化データを元の第１のデータに復号すると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータを復号するようになされている。
【００１６】
請求項１４に記載の復号方法においては、符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化し、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割し、ブロックの各ビットプレーン内のビットどうしの相関を求め、相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより符号化データを元の第１のデータに復号すると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータを復号するようになされている。
【００１８】
請求項１５に記載の画像処理システムにおいては、第１のブロック化手段は、第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化し、第１の分割手段は、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割するようになされている。符号化手段は、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータを埋め込んで符号化するようになされている。第２のブロック化手段は、符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化し、第２の分割手段は、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する第２の分割手段するようになされている。相関演算手段は、ブロックの各ビットプレーン内のビットどうしの相関を求め、復号手段は、相関演算手段により求められた相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより符号化データを元の第１のデータに復号すると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータを復号するようになされている。
【００１９】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００２０】
即ち、請求項１に記載の符号化装置は、第１のデータを第２のデータに従って符号化する符号化装置であって、第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック化手段（例えば、図８に示すブロック化部４２など）と、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割手段（例えば、図８に示すビットプレーン化部４３など）と、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータを埋め込んで符号化する符号化手段（例えば、図８に示すビットプレーン交換部４４など）とを備える。
【００２１】
請求項２に記載の符号化装置は、ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算手段（例えば、図１５に示すビットプレーン交換部４４など）をさらに備え、符号化手段は、最上位ビットのビットプレーンから最下位ビットのビットプレーンの方向に、相関が昇順に並んでいるブロックのみを、ビットプレーン単位の入れ替えを行う対象とする。
【００２２】
請求項４に記載の符号化装置は、ビットプレーン単位の入れ替えの対象としなかったブロックに関するブロック情報を、第２のデータが埋め込まれた第１のデータに付加する付加手段（例えば、図１５に示すブロック情報付加部４７など）をさらに備える。
【００２３】
請求項９に記載の復号装置は、第１のデータが第２のデータにしたがって符号化された符号化データを復号する復号装置であって、符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化するブロック手段（例えば、図１３に示すブロック化部６２など）と、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する分割手段（例えば、図１３に示すビットプレーン化部６３など）と、ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算手段例えば、図１３に示すビットプレーン相関計算部６５など）と、相関演算手段により求められた相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより符号化データを元の第１のデータに復号すると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータを復号する復号手段（例えば、図１３に示すビットプレーン並べ替え処理部６４および付加情報取得部６８など）とを備える。
【００２４】
請求項１０に記載の復号装置は、ブロックに第２のデータが埋め込まれているか否かを判定する判定手段（例えば、図１３に示すビットプレーン並べ替え処理部６４など）をさらに備え、復号手段が、判定手段により第２のデータが埋め込まれていると判定されたブロックを、ビットプレーン単位で入れ替える対象のブロックとする。
【００２５】
請求項１５に記載のデータ処理システムは、第１のデータを第２のデータに従って符号化し、符号化データを復号するデータ処理システムであって、第１のデータの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化する第１のブロック化手段（例えば、図８に示すブロック化部４２など）と、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する第１の分割手段（例えば、図８に示すビットプレーン化部４３など）と、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータを埋め込んで符号化する符号化手段（例えば、図８に示すビットプレーン交換部４４など）と、符号化データの少なくとも一部のデータを、所定のビット数のデータが複数集められて構成されるブロックにブロック化する第２のブロック化手段（例えば、図１３に示すブロック化部６２など）と、ブロックを、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割する第２の分割手段（例えば、図１３に示すビットプレーン化部６３など）と、ブロックの各ビットプレーン内のビットどうしの相関を求める相関演算手段（例えば、図１３に示すビットプレーン相関計算部６５など）と、相関演算手段により求められた相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより符号化データを元の第１のデータに復号すると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータを復号する復号手段（例えば、図１３に示すビットプレーン並べ替え処理部６４および付加情報取得部６８など）とを備える。
【００２６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００２７】
図１は、本発明を適用した画像伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２８】
この画像伝送システムは、符号化装置１０および復号装置２０で構成されており、符号化装置１０は、符号化対象としての、例えば、画像を符号化して符号化データを出力し、復号装置２０は、その符号化データを、元の画像に復号するようになされている。
【００２９】
即ち、画像データベース１は、符号化すべき画像（例えば、ディジタル画像データ）を記憶している。そして、画像データベース１からは、そこに記憶されている画像が読み出され、埋め込み符号化器３に供給される。
【００３０】
また、付加情報データベース２は、符号化対象の画像に埋め込むべき情報としての付加情報（例えば、バイナリ形式のディジタルデータ）を記憶している。そして、付加情報データベース２からも、そこに記憶されている付加情報が読み出され、埋め込み符号化器３に供給される。
【００３１】
埋め込み符号化器３では、画像データベース１からの画像、および付加情報データベース２からの付加情報が受信される。さらに、埋め込み符号化器３は、画像データベース１からの画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報データベース２からの付加情報にしたがって符号化して出力する。即ち、埋め込み符号化器３は、画像が有するエネルギの偏りを利用して復号を行うことができるように、画像に付加情報を埋め込むことで、その画像を符号化し、符号化データを出力する。埋め込み符号化器３が出力する符号化データは、例えば、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体４に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体５を介して伝送され、復号装置２０に提供される。
【００３２】
復号装置２０は、埋め込み復号器６で構成され、そこでは、記録媒体４または伝送媒体５を介して提供される符号化データが受信される。さらに、埋め込み復号器６は、その符号化データを、画像が有するエネルギの偏りを利用して、元の画像および付加情報に復号する。復号された画像は、例えば、図示せぬモニタ等に供給されて表示される。また、復号された付加情報は、例えば、所定の処理を行うのに用いられ、あるいはユーザに提示される。
【００３３】
次に、図１の埋め込み符号化器３における符号化、および埋め込み復号器６における復号の原理について説明する。
【００３４】
一般に、情報と呼ばれるものは、エネルギ（エントロピー）の偏り（普遍性）を有し、この偏りが、情報（価値ある情報）として認識される。即ち、例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると認識されるのは、画像（画像を構成する各画素の画素値など）が、その風景に対応したエネルギの偏りを有するからであり、エネルギの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。
【００３５】
従って、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギの偏りを、いわば破壊した場合でも、その破壊されたエネルギの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。即ち、情報を符号化して得られる符号化データは、その情報が有する本来のエネルギの偏りを利用して、元の情報に復号することができる。
【００３６】
ここで、情報が有するエネルギ（の偏り）を表すものとしては、例えば、相関性、連続性、相似性などがある。
【００３７】
情報の相関性とは、その情報の構成要素（例えば、画像であれば、その画像を構成する画素やラインなど）どうしの相関（例えば、自己相関や、ある構成要素と他の構成要素との距離など）を意味する。
【００３８】
即ち、例えば、いま、図２に示すようなＨラインでなる画像があった場合に、その上から１行目のライン（第１ライン）と、他のラインとの相関は、一般に、図３（Ａ）に示すように、第１ラインとの距離が近いライン（図２における画面の上の行のライン）ほど大きくなり、第１ラインとの距離が遠いライン（図２における画面の下の行のライン）ほど小さくなる（第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りがある）。
【００３９】
そこで、いま、図２の画像において、第１ラインから近い第Ｍラインと、第１ラインから遠い第Ｎラインとを入れ替え（１＜Ｍ＜Ｎ≦Ｈ）、その入れ替え後の画像について、第１ラインと、他のラインとの相関を計算すると、それは、例えば、図３（Ｂ）に示すようになる。
【００４０】
即ち、入れ替え後の画像では、第１ラインから近い第Ｍライン（入れ替え前の第Ｎライン）との相関が小さくなり、第１ラインから遠い第Ｎライン（入れ替え前の第Ｍライン）との相関が大きくなる。
【００４１】
従って、図３（Ｂ）では、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りが破壊されている。しかしながら、画像については、一般に、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りを利用することにより、破壊された相関の偏りを、元に戻すことができる。即ち、図３（Ｂ）において、第１ラインから近い第Ｍラインとの相関が小さく、第１ラインから遠い第Ｎラインとの相関が大きいのは、画像が有する本来の相関の偏りからすれば、明らかに不自然であり（おかしく）、第Ｍラインと第Ｎラインとは入れ替えるべきである。そして、図３（Ｂ）における第Ｍラインと第Ｎラインとを入れ替えることで、図３（Ａ）に示すような相関、即ち、元の画像を復号することができる。
【００４２】
ここで、図２および図３で説明した場合においては、ラインの入れ替えが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、何ライン目を移動するかや、どのラインどうしを入れ替えるかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の画像、即ち、ラインの入れ替えられた画像を、その相関を利用して、ラインを元の位置に入れ替えることにより、元の画像に戻すことが、画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、何ライン目を移動したかや、どのラインどうしを入れ替えたかなどを検出することが、画像に埋め込まれた付加情報を復号することになる。
【００４３】
次に、連続性についてであるが、例えば、画像のある１ラインについては、一般に、図４（Ａ）に示すような、周波数の変化が連続している（周波数が滑らかに変化する）信号波形が観察される。即ち、１ラインの周波数に注目すると、一般に、その変化の仕方は連続している。
【００４４】
そこで、いま、図４（Ａ）に示した周波数の変化が連続している信号波形の一部を、例えば、図４（Ｂ）に示すように、周波数が極端に低いものに入れ替える。
【００４５】
この場合、周波数の変化が連続しているという連続性が破壊される。しかしながら、信号波形については、一般に、周波数の変化が連続しているという連続性を利用することにより、破壊された連続性を元に戻すことができる。即ち、図４（Ｂ）において、信号波形の一部の周波数が、他の部分の周波数に比較して急激に低くなっているのは、信号波形が有する本来の連続性からすれば、明らかに不自然であり、周波数の極端に低い部分は、他の部分の周波数と同様の周波数の信号波形に入れ替えるべきである。そして、そのような入れ替えを行うことで、図４（Ｂ）に示した信号波形から、図４（Ａ）に示した信号波形、即ち、元の信号波形を復号することができる。
【００４６】
ここで、図４で説明した場合においては、信号波形の一部について、周波数を大きく変化させること（周波数の大きく異なるものに入れ替えること）が、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、信号波形のどの部分の周波数を大きく変化させるのかや、周波数をどの程度大きく変化させるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、大きく異なる周波数を一部に有する信号波形を、その連続性を利用して、元の信号波形に戻すことが、その元の信号波形を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、信号波形のどの部分の周波数が大きく変化していたのかや、周波数がどの程度大きく変化していたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００４７】
次に、相似性についてであるが、例えば、風景を撮影した画像などについては、その拡大画像を、フラクタル（自己相似性）を利用して生成することができることが知られている。即ち、例えば、図５（Ａ）に示すような、海を撮影した画像を、フラクタルを利用して拡大すると、元の画像と同様の特性を有する画像（拡大画像）を得ることができ、従って、風景等を撮影した画像は、相似性を有する。
【００４８】
そこで、いま、図５（Ａ）に示した海を撮影した画像の一部を、例えば、図５（Ｂ）に示すように、森を撮影した画像の一部（図５（Ｂ）において、斜線を付してある部分）に入れ替える。
【００４９】
この場合、図５（Ｂ）において、森を撮影した画像に入れ替えられた部分については、海を撮影した画像の相似性が破壊される。しかしながら、海を撮影した画像については、一般に、その、どの部分を拡大しても、海を撮影した画像と同様の特性を有する画像が得られるという相似性を利用することにより、破壊された相似性を元に戻すことができる。即ち、図５（Ｂ）において、海を撮影した画像の一部が、森を撮影した画像になっているのは、海を撮影した画像が有する本来の相似性からすれば、明らかに不自然であり、森を撮影した画像になっている部分は、その周辺の海の画像と同様の特性を有する画像に入れ替えるべきである。そして、そのような入れ替えを行うことで、図５（Ｂ）に示した画像から、図５（Ａ）に示した海のみの画像、即ち、元の画像を復号することができる。
【００５０】
ここで、図５で説明した場合においては、海の画像の一部を、森の画像に入れ替えることが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、海の画像のどの部分（画面上の位置）を、森の画像に入れ替えるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、一部に森の画像を有する海の画像を、その相似性を利用して、元の海のみの画像に戻すことが、その元の画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、海の画像のどの部分が、森の画像に入れ替えられていたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００５１】
以上のように、埋め込み符号化器３において、符号化対象の画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報にしたがって符号化して、符号化データを出力する場合には、埋め込み復号器６では、その符号化データを、画像が有するエネルギの偏りを利用することにより、復号のためのオーバヘッドなしで、元の画像および付加情報に復号することができる。
【００５２】
また、符号化対象の画像には、付加情報が埋め込まれることで、その画像は、元の状態と異なる状態とされることから、符号化対象の画像については、オーバヘッドなしの暗号化を実現することができる。
【００５３】
さらに、完全可逆の電子透かしを実現することができる。即ち、従来の電子透かしでは、例えば、画質にあまり影響のない画素値の下位ビットが、電子透かしに対応する値に、単に変更されていたが、この場合、その下位ビットを、元の値に戻すことは困難である。従って、復号画像の画質は、電子透かしとしての下位ビットの変更により、少なからず劣化する。これに対して、符号化データを、元の画像が有するエネルギの偏りを利用して復号する場合には、元の画像および付加情報を得ることができ、従って、付加情報を電子透かしとして用いることで、電子透かしに起因して復号画像の画質が劣化することはない。
【００５４】
また、埋め込まれた付加情報は、符号化データから画像を復号することで取り出すことができるので、画像の符号化結果とともに、オーバヘッドなしでサイドインフォメーションを提供することができる。言い換えれば、付加情報を取り出すためのオーバヘッドなしで、その付加情報を画像に埋め込むことができるので、その埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮（埋め込み圧縮）されているということができる。従って、例えば、ある画像の半分を符号化対象とするとともに、残りの半分を付加情報とすれば、符号化対象である半分の画像に、残りの半分の画像を埋め込むことができるから、この場合、画像は、１／２に圧縮されることになる。
【００５５】
さらに、符号化データは、元の画像が有するエネルギの偏りという、いわば統計量を利用して復号されるため、誤りに対する耐性の強いものとなる。即ち、ロバスト性の高い符号化であるロバスト符号化（統計的符号化）を実現することができる。
【００５６】
また、符号化データは、元の画像が有するエネルギの偏りを利用して復号されるため、そのエネルギの偏りに特徴があるほど、即ち、例えば、画像については、そのアクティビティが高いほど、あるいは、冗長性が低いほど、多くの付加情報を埋め込むことができる。ここで、上述したように、付加情報の埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮されているということができるが、この圧縮という観点からすれば、符号化対象の情報が有するエネルギの偏りを利用して復号を行うことができるように、その情報を、付加情報にしたがって符号化する方式（埋め込み符号化方式）によれば、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率が高くなる。この点、埋め込み符号化方式は、従来の符号化方式と大きく異なる（従来の符号化方式である、例えば、ＭＰＥＧ（Moving Picture Experts Group）方式などでは、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率は低くなる）。
【００５７】
さらに、例えば、上述したように、画像を符号化対象とする一方、付加情報として、画像とは異なるメディアの、例えば、音声を用いるようにすることで、音声をキーとして、画像の提供を行うようなことが可能となる。即ち、符号化装置１０側において、例えば、契約者が発話した音声「開けゴマ」など付加情報として画像に埋め込んでおき、復号装置２０側では、ユーザに、音声「開けゴマ」を発話してもらい、その音声と、画像に埋め込まれた音声とを用いて話者認識を行うようにする。そして、話者認識の結果、ユーザが契約者である場合にのみ、自動的に、画像を提示するようなことが可能となる。なお、この場合、付加情報としての音声は、いわゆる特徴パラメータではなく、音声波形そのものを用いることが可能である。
【００５８】
また、例えば、音声を符号化対象とする一方、付加情報として、音声とは異なるメディアの、例えば、画像を用いるようにすることで、画像をキーとして、音声の提供を行うようなこと（例えば、顔認識音声応答）が可能となる。即ち、符号化装置１０側において、例えば、ユーザへの応答としての音声に、そのユーザの顔の画像を埋め込み、復号装置２０側では、ユーザの顔を撮影し、その結果得られる画像とマッチングする顔画像が埋め込まれている音声を出力するようにすることで、ユーザごとに異なる音声応答を行う音声応答システムを実現することが可能となる。
【００５９】
さらに、音声に、音声を埋め込んだり、画像に、画像を埋め込んだりするような、あるメディアの情報に、それと同一メディアの情報を埋め込むようなことも可能である。あるいは、また、画像に、契約者の音声と顔画像を埋め込んでおけば、ユーザの音声と顔画像とが、画像に埋め込まれているものと一致するときのみ、その画像を提示するようにする、いわば二重鍵システムなどの実現も可能となる。
【００６０】
また、例えば、テレビジョン放送信号を構成する、いわば同期した画像と音声のうちのいずれか一方に、他方を埋め込むようなことも可能であり、この場合、異なるメディアの情報どうしを統合した、いわば統合符号化を実現することができる。
【００６１】
さらに、埋め込み符号化方式では、上述したように、情報には、そのエネルギの偏りに特徴があるほど、多くの付加情報を埋め込むことができる。従って、例えば、ある２つの情報について、エネルギの偏りに特徴がある方を適応的に選択し、その選択した方に、他方を埋め込むようにすることで、全体のデータ量を制御することが可能となる。即ち、２つの情報どうしの間で、他方の情報量を、いわば吸収するようなことが可能となる。そして、このように全体のデータ量を制御することができる結果、伝送路の伝送帯域や使用状況、その他の伝送環境にあったデータ量による情報伝送（環境対応ネットワーク伝送）が可能となる。
【００６２】
また、例えば、画像に、その画像を縮小した画像を埋め込むことで（あるいは、音声に、その音声を間引いたものを埋め込むことで）、データ量を増加することなく、いわゆる階層符号化（下位階層の情報を少なくしたものを、上位階層とする符号化）を実現することができる。
【００６３】
さらに、例えば、画像に、その画像を検索するためのキーとなる画像を埋め込んでおくことで、そのキーとなる画像に基づいて、画像の検索を行うデータベースを実現することが可能となる。
【００６４】
次に、図６は、画像の相関性を利用して元に戻すことができるように、画像に付加情報を埋め込む埋め込み符号化を行う場合の図１の埋め込み符号化器３のハードウェアの構成例を示している。
【００６５】
画像データベース１から供給される画像（画像データ）は、画像メモリ３１に入力されるようになされており、画像メモリ３１は、画像データベース１からの画像を、例えば、フレーム単位で一時記憶する。また、付加情報データベース２から供給される付加情報は、付加情報メモリ３２に入力されるようになされており、付加情報メモリ３２は、付加情報データベース２からの付加情報を、一時記憶する。
【００６６】
記録媒体３３は、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）や、ＨＤ（Hard Disk）などで構成され、演算処理装置３４に、後述する埋め込み符号化処理を行わせるためのコンピュータプログラムや必要なデータを記憶している。そして、演算処理装置３４は、記録媒体３３に記憶されたプログラムを実行することで、埋め込み符号化処理を行う。即ち、演算処理装置３４は、付加情報メモリ３２から供給される付加情報を受信し、その付加情報を、画像メモリ３１に記憶された画像に埋め込む。具体的には、演算処理装置３４は、例えば、画像メモリ３１に記憶されたフレームごとの画像（ディジタル画像データ）を所定のブロックにブロック化する。さらに、演算処理装置３４は、図７に示すように、そのブロックを、その画素の画素値を表すビット列の各ビットごとのビットプレーンに分割し、各ブロック内のビットプレーンを、付加情報メモリ３２に記憶された付加情報に基づいて並べ替えることにより、画像に付加情報を埋め込み、符号化データとして出力する。
【００６７】
演算処理装置３４が出力する符号化データは、出力バッファ３５に供給され、出力バッファ３５は、その符号化データを一時記憶して出力する。このようにして出力された符号化データは、記録媒体４に供給されて記録され、あるいは伝送媒体５を介して伝送される。
【００６８】
なお、画像メモリ３１は、複数のフレームを記憶することのできるように、複数バンクで構成されており、バンク切り替えを行うことで、画像メモリ３１では、画像データベース１から供給される画像の記憶、および演算処理装置３４による埋め込み符号化処理の対象となっている画像の記憶を、同時に行うことができるようになされている。これにより、画像データベース１から供給される画像が、動画であっても、符号化データのリアルタイム出力を行うことができるようになされている。
【００６９】
次に、図８は、図６の埋め込み符号化器３の機能的な構成例を示している。なお、この図８に示した機能的な構成は、演算処理装置３４が記録媒体３３に記憶されたコンピュータプログラムを実行することで実現されるようになされている。
【００７０】
付加情報作成部４１は、付加情報メモリ３２（図６）に記憶された付加情報を読み出し、そのフォーマットを、画像に埋め込むのに適切なものに変換して、ビットプレーン変換部４４に供給するようになされている。ブロック化部４２は、画像メモリ３１（図６）に記憶された画像を、例えば、フレーム単位で読み出し、所定のブロックに分割して、ビットプレーン化部４３に供給するようになされている。
【００７１】
ビットプレーン化部４３は、ブロック化部４２からの各ブロックを、そのブロックを構成する画素の画素値を表すビット列の各ビットごとのビットプレーンに分割し、ビットプレーン変換部４４に供給するようになされている。即ち、画像を構成する各画素値に、例えば、８ビットが割り当てられているとすると、ビットプレーン化部４３は、ブロック内の画素値の最下位ビット、最下位ビットから２ビット目のビット、３ビット目のビット、・・・、７ビット目のビット、最上位ビット（以下、適宜、それぞれを第１乃至第８ビットという）それぞれからなるビットプレーンを構成し、ビットプレーン変換部４４に供給するようになされている。
【００７２】
ビットプレーン変換部４４は、付加情報作成部４１から供給される付加情報にしたがって、ビットプレーン化部４３からの各ブロックのビットプレーンの順番を並べ替え、これにより、画像に付加情報を埋め込み、再画像化部４５に供給するようになされている。
【００７３】
ここで、例えば、上述のように、画素値に８ビットが割り当てられている場合には、１のブロックからは、８のビットプレーンが得られる。そして、８のビットプレーンの並べ替え方は、８！（！は階乗を表す）通りあるから、１のブロックには、最大で、ｌｏｇ2（８！）ビット（但し、小数点以下は切り捨て）の付加情報を埋め込むことができる。付加情報作成部４１は、付加情報メモリ３２に記憶された付加情報を、そのようなビット数単位のフォーマットにして、ビットプレーン交換部４４に供給するようになされている。
【００７４】
再画像化部４５は、ビットプレーン交換部４４からビットプレーンの並べ替えが行われたブロックを順次受信し、例えば、１フレーム分のブロックを受信すると、それらのブロックから１フレームの画像を再構成する。そして、再画像化部４５は、その再構成した画像を符号化データとして、出力部４６に出力するようになされている。出力部４６は、再画像化部４５からの符号化データを、所定のタイミングで出力するようになされている。
【００７５】
次に、図９のフローチャートを参照して、図７の埋め込み符号化器３において行われる埋め込み符号化処理について説明する。
【００７６】
まず最初に、ステップＳ１では、付加情報作成部４１において、１フレームの画像に埋め込むことのできる分の付加情報が、付加情報メモリ３２から読み出されて受信されるとともに、ブロック化部４２において、１フレームの画像（ディジタル画像データ）が、画像メモリ３１から読み出されて受信される。
【００７７】
そして、ステップＳ２に進み、ブロック化部４２は、１フレームの画像を所定のブロック（例えば、横×縦が４×４画素のブロック）に分割し、ビットプレーン化部４３に供給する。ビットプレーン化部４３では、ステップＳ３において、ブロック化部４２からの各ブロックがビットプレーンに分割され、ビットプレーン交換部４４に供給される。
【００７８】
このようにビットプレーン化部４３からビットプレーン変換部４４に、各ブロックのビットプレーンが供給されるタイミングで、付加情報作成部４１は、付加情報を、ビットプレーン変換部４４に供給する。
【００７９】
ビットプレーン変換部４４は、ビットプレーン化部４３から各ブロックのビットプレーンを受信するとともに、付加情報作成部４１から付加情報を受信すると、ステップＳ４において、ビットプレーン化部４３からの所定のブロックを注目ブロックとして、その注目ブロックのビットプレーンを、付加情報作成部４１からの付加情報にしたがって並べ替え、再画像化部４５に供給する。
【００８０】
その後、ステップＳ５に進み、ビットプレーン変換部４４において、１フレーム分のブロックすべてを注目ブロックとして処理（ビットプレーンを並べ替える処理）を行ったかどうかが判定され、まだ、１フレームのブロックすべてを処理していないと判定された場合、ステップＳ６に進み、まだ処理の対象としていないブロック（例えば、ラインスキャン順で、いま注目ブロックとなっているブロックの次のブロック）を、新たに注目ブロックとして、ステップＳ４に戻る。そして、付加情報作成部４１からビットプレーン変換部４４に対して、新たに付加情報が供給されるのを待って、ステップＳ４以降の処理を繰り返す。
【００８１】
一方、ステップＳ５において、１フレームのブロックすべてを処理したと判定された場合、ステップＳ７に進み、再画像化部４５は、ビットプレーンの並べ替えが行われた１フレーム分のブロックから、１フレームの画像を再構成し、符号化データとして、出力部４６に供給する。さらに、ステップＳ７では、出力部４６において、再画像化部４５からの符号化データが出力され、処理を終了する。
【００８２】
なお、以上の埋め込み符号化処理は、１フレームごとに行われる。
【００８３】
以上のように、各ブロックのビットプレーンを、付加情報に対応して並べ替えることにより、各ブロックに、付加情報を埋め込む場合には、その逆の並べ替えを行うことで、元の画像を復号することができ、さらに、どのような並べ替えを行ったかということが付加情報となる。従って、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に付加情報を埋め込むことができる。
【００８４】
即ち、画像については、ブロックを構成するビットプレーンにおけるビットどうしの相関は、基本的に、上位ビットのビットプレーンほど高い（下位ビットのビットプレーンほど低い）。従って、このような画像の相関性、即ち、ここでは、ビットプレーンを構成するビットどうしの相関を利用することにより、付加情報にしたがって並べ替えられたビットプレーンは、オーバヘッドなしで、元の順番に並べ替えることができ、さらに、その並べ替え方により、付加情報を復号ことができる。従って、その結果得られる復号画像（再生画像）には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【００８５】
次に、図１０は、図６の埋め込み符号化器３が出力する符号化データを、画像の相関性を利用して元の画像と付加情報に復号する図１の埋め込み復号器６のハードウェアの構成例を示している。
【００８６】
符号化データ、即ち、付加情報が埋め込まれた画像（以下、適宜、埋め込み画像ともいう）は、入力バッファ５１に供給されるようになされており、入力バッファ５１は、埋め込み画像を、例えば、フレーム単位で一時記憶する。なお、入力バッファ５１は、図６の画像メモリ３１と同様に構成され、バンク切り替えを行うことにより、埋め込み画像が、動画であっても、そのリアルタイム処理が可能となっている。
【００８７】
演算処理装置５２は、記録媒体５３に記憶されたプログラムを実行することで、後述するような埋め込み復号処理を行う。即ち、例えば、ＣＤ−ＲＯＭやＨＤでなる記録媒体５３は、埋め込み復号処理を行うためのプログラムを記憶しており、演算処理装置５２は、そのプログラムを実行することで、入力バッファ５１に記憶された埋め込み画像を、画像の相関性を利用して元の画像と付加情報に復号する。
【００８８】
具体的には、演算処理装置５２は、例えば、図６の演算処理装置３４と同様に、入力バッファ５１に記憶されたフレームごとの埋め込み画像（ディジタル画像データ）をブロック化し、各ブロックを、そのブロックを構成する画素の画素値を表すビット列の各ビットごとのビットプレーンに分割する。さらに、演算処理装置５２は、ブロックの各ビットプレーン内のビットどうしの相関を、そのビットプレーンの相関として求める。
【００８９】
即ち、演算処理装置５２は、例えば、図１１に示すように、まず、相関を計算するビットプレーンをブロックから取り出す。そして、いま、ブロックが、例えば、上述したように、４×４画素で構成される場合、ビットプレーンも、横×縦が４×４ビットで構成されることになるが、この場合、演算処理装置５２は、その４×４ビットのビットプレーンから、例えば、その中心部分の２×２ビットＡ，Ｂ，Ｃ，Ｄそれぞれを中心とした小ブロック（図１１では、３×３ビットの小ブロック）を構成する。さらに、演算処理装置５２は、各小ブロックについて、その中心のビットと同一の値のビットの数をカウントし、そのカウント値を、小ブロックの中心画素と、他の画素との間の相関として求める。ここで、図１１においては、ビットプレーンの中心部分の２×２ビットＡ，Ｂ，Ｃ，Ｄのうちの、ビットＡを中心とする小ブロックについての相関が計算されているが、ビットＡは０であり、その小ブロックにおいて、ビットＡと同一の値のビットは５ビット存在するから、ビットＡを中心とする小ブロックについての相関は５となる。
【００９０】
演算処理装置５２は、他の小ブロックについても同様にして相関を求め、このようにして求めたビットＡ乃至Ｄそれぞれを中心とする小ブロックについての相関どうしを加算し、その加算値を、ビットプレーンの相関とする。
【００９１】
そして、演算処理装置５２は、ブロックのすべてのビットプレーンの相関を求めると、図１２に示すように、相関の高いビットプレーンが最上位ビット側に位置するとともに、相関の低いビットプレーンが最下位ビット側に位置するように、即ち、相関の昇順に、ビットプレーンを並べ替えることにより、ブロックを復号する。ここで、図１２では（上述の図８においても同様）、濃度の薄いビットプレーンほど、相関の高いビットプレーンを表している。
【００９２】
演算処理装置５２は、以上のようにして、埋め込み画像のブロックを構成するビットプレーンを昇順に並べ替えることにより元の画像のブロックを復号すると、その復号ブロックを、画像メモリ５４に供給して記憶させる。さらに、演算処理装置５２は、復号ブロックについて、並び替え前のビットプレーンの並びと、並び替え後のビットプレーンの並びとを比較することにより、ビットプレーンがどのように並び替えられていたかを検出し、その検出結果に基づき、ブロックのビットプレーンを並べ替えることにより埋め込まれていた付加情報を復号し、付加情報メモリ５６に供給して記憶させる。
【００９３】
画像メモリ５４は、演算処理装置５２からのブロックを受信して一時記憶し、１フレーム分のブロックを記憶すると、それを、画像処理部５５に供給する。画像処理部５５は、例えば、画像を表示する表示装置や、画像を記録する記録装置などでなり、画像メモリ５４から供給される画像を表示し、あるいは記録等する。
【００９４】
一方、付加情報メモリ５６では、演算処理装置５２からの付加情報が受信されて一時記憶される。そして、付加情報メモリ５６に記憶された付加情報は、付加情報処理部５７によって読み出され、表示その他の処理が施される。
【００９５】
次に、図１３は、図１０の埋め込み復号器６の機能的な構成例を示している。なお、この図１３に示した機能的な構成は、演算処理装置５２が記録媒体５３に記憶されたコンピュータプログラムを実行することで実現されるようになされている。
【００９６】
入力部６１は、埋め込み復号器６に供給される埋め込み画像（符号化データ）を受信し、ブロック化部６２に供給するようになされている。ブロック化部６２は、入力部６１からの埋め込み画像を、図８のブロック化部４２と同様のブロックにブロック化し、ビットプレーン化部６３に供給するようになされている。ビットプレーン化部６３は、ブロック化部６２からのブロックを、図８のビットプレーン化部４３における場合と同様にしてビットプレーンに分割し、ビットプレーン並び替え処理部６４に供給するようになされている。
【００９７】
ビットプレーン並び替え処理部６４は、ビットプレーン化部６３からのブロックを構成するビットプレーンを、その相関に基づいて並べ替えるようにことにより、元の画像のブロックを復号し、その復号ブロックを、再画像化部６６に供給するようになされている。即ち、ビットプレーン並び替え処理部６４は、ビットプレーン化部６３からのブロックのビットプレーンを、ビットプレーン相関計算部６５に供給して、例えば、図１１で説明したような各ビットプレーンの相関を計算させる。さらに、ビットプレーン並び替え処理部６４は、ビットプレーン相関計算部６５によって求められた相関が昇順に並ぶように、ブロックのビットプレーンを並び替え、これにより、元の画像のブロックを復号する。そして、ビットプレーン並び替え処理部６４は、その復号ブロックを、再画像化部６６に供給するとともに、復号ブロックについての並び替え前のビットプレーンの並びと、並び替え後のビットプレーンの並びとを、付加情報取得部６８に供給する。
【００９８】
ビットプレーン相関計算部６５は、ビットプレーン並び替え処理部６４の制御にしたがい、ビットプレーンの相関を計算するようになされている。
【００９９】
再画像化部６６は、ビットプレーン並び替え処理部６４からビットプレーンの並べ替えが行われたブロック（復号ブロック）を順次受信し、例えば、１フレーム分の復号ブロックを受信すると、それらの復号ブロックから１フレームの元の画像を再構成するようになされている。そして、再画像化部６６は、その再構成した画像を復号画像として、画像出力部６７に供給するようになされている。画像出力部６は、再画像化部６６からの復号画像を、所定のタイミングで出力するようになされている。
【０１００】
付加情報取得部６８は、ビットプレーン並び替え処理部６４からの、復号ブロックについての並び替え前のビットプレーンの並びと、並び替え後のビットプレーンの並びと比較することにより、ビットプレーンがどのように並び替えられていたかを検出し、その検出結果に基づき、復号ブロックのビットプレーンを並べ替えることにより埋め込まれていた付加情報を復号するようになされている。そして、復号された付加情報は、付加情報出力部６９に供給されるようになされており、付加情報出力部６９は、付加情報取得部６８からの付加情報を、所定のタイミングで出力するようになされている。
【０１０１】
次に、図１４のフローチャートを参照して、図１３の埋め込み復号器６において行われる埋め込み復号処理について説明する。
【０１０２】
入力部６１に、１フレームの埋め込み画像（符号化データ）が供給されると、入力部６１は、ステップＳ１１において、その１フレームの埋め込み画像を、ブロック化部６２に入力する。ブロック化部６２は、ステップＳ１２において、１フレームの埋め込み画像をブロック化し、その結果得られるブロックを、ビットプレーン化部６３に供給する。ビットプレーン化部６３は、ステップＳ１３において、ブロック化部６２からの各ブロックをビットプレーンに分割し、ビットプレーン並び替え処理部６４に供給する。
【０１０３】
ビットプレーン並び替え処理部６４は、ステップＳ１４において、ビットプレーン化部６３からの所定のブロックを注目ブロックとして、その注目ブロックの各ビットプレーンの相関を、ビットプレーン相関計算部６５に計算させる。そして、ビットプレーン並び替え処理部６４は、ステップＳ１５において、ビットプレーンの相関が昇順に並ぶように、注目ブロックのビットプレーンを並び替え、これにより、元の画像のブロックを復号する。さらに、ビットプレーン並び替え処理部６４は、その復号ブロックを、再画像化部６６に供給するとともに、復号ブロックについての並び替え前のビットプレーンの並び（に関する情報）と、並び替え後のビットプレーンの並び（に関する情報）とを、付加情報取得部６８に供給する。
【０１０４】
付加情報取得部６８は、ビットプレーン並び替え処理部６４からの、復号ブロックについての並び替え前のビットプレーンの並びと、並び替え後のビットプレーンの並びと比較することにより、ビットプレーンがどのように並び替えられていたかを検出し、その検出結果に基づき、復号ブロックのビットプレーンを並べ替えることにより埋め込まれていた付加情報を復号し、付加情報出力部６９に供給する。
【０１０５】
その後、ステップＳ１６に進み、ビットプレーン並び替え処理部６４において、１フレーム分のブロックすべてを注目ブロックとして処理（ビットプレーンを並べ替える処理）を行ったかどうかが判定され、まだ、１フレームのブロックすべてを処理していないと判定された場合、ステップＳ１７に進み、図９のステップＳ６における場合と同様に、まだ処理の対象としていないブロックを、新たに注目ブロックとして、ステップＳ１４に戻り、ステップＳ１４以降の処理を繰り返す。
【０１０６】
一方、ステップＳ１６において、１フレームのブロックすべてを処理したと判定された場合、ステップＳ１８に進み、再画像化部６６は、ビットプレーンの並べ替えが行われた１フレーム分の復号ブロックから、１フレームの元の画像を再構成し、復号画像として、画像出力部６７に供給する。画像出力部６７では、再画像化部４５からの復号画像が出力され、さらに、付加情報出力部６９において、付加情報取得部６８からの付加情報が出力され、処理を終了する。
【０１０７】
なお、以上の埋め込み復号処理は、１フレームの埋め込み画像ごとに行われる。
【０１０８】
以上のように、付加情報が埋め込まれた画像である符号化データを、画像の相関性を利用して、元の画像と付加情報に復号するようにしたので、その復号のためのオーバヘッドがなくても、符号化データを、元の画像と付加情報に復号することができる。従って、その復号画像には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【０１０９】
次に、上述したように、画像については、ブロックを構成するビットプレーンの相関は、基本的に、上位ビットのビットプレーンほど高いが、稀にそうでないブロックがある。即ち、上位ビットのビットプレーンの相関と同一か、あるいはそれより大きい（高い）相関の下位ビットのビットプレーンが存在することがある。ここで、以下、適宜、そのような下位ビットのビットプレーンが存在するブロックを、不適合ブロックという。
【０１１０】
一方、埋め込み復号処理では、上述したように、埋め込み画像のブロックのビットプレーンは、相関が昇順になるように並べ替えられるから、不適合ブロックは、正しく復号することができず、また、そこに埋め込まれた付加情報も正しく復号することができない。
【０１１１】
そこで、埋め込み符号化処理においては、ブロックが不適合ブロックであるかどうかを判定し、ブロックが不適合ブロックである場合には、付加情報を埋め込む対象としないようにするとともに、不適合ブロックを認識するための情報（以下、適宜、ブロック情報という）を、オーバーヘッドとして、埋め込み画像に付加するようにすることができる。
【０１１２】
図１５は、そのような埋め込み符号化処理を行う埋め込み符号化器３の機能的構成例を示している。なお、図中、図８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１５の埋め込み符号化器３は、ブロック情報付加部４７が新たに設けられている他は、図８における場合と、基本的に同様に構成されている。
【０１１３】
図１５の実施の形態では、ビットプレーン変換部４４において、注目ブロックを構成するビットプレーンの並び替えが行われる前に、その注目ブロックを構成する各ビットプレーンの相関が求められる。そして、ビットプレーン変換部４４は、上位ビットのビットプレーンの相関と同一か、あるいはそれより大きい相関の下位ビットのビットプレーンが、注目ブロック内に存在するかどうかを判定し、存在しない場合、即ち、注目ブロックが不適合ブロックでない場合、図８における場合と同様に、その注目ブロックに付加情報を埋め込んで、再画像化部４５に出力する。
【０１１４】
一方、注目ブロックが不適合ブロックである場合、ビットプレーン変換部４４は、その旨を、ブロック情報付加部４７に出力するとともに、不適合ブロックである注目ブロックには、付加情報を埋め込まずに、そのまま再画像化部４５に出力する。
【０１１５】
ブロック情報付加部４７は、注目ブロックが不適合ブロックである旨を、ビットプレーン変換部４４から受信すると、その不適合ブロックを特定するためのブロック情報を、再画像化部４５に供給し、埋め込み画像に付加させる。
【０１１６】
ここで、例えば、画像のブロックに、ラインスキャン順にシーケンシャルな番号を、ブロック番号として割り当ておき、ブロック情報としては、そのようなブロック番号を用いることが可能である。上述したように、ブロックが不適合ブロックである場合は稀であるから、ブロック番号をブロック情報として用いることで、埋め込み画像に付加される、オーバヘッドとしてのブロック情報は、それほど大きなデータ量にはならない。
【０１１７】
以上のように、埋め込み符号化器３において、埋め込み画像に、ブロック情報を付加するようにした場合には、埋め込み復号器６（図１３）のビットプレーン並び替え処理部６４において、ブロック情報に基づいて、注目ブロックが不適合ブロックかどうかを判定し、不適合ブロックである場合には、埋め込み復号処理の対象としないようにすることで、ブロックおよび付加情報が正しく復号されなくなることを防止することができる。
【０１１８】
なお、本実施の形態では、４×４画素のブロックを構成するようにしたが、ブロック情報を用いない場合においては、より多数の画素からブロックを構成する方が、画像および付加情報の復号の精度を向上させることができる。但し、ブロックを多くの画素から構成するということは、１フレームから得られるブロックの数が少なくなるから、その分、埋め込むことのできる付加情報は少なくなる。
【０１１９】
また、本実施の形態では、画素値を８ビットとして、ブロックを構成する８枚すべてのビットプレーンを並び替えの対象とするようにしたが、並び替えの対象とするビットプレーンは、その一部のビットプレーンだけにすることができる。例えば、最上位ビットのビットプレーンと最下位ビットのビットプレーンだけを、並び替えの対象とした場合には、最上位ビットのビットプレーンの相関が、最下位ビットのビットプレーンの相関より大きい確率は非常に高いから（最上位ビットのビットプレーンの相関が、最下位ビットのビットプレーンの相関以下であることはほとんどないから）、ブロック情報を用いなくても、画像および付加情報の復号の精度を向上させることができる。但し、並び替えの対象とするビットプレーンを少なくすると、やはり、その分、埋め込むことのできる付加情報は少なくなる。
【０１２０】
さらに、ビットプレーンの並び替えは、例えば、複数のビットプレーン単位で行うようにすることも可能である。即ち、本実施の形態では、ブロックは、第１ビット乃至第８ビットの８枚のビットプレーンから構成されるが、隣接する第１ビットおよび第２ビットのビットプレーン、第３ビットおよび第４ビットのビットプレーン、第５ビットおよび第６ビットのビットプレーン、第７ビットおよび第８ビットのビットプレーンの２枚のビットプレーンを１組として、その組のビットプレーン単位で並び替えを行うようにすることが可能である。この場合、各組の相関としては、その組の２枚のビットプレーンの相関の和などを用いることができる。なお、ビットプレーンの並び替えを、複数のビットプレーン単位で行う場合も、画像および付加情報の復号の精度を向上させることができるが、並び替えの場合の数が少なくなるので、やはり、その分、埋め込むことのできる付加情報は少なくなる。
【０１２１】
従って、ブロックの構成や、ビットプレーンの並び替えを、どのビットプレーンを対象に、どのような組み合わせで行うかは、復号の精度と、埋め込むことのできる付加情報のデータ量とのバランスを考慮して適切に決めるのが望ましい。
【０１２２】
また、ビットプレーンの相関の計算方法は、上述した手法に限定されるものではない。即ち、ビットプレーンの相関としては、そのビットプレーンのあるビットに注目した場合に、その注目ビットと同一の値のビットが、注目ビットのより近くにあることと、そのビット数がより多いことを反映するような値であれば、どのようなものを用いても良い。従って、０と１の数が同一の２つのビットプレーンであっても、その０と１の配置位置によって、その２つのビットプレーンの相関は異なる。即ち、２つのビットプレーンのうちの一方において、例えば、０と１とが五の目格子状に配置されており、他方において、左半分に１が配置され、残りの右半分に０が配置されている場合には、０または１それぞれの数は同一であるが、一方より、他方の方が、１または０それぞれが同一の値に近い位置にあるので、その相関は大きくなる。
【０１２３】
さらに、本実施の形態では、空間的に隣接する画素からブロックを構成するようにしたが、ブロックは、その他、例えば、時間的に隣接する画素から構成するようにしても良い。
【０１２４】
また、本実施の形態では、演算処理装置３４または５２に、コンピュータプログラムを実行させることで、埋め込み符号化処理または埋め込み復号処理をそれぞれ行うようにしたが、これらの処理は、それ専用のハードウェアによって行うことも可能である。
【０１２５】
さらに、本実施の形態では、演算処理装置３４または５２に実行させるコンピュータプログラムを、記録媒体３３または５３にそれぞれ記憶させて提供するようにしたが、このコンピュータプログラムは、その他、例えば、インターネット、地上波、衛星回線、公衆網、ＣＡＴＶ網などの伝送媒体を介して提供するようにすることも可能である。
【０１２６】
また、付加情報として用いる情報は、特に限定されるものではなく、例えば、画像や、音声、テキスト、コンピュータプログラム、その他のデータを付加情報として用いることが可能である。なお、画像データベース１の画像の一部を付加情報とし、残りを、付加情報を埋め込む画像とすれば、その残りの部分に、付加情報とされた画像の一部分が埋め込まれるから、画像の圧縮が実現されることになる。
【０１２７】
【発明の効果】
請求項１に記載の符号化装置および請求項８に記載の符号化方法、並びに請求項１６に記載の記録媒体によれば、第１のデータの少なくとも一部のデータが、所定のビット数のデータが複数集められて構成されるブロックにブロック化され、ブロックが、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割される。そして、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータが埋め込まれて符号化される。従って、その情報が埋め込まれた画像から、画像の相関性を利用することで、元の画像と情報を復号することが可能となる。
【０１２８】
請求項９に記載の画像処理装置および請求項１４に記載の画像処理方法、並びに請求項１７に記載の提供媒体によれば、符号化データの少なくとも一部のデータが、所定のビット数のデータが複数集められて構成されるブロックにブロック化され、ブロックが、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割される。そして、ブロックの各ビットプレーン内のビットどうしの相関が求められ、相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックがビットプレーン単位で入れ替えられることにより符号化データが元の第１のデータに復号されると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータが復号される。
従って、画質の劣化のない画像と、元の情報を得ることが可能となる。
【０１２９】
請求項１２に記載の画像処理システムによれば、第１のデータの少なくとも一部のデータが、所定のビット数のデータが複数集められて構成されるブロックにブロック化され、ブロックが、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割される。そして、第２のデータに従って、第１のデータの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより、第１のデータに第２のデータに関するデータが埋め込まれて符号化される。一方、符号化データの少なくとも一部のデータが、所定のビット数のデータが複数集められて構成されるブロックにブロック化され、ブロックが、所定のビット数のデータを表わすビット列の各ビットごとのビットプレーンに分割される。そして、ブロックの各ビットプレーン内のビットどうしの相関が求められ、求められた相関に基づいて、符号化データの少なくとも一部のデータの少なくとも１つのブロックをビットプレーン単位で入れ替えることにより符号化データが元の第１のデータに復号されると共に、入れ替えに応じて符号化データに埋め込まれた第２のデータが復号される。従って、画質の劣化のない画像と、元の情報を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】符号化対象の画像を示す図である。
【図３】相関性を利用した符号化／復号を説明するための図である。
【図４】連続性を利用した符号化／復号を説明するための図である。
【図５】相似性を利用した符号化／復号を説明するための図である。
【図６】図１の埋め込み符号化器３のハードウェアの構成例を示すブロック図である。
【図７】図７の演算処理装置３４の処理を説明するための図である。
【図８】埋め込み符号化器３の機能的構成例を示すブロック図である。
【図９】埋め込み符号化処理を説明するためのフローチャートである。
【図１０】図１の埋め込み復号器６のハードウェアの構成例を示すブロック図である。
【図１１】ビットプレーンの相関の計算方法を説明するための図である。
【図１２】図１０の演算処理装置５２の処理を説明するための図である。
【図１３】埋め込み復号器６の機能的構成例を示すブロック図である。
【図１４】埋め込み復号処理を説明するためのフローチャートである。
【図１５】埋め込み符号化器３の他の機能的構成例を示すブロック図である。
【符号の説明】
１  画像データベース，  ２  付加情報データベース，  ３  埋め込み符号化器，  ４  記録媒体，  ５  伝送媒体，  ６  埋め込み復号器，  １０  符号化装置，  ２０  復号装置，  ３１  画像メモリ，  ３２  付加情報メモリ，  ３３  記録媒体，  ３４  演算処理装置，  ３５  出力バッファ，  ４１  付加情報作成部，  ４２  ブロック化部，  ４３  ビットプレーン化部，  ４４  ビットプレーン交換部，  ４５  再画像化部，  ４６  出力部，  ４７  ブロック情報付加部，  ５１  入力バッファ，  ５２  演算処理装置，  ５３  記録媒体，５４  画像メモリ，  ５５  画像処理部，  ５６  付加情報メモリ，  ５７  付加情報処理部，  ６１  入力部，  ６２  ブロック化部，  ６３  ビットプレーン化部，  ６４  ビットプレーン並び替え部，  ６５  ビットプレーン相関計算部，  ６６  再画像化部，  ６７  画像出力部，  ６８  付加情報取得部，  ６９  付加情報出力部
【図１】
0003924967.tif 000002
【図２】
0003924967.tif 000003
【図３】
0003924967.tif 000004
【図４】
0003924967.tif 000005
【図５】
0003924967.tif 000006
【図６】
0003924967.tif 000007
【図７】
0003924967.tif 000008
【図８】
0003924967.tif 000009
【図９】
0003924967.tif 000010
【図１０】
0003924967.tif 000011
【図１１】
0003924967.tif 000012
【図１２】
0003924967.tif 000013
【図１３】
0003924967.tif 000014
【図１４】
0003924967.tif 000015
【図１５】
0003924967.tif 000016