(57)【特許請求の範囲】
【請求項１】
少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換してＲＧＢ画像データを生成する第１変換手段と、
前記変換されたＲＧＢ画像の各画素の画素特徴量から前記マルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する推定手段と、
前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の間の差分画像を算出する算出手段と、
前記算出された差分画像に対応する差分画像データを圧縮して圧縮差分画像を生成する第１圧縮手段と、
前記圧縮差分画像の情報を前記生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに埋め込むことによって、前記マルチスペクトル画像を復号する際に用いる復号情報を有するＲＧＢ画像データを重畳ＲＧＢ画像データとして生成する生成手段と、
前記生成された重畳ＲＧＢ画像データを所定の量子化ステップ値に基づいて圧縮することができる第２圧縮手段と、
を備え、
前記生成手段が、
前記量子化ステップ値を超える範囲で画素値の変更を行うことで、前記圧縮差分画像の情報を埋め込むことを特徴とする画像データ処理装置。
【請求項２】
請求項１に記載の画像データ処理装置において、
前記ＲＧＢ画像データを色差画像データに変換する第２変換手段と、
前記色差画像データに含まれる各画素の色差情報を予め定められた周波数帯域を有する複数のサブバンドに分割する分割手段と、
を更に備え、
前記生成手段が、
前記色差情報において、前記量子化ステップ値を超える範囲の前記サブバンドに、前記圧縮差分画像の情報を埋め込む、画像データ処理装置。
【請求項３】
請求項２に記載の画像データ処理装置において、
前記分割手段が、
前記色差画像データにおける各画素の色差情報に離散ウェーブレット変換を施すことによって、当該各画素における色差特徴量を複数の前記サブバンドに分割する、画像データ処理装置。
【請求項４】
請求項１に記載の画像データ処理装置において、
前記変換されたＲＧＢ画像データに対して、離散コサイン変換を施す第３変換手段を更に有し、
前記生成手段が、
前記ＲＧＢ画像データを変換して得られたＤＣＴ係数において、前記量子化ステップ値を超える範囲の周波数帯域に、前記圧縮差分画像の情報を埋め込む、画像データ処理装置。
【請求項５】
少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換して生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに、圧縮差分画像の情報が埋め込まれた重畳ＲＧＢ画像データであって、前記圧縮差分画像の情報が、前記重畳ＲＧＢ画像データを圧縮可能な圧縮手段の量子化ステップ値を超える範囲で画素値の変更を行うことで埋め込まれた重畳ＲＧＢ画像データを取得する取得手段と、
前記重畳ＲＧＢ画像データから４以上の色情報を有するマルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する生成手段と、
前記重畳ＲＧＢ画像データに埋め込まれた情報であって、前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の差分を示す圧縮差分画像の情報を当該重畳ＲＧＢ画像データから抽出する抽出手段と、
前記抽出された圧縮差分画像の情報と、前記推定マルチスペクトル画像データに基づき、前記オリジナルのマルチスペクトル画像を復元する復元手段と、
を具備することを特徴とする画像データ処理装置。
【請求項６】
画像データ処理装置としてのコンピュータを、
少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換してＲＧＢ画像データを生成する第１変換手段、
前記変換されたＲＧＢ画像の各画素の画素特徴量から前記マルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する推定手段、
前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の間の差分画像を算出する算出手段、
前記算出された差分画像に対応する差分画像データを圧縮して圧縮差分画像を生成する第１圧縮手段、
前記圧縮差分画像の情報を前記生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに埋め込むことによって、前記マルチスペクトル画像を復号する際に用いる復号情報を有するＲＧＢ画像データを重畳ＲＧＢ画像データとして生成する生成手段、
前記生成された重畳ＲＧＢ画像データを所定の量子化ステップ値に基づいて圧縮することができる第２圧縮手段、
として機能させるとともに、
前記生成手段が、
前記量子化ステップ値を超える範囲で画素値の変更を行うことで、前記圧縮差分画像の情報を埋め込むことを特徴とプログラム。
【請求項７】
画像データ処理装置としてのコンピュータを、
少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換して生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに、圧縮差分画像の情報が埋め込まれた重畳ＲＧＢ画像データであって、前記圧縮差分画像の情報が、前記重畳ＲＧＢ画像データを圧縮可能な圧縮手段の量子化ステップ値を超える範囲で画素値の変更を行うことで埋め込まれた重畳ＲＧＢ画像データを取得する取得手段、
前記重畳ＲＧＢ画像データから４以上の色情報を有するマルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する生成手段、
前記重畳ＲＧＢ画像データに埋め込まれた情報であって、前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の差分を示す圧縮差分画像の情報を当該重畳ＲＧＢ画像データから抽出する抽出手段、
前記抽出された圧縮差分画像の情報と、前記推定マルチスペクトル画像データに基づき、前記オリジナルのマルチスペクトル画像を復元する復元手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、リモートセンシングやディジタルアーカイブ、医療機器などの分野においては、画像の色再現性が非常に重要になるため、ＲＧＢ画像よりも忠実な色再現が可能なマルチスペクトル画像（以下、「ＭＳＩ」という。）の利用が進みつつある。
【０００３】
このＭＳＩは，ＲＧＢ以外の色成分に対応する情報を有し、忠実な色再現が可能である一方で、現在普及しているＲＧＢ画像用のディスプレイやインターフェース（伝送路を含む）などは、ＭＳＩの画像データ（以下、「ＭＳＩデータ」という。）の表示及び伝送等に利用できないケースが多く、ＭＳＩ普及の障害となっている。
【０００４】
このＭＳＩデータをＲＧＢ用のディスプレイ等において利用する方法の１つとして、ＭＳＩデータをＲＧＢ画像データに変換して、当該変換後のＲＧＢ画像データをＲＧＢ用ディスプレイ及びインターフェースを用いて、表示等する方法が考えられる。
【０００５】
しかしながら、ＭＳＩデータをＲＧＢ画像データに変換した場合には、ＭＳＩデータに含まれるＲＧＢ以外の色成分に関する情報がほとんど失われてしまうため、ＭＳＩデータをＲＧＢ画像データに変換した時点で、ＭＳＩ本来の色再現性が損なわれてしまう可能性が高くなっている。
【０００６】
このため、最近では、例えば、Ｗｉｅｎｅｒ推定法などの不良設定問題の解決手法を用いることによってＲＧＢ画像データからＭＳＩデータを復元する方法が用いられている。
【０００７】
しかしながら、Ｗｉｅｎｅｒ推定法などの手法は、３つの色成分を有するＲＧＢ画像データからより多くの色成分を有するＭＳＩデータを推定しつつ、ＭＳＩデータを復元するめ、復元精度には限界があり、推定したＭＳＩデータにおいては、画質が劣化する可能性が高くなる。
【０００８】
そこで、近年では、ＭＳＩデータを変換して得られるＲＧＢ画像データにＭＳＩデータを復元する際に必要な情報（以下、「補完情報」という。）を付加し、当該付加された補完情報を用いてＲＧＢ画像データからＭＳＩデータを復元する際の復元精度を向上させる方法も提案されている（例えば、非特許文献１）。
【０００９】
この方法においては、ＭＳＩデータをＲＧＢ画像データに変換するとともに、当該ＲＧＢ画像からＷｉｅｎｅｒ推定法によって推定されるＭＳＩデータと、オリジナルのＭＳＩデータと、の差分値に対応する補正情報を算出して、ＲＧＢ画像データに付加する方法が採用されており、ＲＧＢ画像データから、ＭＳＩデータを復元する際には、この補正情報を用いることによって、ＭＳＩの復元精度を向上させる構成が採用されている。
【００１０】
また、この方法においては、符号化されたデータのデータ量を調節することで、ＲＧＢ画像データと復元されるＭＳＩデータの画質を調節することが可能となっている。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Ｋａｚｕｍａ  Ｓｈｉｎｏｄａ，Ｙｕｒｉ  Ｍｕｒａｋａｍｉ，Ｍａｓａｈｉｒｏ  Ｙａｍａｇｕｃｈｉ  ａｎｄ  Ｎａｇａａｋｉ  Ｏｈｙａｍａ  ”Ｌｏｓｓｌｅｓｓ  ａｎｄ  ｌｏｓｓｙ  ｃｏｄｉｎｇ  ｆｏｒ  ｍｕｌｔｉｓｐｅｃｔｒａｌ  ｉｍａｇｅ  ｂａｓｅｄ  ｏｎ  ｓＲＧＢ  ｓｔａｎｄａｒｄ  ａｎｄ  ｒｅｓｉｄｕａｌ  ｃｏｍｐｏｎｅｎｔｓ”、  Ｊｏｕｒｎａｌ  ｏｆ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ２０（２）  ０２００３  ０２３００３−１，  ２０１１
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記非特許文献１に記載の方法において生成される補正情報の付加されたＲＧＢ画像データは、通常のＲＧＢ形式の画像データではないため、従来の一般的なＲＧＢ用ディスプレイ及びインターフェース等をそのまま利用することができず、設計上の制約が発生してしまう。
【００１３】
本発明は、上記課題を解決するためになされたものであり、その目的は、通常のＲＧＢ画像用のディスプレイ等を利用することが可能であって、かつ、ＭＳＩデータを高精度に復元可能な画像データを生成することが可能な画像データ処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上述した課題を解決するため、本発明の画像データ処理装置は、少なくとも４以上の色情報を有するオリジナルのマルチスペクトル画像をＲＧＢの画素特徴量を有するＲＧＢ画像に変換してＲＧＢ画像データを生成する第１変換手段と、前記変換されたＲＧＢ画像の各画素の画素特徴量から前記マルチスペクトル画像を推定して推定マルチスペクトル画像データを生成する推定手段と、前記推定されたマルチスペクトル画像と、前記オリジナルのマルチスペクトル画像と、の間の差分画像を算出する算出手段と、前記算出された差分画像に対応する差分画像データを圧縮して圧縮差分画像を生成する第１圧縮手段と、前記圧縮差分画像の情報を前記生成されたＲＧＢ画像データ又は当該ＲＧＢ画像データを変換した画像データに埋め込むことによって、前記マルチスペクトル画像を復号する際に用いる復号情報を有するＲＧＢ画像データを重畳ＲＧＢ画像データとして生成する生成手段と、前記生成された重畳ＲＧＢ画像データを所定の量子化ステップ値に基づいて圧縮することができる第２圧縮手段と、を備え、前記生成手段が、前記量子化ステップ値を超える範囲で画素値の変更を行うことで、前記圧縮差分画像の情報を埋め込む構成を有している。
【発明の効果】
【００１５】
本発明は、差分画像の情報を補完情報として含む重畳ＲＧＢ画像データをＲＧＢ形式のデータとして生成できるので、重畳ＲＧＢ画像データの表示等に一般的なディスプレイ等を利用することができ、かつ、差分画像の情報を用いてＭＳＩデータを高精度に復元することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態における画像データ生成システムの構成を示すシステム構成図である。
【図２】第１実施形態の画像データ生成システムにおいて重畳ＲＧＢ画像データを生成する際の動作原理を説明する概念図である。
【図３】第１実施形態の画像データ生成システムにおいてＭＳＩデータを復元する際の動作原理を説明する概念図である。
【図４】第１実施形態の画像データ処理装置の構成を示すブロック図である。
【図５】第１実施形態の画像データ処理装置において実行される重畳ＲＧＢ画像データの生成処理を示すフローチャートである。
【図６】第１実施形態の画像データ処理装置において重畳ＲＧＢ画像データからＭＳＩデータを復元する際に実行される処理を示すフローチャートである。
【図７】第２実施形態の画像データ生成システムにおいてＣｒ信号にＤＷＴを施した際に得られるサブバンドの構成を示す図である。
【図８】第２実施形態の画像データ生成システムにおいて重畳ＲＧＢ画像データを生成する際の動作原理を説明する概念図である。
【図９】第２実施形態の画像データ生成システムにおいてＭＳＩデータを復元する際の動作原理を説明する概念図である。
【図１０】第２実施形態の画像データ生成システム１においてＣｒ信号のサブバンドに圧縮差分画像データを埋め込みつつ、重畳ＲＧＢ画像データを生成した場合における画像の変化状態を示す図（その１）である。
【図１１】第２実施形態の画像データ生成システム１においてＣｒ信号のサブバンドに圧縮差分画像データを埋め込みつつ、重畳ＲＧＢ画像データを生成した場合における画像の変化状態を示す図（その２）である。
【図１２】第２実施形態の画像データ処理装置の構成を示すブロック図である。
【図１３】第２実施形態の画像データ処理装置において実行される重畳ＲＧＢ画像データの生成処理を示すフローチャート（その１）である。
【図１４】第２実施形態の画像データ処理装置において実行される重畳ＲＧＢ画像データの生成処理を示すフローチャート（その２）である。
【図１５】第２実施形態の画像データ処理装置において重畳ＲＧＢ画像データからＭＳＩデータを復元する際に実行される処理を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、被写体を撮像するカメラと、当該カメラから画像データを取得して、当該画像データに処理を施す画像データ処理装置と、を有する画像データ生成システムに対し、本発明に係る、画像データ処理装置及びプログラムを適用した場合の実施形態である。
【００１８】
［１］第１実施形態
はじめに、図１〜図８を用いて本発明に係る画像データ生成システム１の第１実施形態について説明する。
【００１９】
［１．１］画像データ処理システムの概要
まず、図１を用いて、本実施形態の画像データ生成システム１の概要について説明する。なお、図１は、本実施形態の画像データ生成システム１の全体構成を示すシステム構成図である。
【００２０】
本実施形態の画像データ生成システム１は、図１に示すように、被写体Ｏに対して、所定の距離を持って設置される複数台のカメラ１０と、各カメラ１０によって供給される画像データに対して、画像処理を施す画像データ処理装置２０Ａと、を備え、少なくとも４以上の色成分に対応する色情報を有し、被写体Ｏを画像化してそのＭＳＩデータを生成するためのシステムである。
【００２１】
特に、本実施形態の画像データ生成システム１は、ＭＳＩデータを高精度に復元可能なデータを埋め込むことによって、通常のＲＧＢ画像用のディスプレイ等において利用することが可能なＲＧＢ形式の画像データ（すなわち、ＲＧＢ画像データ）を形成し、かつ、当該ＲＧＢ画像データからＭＳＩデータを復元することが可能なＲＧＢ画像データ（以下、「重畳ＲＧＢ画像データ」という。）を生成するシステムである。
【００２２】
各カメラ１０は、例えば、モノクロのデジタルカメラであり、光学システムと、該光学システムから入力された光学画像を電気信号に変換するＣＣＤＩ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）と、ＣＣＤＩにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有している。
【００２３】
各カメラ１０には、各々、異なる波長の光を透過するカラーフィルタＦが設けられている。また、各カメラ１０は、このカラーフィルタＦを介して、被写体Ｏを撮像することによって、自機に設けられたカラーフィルタＦを透過した光に対応する画像を撮像し、当該撮像した画像に対応する画像データを画像データ処理装置２０Ａに供給する。
【００２４】
すなわち、各カメラ１０は、光学システムのレンズの全面に設けられたカラーフィルタＦを透過した光をＣＣＤＩセンサによって受光することによって、被写体Ｏを撮像し、カラーフィルタＦに対応する色成分の画像データを生成する。
【００２５】
例えば、本実施形態においては、図１に示すように、「赤外光」と、「赤」と、「黄色」と、「緑」と、「青」と、「紫」と、の６つの色成分に対応する色情報（例えば、階調値）を有するＭＳＩデータを生成するため、各カメラ１０−１〜１０−６は、それぞれ、各色成分に対応する波長の光のみを透過するカラーフィルタＦ１〜Ｆ６を有している。
【００２６】
なお、本実施形態においては、６つの色成分の場合について説明するが、これだけに限らず、４以上の色成分の場合であれば、ＭＳＩを構成する色成分数のカメラ１０を用意すれば、本実施形態は成立する。
【００２７】
画像データ処理装置２０Ａは、例えば、パーソナルコンピュータ等の情報処理装置であり、各カメラ１０によって各々異なる色にて同一の被写体Ｏが撮像された画像化された画像データを各カメラ１０から取得し、当該各カメラ１０から供給される画像データを合成する。
【００２８】
具体的には、画像データ処理装置２０Ａは、
（１）カメラ１０から供給される各色成分に対応する画像データを合成することによって、ＭＳＩデータを生成するＭＳＩデータ生成機能と、
（２）上記手法により、当該ＭＳＩデータから重畳ＲＧＢ画像データＲＧＢｗを生成する重畳ＲＧＢ画像データ生成機能と、
（３）上記手法によって重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元するＭＳＩデータ復元機能と、
を有している。
【００２９】
［１．２］重畳ＲＧＢ画像データの生成原理
次に、本実施形態における重畳ＲＧＢ画像データ生成原理について説明する。
【００３０】
通常、ＭＳＩデータは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三原色に追加して、三原色以外の色成分（色特徴量）を有するものであるため、ディスプレイやＶＧＡ（ビデオ・グラフィックス・アレイ）などの一般的なＲＧＢ対応機器やインターフェースを利用して画像を再生することができない。
【００３１】
そして、ＭＳＩデータに、ＲＧＢ画像の変換手順を適用するだけでは、ＭＳＩデータに含まれるＲＧＢ以外の色情報が失われてしまうため、単にＲＧＢ画像の情報だけでは、オリジナルのＭＳＩデータを復元することが難しい。
【００３２】
一方、オリジナルのＭＳＩを復元するために、変換したＲＧＢ画像データに補完情報をＲＧＢ画像データに、電子透かし技術を適用して、埋め込むことも可能であるが、ＲＧＢ画像データは伝送過程や表示過程において情報量の関係で高い頻度で圧縮される可能性があるため、当該補完情報の成分が圧縮処理により削除されない、もしくは、圧縮処理による欠損が生じない周波数領域やビットに埋め込む必要がある。
【００３３】
例えば、補完情報が埋め込まれたＲＧＢ画像データ（以下、「重畳ＲＧＢ画像データ」という。）が、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）２０００方式などの所定の圧縮方式によって画像圧縮（符号化）された場合には、量子化の過程において、重畳ＲＧＢ画像データの高周波成分が量子化されてしまう。
【００３４】
このため、例えば、重畳ＲＧＢ画像データの最下位ビットに補完情報を埋め込んだとしても、重畳ＲＧＢ画像データを圧縮する際に、所定の量子化ステップ以下の周波数帯域に埋め込まれた補完情報に関しては、高周波数成分として量子化されてしまい、ＭＳＩデータの復元に利用することができなくなる可能性が高い。なお、この最下位ビットに補完情報を埋め込む手法（以下、「最下位ビットの埋め込み手法」という。）については、後述の実験結果に比較例として示す。
【００３５】
そこで、本実施形態の画像データ生成システム１は、オリジナルＭＳＩを復元するために必要な補完情報を電子透かしとしてＲＧＢ画像データに埋め込まれた、通常のＲＧＢ画像として機能を有する重畳ＲＧＢ画像データを生成するとともに、当該補完情報を、量子化の影響を受けない領域に埋め込む構成を有している。
【００３６】
具体的には、本実施形態の画像データ生成システム１は、重畳ＲＧＢ画像データの圧縮を行う際の量子化ステップをαとした場合に、当該量子化ステップαよりも大きな値となる領域（すなわち、±（α＋１）以上となる領域）に補完情報として圧縮差分画像データｅｃを埋め込む構成を有している。
【００３７】
例えば、重畳ＲＧＢ画像データをＪＰＥＧ２０００方式で圧縮する場合には、重畳ＲＧＢ画像データに離散ウェーブレット変換（以下、「ＤＷＴ」という。）を施して、当該ＤＷＴによって得られるウェーブレット変換係数を量子化する場合には、スカラー量子化、ポスト量子化のいずれの場合においても帯域ごとに最大となる量子化ステップαを定められるため、α＋１以上の領域に圧縮差分画像データｅｃが埋め込まれることとなる。この結果、重畳ＲＧＢ画像データを圧縮した場合においても、量子化の過程において、圧縮差分画像データｅｃが量子化されることを防止することが可能となる。
【００３８】
そして、本実施形態の画像データ生成システム１は、このような構成を有することによって、重畳ＲＧＢ画像データを通常のＲＧＢ画像データとして利用可能であって、たとえ伝送過程や表示過程において画像圧縮されたとしても、オリジナルＭＳＩデータを復元する際の色再現性を向上させることができるようになっている。
【００３９】
また、量子化ステップαを大きく設定した場合には、圧縮耐性を強化できるものの、それに伴い、重畳ＲＧＢ画像の画質劣化が大きくなるというトレードオフの関係となる。
【００４０】
例えば、重畳ＲＧＢ画像データにおいて高ビットプレーンに補完情報を埋め込む場合には、圧縮耐性を強化できる一方で、画質に影響を与えることになる。
【００４１】
そこで、本実施形態の画像データ生成システム１は、重畳ＲＧＢ画像の画質に与える影響を小さくすることが可能な範囲内で重畳ＲＧＢ画像データに補完情報を埋め込む構成を有している。
【００４２】
具体的には、本実施形態の画像データ生成システム１は、例えば各階調値が２４ビットで規定される重畳ＲＧＢ画像においては、ＪＰＥＧ２０００などの圧縮方式によって１／１０のデータ量に圧縮されることを想定すると、量子化ステップとして下位２ビットが量子化される可能性が高いため、画素値に４程度の変動を与えることで補完情報を埋め込む、もしくは、下位３ビット目に電子透かしとして補完情報を埋め込むようになっている。
【００４３】
［１．３］画像データ生成システムの概要動作
次に、図２及び図３を用いて、本実施形態の画像データ生成システム１において、ＲＧＢ画像データに補完情報を埋め込み、重畳ＲＧＢ画像データＲＧＢｗを生成する際の概要動作及び重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元する際の概要動作について説明する。
【００４４】
なお、図２は、本実施形態の画像データ生成システム１において重畳ＲＧＢ画像データＲＧＢｗを生成する際の動作概要を説明する概念図であり、図３は、本実施形態の画像データ生成システム１においてＭＳＩデータを復元する際の動作概要を説明する概念図である。
【００４５】
（重畳ＲＧＢ画像データの生成）
まず、画像データ処理装置２０Ａは、図２に示すように、各カメラ１０から供給される画像データを合成しつつ、オリジナルのＭＳＩデータを生成し（図２［１］）、当該ＭＳＩデータをｓＲＧＢ（スタンダードＲＧＢ）色空間のＲＧＢ画像に変換することにより、ＲＧＢ画像データを生成する（図２［２］）。
【００４６】
このとき、画像データ処理装置２０Ａは、生成したＲＧＢデータに含まれる各画素に対応する画素値において、例えば、上記量子化ステップα以下の係数値や，αによって影響を受けるビットプレーンを「０」に置換することによって、切り出しＲＧＢ画像データＲＧＢ’を生成する（図２［３］）。
【００４７】
そして、画像データ処理装置２０Ａは、切り出しＲＧＢ画像データＲＧＢ’に対して、Ｗｉｅｎｅｒ推定法を適用することによって、ＲＧＢ画像の各画素の画素値からＭＳＩを推定し、当該推定したＭＳＩに対応する推定ＭＳＩデータＭＳＩ’を生成する（図２［４］）。
【００４８】
また、画像データ処理装置２０Ａは、生成した推定ＭＳＩデータＭＳＩ’と、オリジナルのＭＳＩデータと、に含まれる各画素の画素値の差分値を算出することによって差分画像データｅを生成する（図２［５］）。なお、この差分値は、ＲＧＢ画像データに埋め込む補完情報の基礎となる情報である。
【００４９】
一方、画像データ処理装置２０Ａは、算出した差分画像データを所定の圧縮手法（例えば、ＪＰＥＧ２０００方式）で圧縮（すなわち、符号化）して、圧縮差分画像データｅｃを生成する（図２［６］）。
【００５０】
なお、差分画像データを圧縮する方式については任意であり、ＪＰＥＧ、ＪＰＥＧ−ＸＴ、ＪＰＥＧ−ＸＲ、ＷｅｂＰ等の方法を採用することも可能である。
【００５１】
すなわち、差分画像データｅのデータ量は、オリジナルのＭＳＩデータに含まれる色数によって大きく変動し、ＭＳＩが多く色成分を有する場合には、差分画像データｅのデータ量が、非常に大きくなってしまうため、画像データ処理装置２０Ａは、算出した差分画像データを圧縮する構成を有している。
【００５２】
そして、画像データ処理装置２０Ａは、生成した圧縮差分画像データｅｃを、生成した切り出しＲＧＢ画像データＲＧＢ’において量子化の影響を受けない領域に補完情報として埋め込み、重畳ＲＧＢ画像データＲＧＢｗを生成する（図２［６］）。
【００５３】
（重畳ＲＧＢ画像データからのＭＳＩデータの復元）
一方、本実施形態においては、図３に示すように、画像データ処理装置２０Ａは、上述のように生成された重畳ＲＧＢ画像データＲＧＢｗから圧縮差分画像データｅｃを抽出する（図３［１］）。
【００５４】
そして、画像データ処理装置２０Ａは、重畳ＲＧＢ画像データＲＧＢｗにおいて、圧縮差分画像データｅｃの埋め込まれていた領域を「０」に置換しつつ、切り出しＲＧＢ画像データＲＧＢ’を生成し（図３［２］）、当該生成した切り出しＲＧＢ画像データＲＧＢ’にＷｉｅｎｅｒ推定法を適用して推定ＭＳＩデータＭＳＩ’を生成する（図３［３］）。
【００５５】
次いで、画像データ処理装置２０Ａは、重畳ＲＧＢ画像データＲＧＢｗから抽出した圧縮差分画像データｅｃをＪＰＥＧ２０００方式にて伸張（すなわち、復号）して、差分画像データｅを生成し（図３［４］）、差分画像データｅと、推定ＭＳＩデータと、に含まれる各画素の画素値を加算することによって、ＭＳＩデータ（以下、「復元ＭＳＩデータ」という。）を復元する（図３［５］）。
【００５６】
この結果、本実施形態の画像データ生成システム１は、重畳ＲＧＢ画像データＲＧＢｗをＪＰＥＧ２０００等の方式によって圧縮した場合であっても、圧縮差分画像データｅｃが欠損することを防止しつつ、当該圧縮差分画像データｅｃを用いて、高精度にオリジナルのＭＳＩデータを復元することができるようになっている。
【００５７】
［１．４］画像データ処理装置の構成
次に、図４を用いて本実施形態の画像データ処理装置２０Ａの構成について説明する。なお、図４は、本実施形態の画像データ処理装置２０Ａの構成を示すブロック図である。
【００５８】
本実施形態の画像データ処理装置２０Ａは、図４に示すように、各種の情報に対応するデータが記録される記録部２００と、上記各機能を実現するための処理を実行するデータ処理部２６０と、キーボード、マウス、タッチパネル等により構成される操作部２７０と、装置管理制御部２８０と、を有し、上記の各部は、バスＢによって相互に接続されている。
【００５９】
記録部２００は、例えば、ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）により構成され、その記録領域内に、少なくとも、アプリケーション記録部２０１と、生成されたＭＳＩデータ及び重畳ＲＧＢ画像データＲＧＢｗを記録するための画像データ記録部２０２と、各カメラ１０を管理するための情報が記録されるカメラ管理情報記録部２０３と、ワークエリア及び画像バッファとして機能するＲＡＭ２０４と、が設けられている。
【００６０】
アプリケーション記録部２０１には、（１）各カメラ１０によって生成された画像データに基づき、ＭＳＩデータを生成するための処理と、（２）上記手法によってＭＳＩデータから重畳ＲＧＢ画像データＲＧＢｗを生成する処理と、（３）重畳ＲＧＢ画像データに基づき、ＭＳＩデータを復元する処理と、を実現するためのアプリケーションが記録される。
【００６１】
カメラ管理情報記録部２０３には、各カメラ１０を管理するための情報として、カメラ管理テーブルＴＢＬが記録される。
【００６２】
このカメラ管理テーブルＴＢＬには、例えば、各カメラ１０を識別するためのカメラＩＤと、当該カメラ１０によって撮像される画像の色成分を示す色成分情報と、が対応付けて格納される。
【００６３】
例えば、図１に示すように６台のカメラ１０を利用する場合には、カメラ１０−１〜１０−６の各々を識別するためのカメラＩＤと対応付けて、当該カメラ１０によって撮像される画像に対応する色成分情報として、「赤外」、「赤」、「黄」、「緑」、「青」、「紫」の各色成分を示す色成分情報が記録されることになる。
【００６４】
なお、カメラ管理テーブルＴＢＬに格納されるデータは、画像データ生成システム１によって生成するＭＳＩデータの色成分数に応じて変化し、画像データ生成システム１を構成するカメラの台数分のデータが格納されることとなる。
【００６５】
Ｉ／Ｏインターフェース部２１０は、例えば、ＵＳＢ（Ｕｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  ｂｕｓ）、無線ＬＡＮ（ＩＥＥＥ８０２．１１ａ、ｂ、ｎ、ａｃ）、ＨＤＭＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ：登録商標）等の入出力用インターフェースであり、各カメラ１０と有線又は無線にて通信接続され、各カメラ１０とバスＢとの間におけるデータの授受を中継する。
【００６６】
なお、Ｉ／Ｏインターフェース部２１０には、ＶＧＡ規格に従ってデータの授受を行うインターフェースを介して、ＲＧＢ用のディスプレイを接続するようにしてもよい。
【００６７】
データ処理部２６０は、独立した中央演算処理装置（ＣＰＵ）によって構成され、又は、装置管理制御部２８０の中央演算処理装置（ＣＰＵ）を用いて構成される。
【００６８】
そして、データ処理部２６０は、装置管理制御部２８０による制御の下、アプリケーション記録部２０１に記録されたアプリケーションを実行することにより、上記手法にて、ＭＳＩデータから重畳ＲＧＢ画像データＲＧＢｗを生成するとともに、重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元するための処理を実行する。
【００６９】
具体的には、データ処理部２６０は、ＭＳＩデータを生成するＭＳＩデータ生成部２６１と、ＭＳＩデータをＲＧＢ画像データに変換するＲＧＢ画像データ生成部２６２と、ＲＧＢ画像からＭＳＩを推定するＭＳＩ推定部２６３と、差分画像データｅを生成する差分画像データ生成部２６４と、画像データ圧縮・伸張部２６５と、埋め込み処理部２６６と、圧縮画像データ抽出部２６７と、ＭＳＩ復元部２６８と、を実現する。
【００７０】
なお、例えば、ＲＧＢ画像データ生成部２６２、ＭＳＩ推定部２６３、差分画像データ生成部２６４、画像データ圧縮・伸張部２６５及び埋め込み処理部２６６は、各々、本発明の「第１変換手段」、「推定手段」、「算出手段」及び「生成手段」を構成し、圧縮画像データ抽出部２６７及びＭＳＩ復元部２６８は、各々、本発明の「抽出手段」及び「復元手段」を構成する。
【００７１】
ＭＳＩデータ生成部２６１は、Ｉ／Ｏインターフェース部２１０を介して、カメラ１０から供給される各色成分に対応する画像データを合成することにより、オリジナルのＭＳＩデータを生成して、差分画像データ生成部２６４に供給する。
【００７２】
このとき、ＭＳＩデータ生成部２６１は、カメラ管理テーブルＴＢＬに格納されたデータに基づいて、各カメラ１０から供給される画像データに対応する色成分を特定しつつ、カメラ１０から供給される画像データを合成して、ＭＳＩデータを生成する。
【００７３】
なお、ＭＳＩデータ生成部２６１においてＭＳＩデータを生成する際の処理は、任意であり、例えば、各色成分に対応する画像データを重ね合わせることによって、ＭＳＩデータを生成するようにしてもよい。
【００７４】
ＲＧＢ画像データ生成部２６２は、ＭＳＩデータを例えば、ｓＲＧＢ（スタンダードＲＧＢ）色空間のＲＧＢ画像に変換することにより、ＲＧＢ画像データを生成する。
【００７５】
例えば、ＲＧＢ画像データ生成部２６２は、Ｗｉｅｎｅｒ推定法によりＭＳＩデータから推定した分光反射率に、人間の目に対応する分光感度である等色関数と，標準のＤ６５光源における再現照明光を掛け合わせることで，ＸＹＺ三刺激値を求め、さらに、そのＸＹＺ三刺激値からＲＧＢ値を算出する。
【００７６】
なお、分光反射率の算出方法、ＸＹＺ三刺激値からＲＧＢ値を算出する方法については、従来と同様であるため、詳細を省略する。
【００７７】
また、本実施形態においては、説明を具体化するため、ＲＧＢ画像データ生成部２６２が、上記構成を有するものとして説明を行うが、ＲＧＢ画像データ生成部２６２は、ＭＳＩデータの任意の３チャネルの色情報を、それぞれ、Ｒ、Ｇ、Ｂに対応する色チャネルに割り当てることによって、ＲＧＢ画像データを生成することも可能である。
【００７８】
さらに、ＲＧＢ画像データ生成部２６２が生成する画像データの形式は任意であり、ＲＧＢ形式以外の形式で３つの色チャネルを有する画像データを生成するようにしてもよい。
【００７９】
ＭＳＩ推定部２６３は、Ｗｉｅｎｅｒ推定法を用いることによって、ＲＧＢ画像データからＭＳＩを推定し、当該推定されたＭＳＩに対応する推定ＭＳＩデータＭＳＩ’を生成する。
【００８０】
特に、ＭＳＩ推定部２６３は、このＭＳＩの推定に際して、ＲＧＢ画像データに含まれるＲＧＢ画像の各画素に対応する画素値に基づいて、ＭＳＩを推定するようになっている。
【００８１】
具体的には、ＭＳＩ推定部２６３は、重畳ＲＧＢ画像データＲＧＢｗの生成に際しては、ＲＧＢ画像データ生成部２６２から供給されるオリジナルのＭＳＩデータを変換したＲＧＢ画像データに含まれる各画素に対応する画素値に基づき、ＭＳＩを推定するとともに、当該推定されたＭＳＩに対応する推定ＭＳＩデータＭＳＩ’を生成する。
【００８２】
また、ＭＳＩ推定部２６３は、重畳ＲＧＢ画像データからＭＳＩデータを復元する際には、重畳ＲＧＢ画像データＲＧＢｗから圧縮差分画像データｅｃを抽出して得られる切り出しＲＧＢ画像データＲＧＢ’に含まれる各画素に対応する画素値、例えば，下位ｎビットまでを圧縮差分画像データの埋め込みに使用した場合には、下位ｎビットが０に置換されている画素値に基づきＭＳＩを推定して、対応する推定ＭＳＩデータＭＳＩ’を生成する。
【００８３】
差分画像データ生成部２６４は、ＭＳＩ推定部２６３によって生成される推定ＭＳＩデータＭＳＩ’と、オリジナルのＭＳＩデータと、の差分値を算出することによって、上記差分画像データｅを生成する。
【００８４】
特に、差分画像データ生成部２６４は、オリジナルのＭＳＩデータに含まれる各画素に対応する画素値と、推定ＭＳＩデータＭＳＩ’に含まれる各画素に対応する画素値と、の差を取って、画素毎に画素値の差分値を算出しつつ、各画素の画素値の差分値からなる差分画像データｅを生成する。
【００８５】
画像データ圧縮・伸張部２６５は、ＪＰＥＧ２０００方式のコーデックを搭載しており、供給される画像データをＪＰＥＧ２０００方式で符号化（圧縮）及び復号（伸張）する。
【００８６】
特に、画像データ圧縮・伸張部２６５は、重畳ＲＧＢ画像データＲＧＢｗを生成する際には、差分画像データ生成部２６４から供給される差分画像データｅをＪＰＥＧ２０００などの方式で符号化して圧縮差分画像データｅｃを生成する。
【００８７】
また、画像データ圧縮・伸張部２６５は、重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元する際には、後述する圧縮画像データ抽出部２６７によって抽出される圧縮差分画像データｅｃを復号して、差分画像データｅを生成する。
【００８８】
さらに、画像データ圧縮・伸張部２６５は、上記重畳ＲＧＢ画像データＲＧＢｗの符号化及び復号を行う機能を有している。
【００８９】
埋め込み処理部２６６は、ＲＧＢ画像データ生成部２６２によって生成されたＲＧＢ画像データに対して、圧縮差分画像データｅｃを埋め込むための処理を実行する。
【００９０】
特に、埋め込み処理部２６６は、ＲＧＢ画像データに含まれる画素値において、上記量子化ステップα以下のビットプレーンを「０」に置換して、切り出しＲＧＢ画像データＲＧＢ’を生成するとともに、量子化ステップαよりも値の大きい領域（例えばαのｍｏｓｔ  ｓｉｇｎｉｆｉｃａｎｔ  ｂｉｔより一つ上位のビットプレーン）に圧縮差分画像データｅｃを埋め込んで、重畳ＲＧＢ画像データＲＧＢｗを生成する。
【００９１】
圧縮画像データ抽出部２６７は、重畳ＲＧＢ画像データＲＧＢｗから圧縮差分画像データｅｃを抽出し、画像データ圧縮・伸張部２６５に供給する。
【００９２】
ＭＳＩ復元部２６８は、
（１）ＭＳＩ推定部２６３によって生成された推定ＭＳＩデータＭＳＩ’と、
（２）圧縮画像データ抽出部２６７によって抽出された圧縮差分画像データｅｃを画像データ圧縮・伸張部２６５により伸張して得られる差分画像データｅと、
を加算することによって、ＭＳＩデータを復元する。
【００９３】
［１．５］画像データ生成システムにおける動作
［１．５．１］重畳ＲＧＢ画像データの生成処理
次に、図５を参照しつつ、本実施形態の画像データ生成システム１において重畳ＲＧＢ画像データＲＧＢｗを生成する生成処理の動作について説明する。なお、図５は、本実施形態の画像データ処理装置２０Ａにおいて実行される重畳ＲＧＢ画像データＲＧＢｗの生成処理を示すフローチャートである。
【００９４】
まず、ＭＳＩデータ生成部２６１は、Ｉ／Ｏインターフェース部２１０を介して、カメラ１０から供給される画像データを合成して、被写体Ｏに関するオリジナルのＭＳＩデータを生成する（ステップＳａ１００）。
【００９５】
次いで、ＲＧＢ画像データ生成部２６２は、当該生成されたＭＳＩデータをｓＲＧＢ色空間のＲＧＢ画像に変換することにより、ＲＧＢ画像データを生成する（ステップＳａ１０１）。
【００９６】
次いで、埋め込み処理部２６６は、生成されたＲＧＢ画像データの画素値において、上記量子化ステップα以下の周波数領域のビットプレーンを「０」に置換して、切り出しＲＧＢ画像データＲＧＢ’を生成する（ステップＳａ１０２）。
【００９７】
そして、ＭＳＩ推定部２６３は、切り出しＲＧＢ画像データＲＧＢ’に対してＷｉｅｎｅｒ推定法を適用することによって、切り出しＲＧＢ画像データＲＧＢ’からＭＳＩを推定し、推定ＭＳＩデータＭＳＩ’を生成する（ステップＳａ１０３）。
【００９８】
次いで、差分画像データ生成部２６４は、ＭＳＩデータ生成部２６１から供給されるオリジナルのＭＳＩデータと、ＭＳＩ推定部２６３から供給される推定ＭＳＩデータＭＳＩ’と、の差分値を算出することによって、差分画像データｅを生成する（ステップＳａ１０４）。
【００９９】
次いで、画像データ圧縮・伸張部２６５は、当該生成された差分画像データｅをＪＰＥＧ２０００方式で符号化することによって、圧縮差分画像データｅｃを生成する（ステップＳａ１０５）。
【０１００】
次いで、埋め込み処理部２６６は、切り出しＲＧＢ画像データＲＧＢ’に含まれる画素値において、量子化ステップαよりも値の大きい領域に当該生成された圧縮差分画像データｅｃを埋め込むことによって重畳ＲＧＢ画像データＲＧＢｗを生成する（ステップＳａ１０６）。
【０１０１】
次いで、画像データ圧縮・伸張部２６５は、当該生成された重畳ＲＧＢ画像データＲＧＢｗをＪＰＥＧ２０００方式で圧縮して（ステップＳａ１０７）、処理を終了する。
【０１０２】
［１．５．２］ＭＳＩデータの復元処理
次に、図６を用いて、本実施形態の画像データ生成システム１おいて、重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元する際の動作について説明する。なお、図６は、本実施形態の画像データ処理装置２０Ａにおいて実行される重畳ＲＧＢ画像データＲＧＢｗからＭＳＩデータを復元する処理を示すフローチャートである。
【０１０３】
まず、画像データ圧縮・伸張部２６５は、重畳ＲＧＢ画像データＲＧＢｗを復号する（ステップＳｂ１００）。
【０１０４】
次いで、圧縮画像データ抽出部２６７は、重畳ＲＧＢ画像データＲＧＢｗから圧縮差分画像データｅｃを抽出し、当該ビットプレーンを「０」に置換することによって切り出しＲＧＢ画像データＲＧＢ’に変換する（ステップＳｂ１０１）。
【０１０５】
次いで、画像データ圧縮・伸張部２６５は、圧縮差分画像データｅｃをＪＰＥＧ２０００方式で復号して、差分画像データｅに変換する（ステップＳｂ１０２）。
【０１０６】
次いで、ＭＳＩ推定部２６３は、切り出しＲＧＢ画像データＲＧＢ’に対して、Ｗｉｅｎｅｒ推定法を適用することによって、ＭＳＩを推定し、当該推定したＭＳＩに対応する推定ＭＳＩデータＭＳＩ’を生成する（ステップＳｂ１０３）。
【０１０７】
次いで、ＭＳＩ復元部２６８は、得られた推定ＭＳＩデータ ＭＳＩ’に差分画像データｅを加算することにより、ＭＳＩデータを復元して（ステップＳｂ１０４）、処理を終了する。
【０１０８】
以上説明したように、本実施形態の画像データ生成システム１においては、オリジナルのＭＳＩデータをＲＧＢデータに変換して、当該ＲＧＢ画像データに含まれる各画素に対応する画素値において、量子化の影響を受けないビットプレーンを圧縮差分画像データｅｃに置換することによって重畳ＲＧＢ画像データＲＧＢｗを生成することができる。
【０１０９】
したがって、本実施形態の画像データ生成システム１は、一般的なＲＧＢ用ディスプレイ等を利用しつつ、ＭＳＩデータに対応する画像を表示させることができるとともに、重畳ＲＧＢ画像データＲＧＢｗを伝送する際には、ＶＧＡ等のＲＧＢ用のインターフェースを利用することができるので、ＭＳＩの普及を促進することができる。
【０１１０】
また、オリジナルのＭＳＩデータに赤外領域等の不可視項領域の画像が含まれる場合においても、当該赤外領域の画像を差分画像データとして抽出できるので、本実施形態の手法によれば、赤外領域の画像を高画質に復元することができる。
【０１１１】
なお、圧縮差分画像データｅｃは、重畳ＲＧＢ画像データＲＧＢｗのデータ圧縮時に量子化の過程で量子化されない領域に埋め込まれるため、重畳ＲＧＢ画像データＲＧＢｗをＪＰＥＧ２０００等の方式によって圧縮した場合であっても、圧縮差分画像データｅｃが量子化されることを防止しつつ、当該圧縮差分画像データｅｃを用いて、高精度にオリジナルのＭＳＩデータを復元することができる。
【０１１２】
［２］第２実施形態
次に、図７〜図１５を用いて本発明に係る画像データ生成システム１の第２実施形態について説明する。
【０１１３】
［２．１］画像データ生成システムの特徴
まず、図７を用いて本実施形態の画像データ生成システムの特徴について説明する。なお、図７は、色差信号であるＣｒ信号に離散ウェーブレット変換（ＤＷＴ）を施した際に得られるサブバンド構成を示す図である。
【０１１４】
本実施形態においては、ＭＳＩデータを変換して得られるＲＧＢ画像を更にＹＣｂＣｒ形式の色差画像に変換し、当該色差画像のＣｒ信号に圧縮差分画像データｅｃを埋め込む点に特徴がある。
【０１１５】
ここで、本実施形態において、Ｃｒ信号に圧縮差分画像データｅｃを埋め込む手法を採用することとしたのは、色差画像データの輝度信号であるＹ信号を圧縮差分画像データｅｃの埋め込みに利用した場合には、画像の輝度に影響が生じるため、逆色変換した際に、ＲＧＢのすべての信号に圧縮差分画像データｅｃの埋め込みによる値の変化の影響を与えることになるのに対して、色差信号であれば、画質の劣化を小さくすることができるからである。
【０１１６】
なお、本実施形態においては、説明を具体化するため、色差画像データのＣｒ信号に圧縮差分画像データｅｃを埋め込む場合を例に説明を行うが、Ｃｂ信号に圧縮差分画像データを埋め込む構成としてもよく、この場合であっても、画質劣化を抑えつつ、圧縮差分画像データｅｃを埋め込み、画質の劣化を抑えつつ、当該圧縮差分画像データｅｃを用いて、ＭＳＩデータを高精度に復元することが可能である。
【０１１７】
また、この場合においては、以下に説明する、Ｃｒ信号に圧縮差分画像データを埋め込む場合と、同様の原理、構成及び処理を実行することによって、本実施形態と同様の効果を実現することが可能であり、圧縮差分画像データｅｃの埋め込み対象がＣｒ信号からＣｂ信号に変化する点のみが、以下の実施形態と異なってくる。
【０１１８】
具体的には、本実施形態においては、色差信号であるＣｒ信号に離散ウェーブレット変換（ＤＷＴ）を施すとともに、当該Ｃｒ信号の中間周波数サブバンドであるＬＨ２、ＨＬ２、ＨＨ２に補完情報、すなわち、圧縮差分画像データｅｃを埋め込むようになっている。
【０１１９】
通常、ＤＷＴ後のＣｒ信号における低周波数サブバンドであるＬＬ１やＬＬ２に圧縮差分画像データｅｃを埋め込むと，圧縮耐性は強くなるが、画質は大きく劣化すること分かっている。
【０１２０】
その一方、Ｃｒ信号の高周波数サブバンドであるＬＨ１、ＨＬ１、ＨＨ１に圧縮差分画像データｅｃを埋め込むと、画質の劣化を抑えることはできるが、高周波数成分は、重畳ＲＧＢ画像データを圧縮する際に量子化過程において量子化される可能性があるので、圧縮耐性が弱くなる。
【０１２１】
そこで、本実施形態においては、圧縮耐性を持たせつつ、画質劣化を小さくするために、当該Ｃｒ信号の中間周波数サブバンドであるＬＨ２、ＨＬ２及びＨＨ２に、補完情報、すなわち、圧縮差分画像データｅｃを埋め込むようになっている。
【０１２２】
なお、いずれの周波数帯域であっても、その帯域におけるスカラー量子化又はポスト量子化による量子化ステップαを規定できるため、量子化ステップαの影響を受けないビットプレーン等に情報を埋め込むことで、後述する重畳ＲＧＢ画像データｇｗを圧縮した場合であっても、圧縮差分画像データｅｃが欠損することはなく、ＭＳＩデータの復元に当該圧縮差分画像データｅｃを用いることが可能となる。
【０１２３】
すなわち、本実施形態においては、Ｃｒ信号においてＲＧＢ画像を圧縮する際の量子化ステップαの影響を受けない領域に補完情報、すなわち、圧縮差分画像データｅｃを埋め込むようになっている。
【０１２４】
なお、本実施形態におけるその他の構成は、第１実施形態と同様であり、同一の部材には同一の符号を付してその説明を省略する。
【０１２５】
具体的には、本実施形態は、基本的に上記図１と同様の構成によって、実現されるものであるが、重畳ＲＧＢ画像データの生成手法及びＭＳＩデータの復元処理が、上記第１実施形態と異なっており、これに伴って、画像データ処理装置の構成及び動作が、第１実施形態と異なる。そこで、本実施形態は、第１実施形態と異なる点を中心にその説明を行う。
【０１２６】
［２．２］画像データ生成システムの基本原理
次に、図８及び図９を用いて、本実施形態の画像データ生成システムにおける概要動作及び原理について説明する。
【０１２７】
なお、図８は、本実施形態における画像データ生成システムの重畳ＲＧＢ画像データｇｗの生成処理における動作原理を説明する概念図であり、図９は、本実施形態における画像データ生成システムにおいて重畳ＲＧＢ画像データｇｗからＭＳＩデータを復元する復元処理における動作原理を説明する概念図である。
【０１２８】
（重畳ＲＧＢ画像データの生成処理）
本実施形態の画像データ処理装置２０は、図８に示すように、オリジナルのＭＳＩデータｆをＲＧＢ画像データｇに変換し（図８の［１］）、当該ＲＧＢ画像データの各画素に対応する画素値に基づき、ＹＣｂＣｒ形式の色差画像データを生成する（図８の［２］）。
【０１２９】
そして、画像データ処理装置２０Ｂは、ＲＧＢ画像データから変換した色差画像データのＣｒ信号に対して、ＤＷＴ（離散ウェーブレット変換）を施して、Ｃｒ信号を、上述のように、複数の周波数サブバンドの周波数帯域毎に分割する（図８の［３］）。
【０１３０】
このとき、画像データ処理装置２０Ｂは、Ｃｒ信号のＬＨ２、ＨＬ２及びＨＨ２の変換係数を「０」に置換するとともに（図８［４］）、逆離散ウェーブレット変換(ＩＤＷＴ)を施して、切りだしＣｒ信号Ｃｒ’を生成する（図８［５］）。
【０１３１】
一方、画像データ処理装置２０Ｂは、切りだしＣｒ信号Ｃｒ’をＹ信号とＣｂ信号とともに逆色変換を行い、ＲＧＢ画像データｇ’を得る（図８［６］）。
【０１３２】
そして、画像データ処理装置２０Ｂは、ＲＧＢ画像データｇ’に対してＷｉｅｎｅｒ推定法を用いて、ＭＳＩを推定し、推定ＭＳＩデータｆ’を生成する（図８の［７］）。
【０１３３】
特に、画像データ処理装置２０Ｂは、推定ＭＳＩデータｆ’を生成するにあたり、ガンマ補正前のＲＧＢ画素値に戻すため、本実施形態においては、ＲＧＢ画像データｇ’に逆ガンマ補正を行う。なお、逆ガンマ補正の処理については、従来と同様であるため詳細を省略する。
【０１３４】
また、画像データ処理装置２０Ｂは、オリジナルのＭＳＩデータｆと、推定ＭＳＩデータｆ’と、の各画素の画素値の差分値を算出して差分画像データｅを生成する（図８の［８］）。
【０１３５】
さらに、画像データ処理装置２０Ｂは、差分画像データｅをＪＰＥＧ２０００方式で圧縮することによって、圧縮差分画像データｅｃを生成し（図８の［９］）、Ｃｒ信号のサブバンドＬＨ２、ＨＬ２及びＨＨ２に対応する変換係数に対し、圧縮差分画像データｅｃの画素値に置換することによって、Ｃｒ信号に圧縮差分画像データｅｃを埋め込む（図８の［１０］）。
【０１３６】
他方、画像データ処理装置２０Ｂは、このＣｒ信号にＩＤＷＴを施して、埋め込みＣｒ信号Ｃｒｗを生成し（図８の［１１］）、この埋め込みＣｒ信号Ｃｒｗと、輝度信号Ｙと、色差信号Ｃｂと、からなる色差画像をＲＧＢ画像に変換して、重畳ＲＧＢ画像データｇｗを生成する（図８の［１２］）。
【０１３７】
このような処理を実行することよって、本実施形態の画像データ処理装置２０Ｂは、重畳ＲＧＢ画像データｇｗを圧縮する際に圧縮差分画像データｅｃが欠損することを防止して、重畳ＲＧＢ画像データｇｗの圧縮耐性を向上させつつ、圧縮差分画像データｅｃの埋め込みによる重畳ＲＧＢ画像の画質劣化を抑えることが可能な重畳ＲＧＢ画像データｇｗを生成することができる。
【０１３８】
そして、本実施形態の画像データ処理装置２０Ｂは、このように生成した重畳ＲＧＢ画像データｇｗに対して、ＪＰＥＧ２０００方式などの画像圧縮を実行する。
【０１３９】
（ＭＳＩの復元処理）
本実施形態の画像データ処理装置２０Ｂは、ＪＰＥＧ２０００方式などによって伸張された重畳ＲＧＢ画像データｇｗを取得すると、当該取得した重畳ＲＧＢ画像データｇｗを色差画像に変換し、輝度信号Ｙと、色差信号Ｃｂと、差分画像データが埋め込まれた埋め込みＣｒ信号Ｃｒｗと、を生成する（図９の［１］）。
【０１４０】
そして、画像データ処理装置２０Ｂは、埋め込みＣｒ信号Ｃｒｗに対して、ＤＷＴを施し（図９の［２］）、埋め込みＣｒ信号ＣｒｗのサブバンドＬＨ２、ＨＬ２及びＨＨ２から圧縮差分画像データｅｃを抽出する（図９の［３］）。
【０１４１】
一方、画像データ処理装置２０Ｂは、圧縮差分画像データｅｃを抜き出したサブバンドＬＨ２、ＨＬ２及びＨＨ２の変換係数を「０」に置換した後（図９の［４］）、ＩＤＷＴを施すことによって（図９の［５］）、切りだしＣｒ信号Ｃｒ’を生成する。
【０１４２】
そして、画像データ処理装置２０Ｂは、切りだしＣｒ信号Ｃｒ’と、輝度信号Ｙと、色差信号Ｃｂと、からなる色差画像をＲＧＢ画像に変換してＲＧＢ画像データｇ’を生成し（図９の［６］）、当該ＲＧＢ画像データｇ’にＷｉｅｎｅｒ推定法を適用しつつ、推定ＭＳＩデータｆ’を生成する（図９の［７］）。
【０１４３】
他方、画像データ処理装置２０Ｂは、埋め込みＣｒ信号Ｃｒｗから抽出された、圧縮差分画像データｅｃについては、ＪＰＥＧ２０００方式で復号することによって、差分画像データｅに変換し（図９の［８］）、当該差分画像データｅと、推定ＭＳＩデータｆ’と、の各画素に対応する画素値を加算して、復元ＭＳＩデータｆＲを復元する（図９の［９］）。
【０１４４】
このような処理を実行することよって、本実施形態の画像データ処理装置２０Ｂは、重畳ＲＧＢ画像データｇｗを圧縮する際に圧縮差分画像データｅｃが欠損することを防止して、重畳ＲＧＢ画像データｇｗから高精度にＭＳＩデータｆＲを復元することができるようになっている。
【０１４５】
［２．２］実験結果
次に、図１０及び図１１を用いて、本実施形態の画像データ生成システム１における実験結果について説明する。なお、図１０及び図１１は、本実施形態の画像データ生成システム１において、Ｃｒ信号のサブバンドＬＨ２、ＨＬ２及びＨＨ２に圧縮差分画像データｅｃを埋め込みつつ、重畳ＲＧＢ画像データｇｗを生成した場合における画像の変化状態を示す図である。
【０１４６】
本実験結果においては、
（Ａ）特定の被写体Ｏ（やかん）を撮像して得られたＭＳＩデータからＲＧＢ画像データを生成し、
（Ｂ）当該生成したＲＧＢ画像データを変換した色差画像データのＣｒ信号におけるサブバンドＬＨ２、ＨＬ２及びＨＨ２に、圧縮差分画像データを埋め込み、
（Ｃ）重畳ＲＧＢ画像データを生成した。
【０１４７】
そして、当該生成した重畳ＲＧＢ画像データｇｗを他の手法及びＷｉｎｎｅｒ推定によって得られた復元ＭＳＩ画像と比較した結果を表１に示す。
【０１４８】
具体的には、表１には、
（１）被写体Ｏを撮像して得られたオリジナルＭＳＩデータを変換したＲＧＢ画像データからＷｉｅｎｅｒ推定法によって、ＭＳＩデータを推定した場合のＰＳＮＲ（表１の２列目）、
（２）被写体Ｏを撮像して得られたオリジナルのＲＧＢ画像の最下位ビットに圧縮差分画像データを埋め込んだ場合（上述の最下位ビットの埋め込み手法）における重畳ＲＧＢ画像データから復元されるＭＳＩデータのＰＳＮＲ（表１の３列目）、
（３）被写体Ｏを撮像して得られたオリジナルのＲＧＢ画像の最下位ビットに圧縮差分画像データを埋め込んだ場合の重畳ＲＧＢ画像データに対応するＰＳＮＲ（表１の４列目）、
（４）本実施形態の方法を採用した場合における重畳ＲＧＢ画像データのＰＳＮＲ（表１の５列目）、及び、
（５）本実施形態の手法で生成された重畳ＲＧＢ画像データから復元されるＭＳＩデータのＰＳＮＲ（表１の５列目）、
を示す。
【０１４９】
なお、表１において、「ｂｐｐ」は、ＲＧＢの画素値のビットレートを示しており、「２４ｂｐｐ」で画像が圧縮されていない状態、「２．４ｂｐｐ」で、１０倍に圧縮されている状態を示している。
【０１５０】
【表１】
0006706840.tif 000002
【０１５１】
表１に示すように、上記の（１）のＷｉｅｎｅｒ推定法によって推定されるＭＳＩのＰＳＮＲは、約３２．５ｄＢ（デシベル）〜３４ｄＢ程度に留まっている。
【０１５２】
これに対して、上記の（２）及び（３）における重畳ＲＧＢ画像及び当該重畳ＲＧＢ画像から推定される復元ＭＳＩについては、未圧縮である「２４ｂｐｐ」の場合は、非常に高いＰＳＮＲが確保されているものの、この場合における復元ＭＳＩデータに対応するＰＳＮＲは、表１のＷｉｅｎｅｒ推定法におけるＰＳＮＲとほぼ同じ値になった。
【０１５３】
これは、所定の手法によって検討した結果、重畳ＲＧＢ画像を圧縮した場合には圧縮差分画像データが変化したと考えられ、重畳ＲＧＢ画像データＲＧＢｗを圧縮した際に圧縮差分画像データｅｃが変化してしまい、上述のように圧縮差分画像データｅｃを利用することができないことが原因であり、推定誤差を無視してＷｉｅｎｅｒ推定法によりＲＧＢ画像からＭＳＩを推定した結果と考えられた。なお、これらのＰＳＮＲは、Ｗｉｅｎｅｒ推定法におけるＰＳＮＲとほぼ同じ値になるため、表１においては、横線「−」で表記している。
【０１５４】
一方、本実施形態の手法により生成される重畳ＲＧＢ画像データのＰＳＮＲについては、表１に示すようにいずれのビットレートにおいても３９ｄＢ程度のＰＳＮＲが確保できていることが分かった。
【０１５５】
また、本実施形態の手法を採用して生成される重畳ＲＧＢ画像データでは、１０倍の圧縮を行った「２．４ｂｐｐ」の場合であっても、当該重畳ＲＧＢ画像データから復元されるＭＳＩデータのＰＳＮＲは、３４ｄＢ程度確保できており、いずれのビットレートにおいてもＷｉｅｎｅｒ推定法によってＲＧＢ画像から推定されるＭＳＩデータよりも２〜５ｄＢ程度ＰＳＮＲが向上していることが分かった。
【０１５６】
一方、本実施形態の手法によって生成した重畳ＲＧＢ画像データの画質の評価結果を図１０及び１１に示す。
【０１５７】
なお、図１０（Ａ）は、「やかん」を被写体Ｏとして撮像して得られたオリジナルのＭＳＩデータをＲＧＢ画像に変換した画像であり、図１０（Ｂ）は、図１０（Ａ）のＲＧＢ画像データに圧縮差分画像データｅｃを埋め込んだ重畳ＲＧＢ画像データに対応する画像であり、（Ｃ）は、図１０（Ｂ）の重畳ＲＧＢ画像データをＪＰＥＧ２０００方式で１／１０のデータ量に圧縮・伸長した画像データに対応する画像を示している。
【０１５８】
また、図１１は、同一の被写体Ｏ（やかん）について撮像して得られたオリジナルＭＳＩデータに含まれる波長７２０ナノメートルの画像における変化状態を示しており、図１１（Ａ）には、オリジナルのＭＳＩデータに含まれる波長７２０ナノメートルの画像を示し、図１１（Ｂ）には、オリジナルＭＳＩを変換したＲＧＢ画像データに対応するＲＧＢ画像からＷｉｅｎｅｒ推定法により推定した波長７２０ナノメートルにおける画像を示し、図１１（Ｃ）には、本実施形態の方法によって生成した重畳ＲＧＢ画像データｇｗから復元した波長７２０ナノメートルにおける画像を示している。
【０１５９】
なお、図１０及び図１１に示すオリジナルのＭＳＩデータは、色成分数１６、５１２×５１２ピクセル、１つの色成分（すなわち、１バンド）あたり８ｂｐｐ（ビット・パー・ピクセル）の画像を用いている。
【０１６０】
すなわち、ＲＧＢ画像データの場合には、Ｒと、Ｇと、Ｂと、の３つの色成分の情報に各々に８ビットずつが振り当てられ、合計２４ビット・パー・ピクセル（＝８ビット×３）となるが、ＭＳＩの場合と、ＲＧＢの場合と、では、どちらも１バンド辺りのビット数は８ビットになっている。
【０１６１】
図１０に示すように、本実施形態の手法を採用した場合には、重畳ＲＧＢ画像データｇｗにおいては、１０倍に圧縮した場合であっても、オリジナルのＭＳＩから変換したＲＧＢ画像から大きく画質が劣化しないことが分かった。
【０１６２】
また、図１１に示すように、波長７２０ナノメートルに対応する画像については、図１１（Ｂ）に示すようにオリジナルのＭＳＩデータを変換したＲＧＢ画像からＷｉｅｎｅｒ推定法によって推定される画像は、オリジナルＭＳＩから大きく画質が劣化しているのに対して、本実施形態の手法によれば、図１１（Ｃ）に示すように視覚上、オリジナルＭＳＩから大きく画質が劣化していないことが分かった。
【０１６３】
［２．３］画像データ処理装置
次に、図１２を用いて本実施形態の画像データ処理装置２０Ｂの構成について説明する。なお、図１２は、第２実施形態の画像データ処理装置２０Ｂの構成を示すブロック図である。
【０１６４】
本実施形態の画像データ処理装置２０Ｂは、図１２に示すように、図４の構成に加えて、データ処理部２６０に色差画像生成部２６９Ａと、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂと、が設けられている。なお、本実施形態の色差画像生成部２６９Ａと、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂと、は、例えば、本発明の「第２変換部」及び「分割手段」を構成する。
【０１６５】
ＲＧＢ画像データ生成部２６２は、重畳ＲＧＢ画像データｇｗを生成する際には、ＭＳＩデータｆに含まれる各画素の画素値に基づき、ＲＧＢ画像データｇを生成するとともに、色差画像生成部２６９によって生成された、輝度信号Ｙと、色差信号Ｃｂと、切りだしＣｒ信号Ｃｒ’と、に基づき、ＲＧＢ画像データｇ’を生成する。
【０１６６】
また、ＲＧＢ画像データ生成部２６２は、ＭＳＩデータｆＲを復元する際には、重畳ＲＧＢ画像データｇｗに基づき、色差画像生成部２６９Ａにより生成される輝度信号Ｙと、色差信号Ｃｂと、埋め込みＣｒ信号Ｃｒｗから生成される切りだしＣｒ信号Ｃｒ’と、に基づき、ＲＧＢ画像データｇ’を生成する。
【０１６７】
画像データ圧縮・伸張部２６５は、供給される画像データをＪＰＥＧ２０００方式で圧縮及び伸張する機能を有している。
【０１６８】
埋め込み処理部２６６は、重畳ＲＧＢ画像データｇｗを生成する際に、色差画像生成部２６９によって複数のサブバンドに分割されたＣｒ信号のＬＨ２、ＨＬ２及びＨＨ２に対応する変換係数を「０」に置換しつつ、圧縮による量子化の影響を受けないようにα以上の強度を持った圧縮差分画像データｅｃを埋め込むことによって、Ｃｒ信号に圧縮差分画像データｅｃを埋め込むための処理を実行する。
【０１６９】
圧縮画像データ抽出部２６７は、埋め込みＣｒ信号ＣｒｗのサブバンドＬＨ２、ＨＬ２及びＨＨ２から圧縮差分画像データｅｃを抽出して、当該圧縮差分画像データｅｃを抜き出したサブバンド領域の変換係数を「０」に置換する処理を実行するようになっている。
【０１７０】
色差画像生成部２６９Ａは、ＲＧＢ画像データに含まれる各画素に対応する画素値に基づいて、色差画像を生成する機能を有している。
【０１７１】
具体的には、色差画像生成部２６９Ａは、重畳ＲＧＢ画像データｇｗを生成する際には、オリジナルのＭＳＩデータｆを変換して得られるＲＧＢ画像データｇに含まれる各画素に対応する画素値に基づき、輝度信号Ｙと、色差信号Ｃｂと、色差信号Ｃｒを生成する。
【０１７２】
そして、色差画像生成部２６９Ａは、ＭＳＩデータｆＲの復元に際しては、重畳ＲＧＢ画像データｇｗを色差画像に変換して、輝度信号Ｙと、色差信号Ｃｂと、埋め込みＣｒ信号Ｃｒｗを生成する。
【０１７３】
ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、供給されるＣｒ信号に対して、ＤＷＴ及びＩＤＷＴを施す機能を有している。
【０１７４】
特に、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、重畳ＲＧＢ画像データｇｗの生成及びＭＳＩデータｆＲ、の復元に際して、ＤＷＴ後のＣｒ信号において、ＬＨ２、ＨＬ２及びＨＨ２に対応する変換毛数を「０」に置換しつつ、当該置換後のＣｒ信号にＩＤＷＴを施して、切りだしＣｒ信号Ｃｒ’を生成するようになっている。
【０１７５】
［２．４］第２実施形態の動作
［２．４．１］重畳ＲＧＢ画像データの生成処理
次に、図１３及び１４を参照しつつ、本実施形態の画像データ生成システムにおいて重畳ＲＧＢ画像データｇｗを生成する際の動作について説明する。なお、図１３及び１４は、本実施形態の画像データ処理装置２０Ｂにおいて実行される重畳ＲＧＢ画像データｇｗの生成処理を示すフローチャートである。
【０１７６】
まず、ＭＳＩデータ生成部２６１は、Ｉ／Ｏインターフェース部２１０を介して、カメラ１０から供給される画像データを合成して、被写体Ｏに関するオリジナルのＭＳＩデータｆを生成する（ステップＳｃ１００）。
【０１７７】
次いで、ＲＧＢ画像データ生成部２６２は、当該生成されたＭＳＩデータをｓＲＧＢ色空間のＲＧＢ画像に変換することにより、ＲＧＢ画像データｇを生成する（ステップＳｃ１０１）。
【０１７８】
次いで、色差画像生成部２６９は、ＲＧＢ画像データｇに含まれる各画素に対応する画素値に基づき、ＲＧＢ画像データをＹＣｂＣｒ形式の色差画像データに変換する（ステップＳｃ１０２）。
【０１７９】
次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、当該色差画像データに含まれるＣｒ信号に対して、ＤＷＴを施すことによって、Ｃｒ信号を複数のサブバンドに分割する（ステップＳｃ１０３）。
【０１８０】
次いで、埋め込み処理部２６６は、このサブバンドに分割されたＣｒ信号のＬＨ２，ＨＬ２及びＨＨ２の各サブバンドに対応する変換係数を「０」に置換する（ステップＳｃ１０４）。
【０１８１】
次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、一部のサブバンドに対応する変換係数を「０」に置換した後のＣｒ信号に対して、ＩＤＷＴを施すことによって、当該Ｃｒ信号を切りだしＣｒ信号Ｃｒ’に変換する（ステップＳｃ１０５）。
【０１８２】
次いで、ＲＧＢ画像データ生成部２６２は、当該切りだしＣｒ信号Ｃｒ’と、ステップＳｃ１０２において生成した輝度信号Ｙ及び色差信号Ｃｒからなる色差画像データをＲＧＢ画像データｇ’に変換する（ステップＳｃ１０６）。
【０１８３】
次いで、ＭＳＩ推定部２６３は、当該ＲＧＢ画像データｇ’に基づき、推定ＭＳＩデータｆ’を生成する（ステップＳｃ１０７）。
【０１８４】
次いで、差分画像データ生成部２６４は、当該生成された推定ＭＳＩデータｆ’と、オリジナルのＭＳＩデータｆに含まれる各画素の画素値の差分値を算出することによって、差分画像データｅを算出する（ステップＳｃ１０８）。
【０１８５】
次いで、画像データ圧縮・伸張部２６５は、当該差分画像データｅをＪＰＥＧ２０００方式で圧縮して、圧縮差分画像データｅｃを生成する（ステップＳｃ１０９）。
【０１８６】
次いで、埋め込み処理部２６６は、ステップＳｃ１０４において「０」に置換されたＣｒ信号サブバンドの変換係数を圧縮による量子化の影響を受けないようにα以上の強度を持った圧縮差分画像データｅｃを埋め込むことによって、Ｃｒ信号に圧縮差分画像データｅｃを埋め込む（ステップＳｃ１１０）。
【０１８７】
次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、当該埋め込み後のＣｒ信号に対してＩＤＷＴを施すことによって、埋め込みＣｒ信号Ｃｒｗを生成する（ステップＳｃ１１１）。
【０１８８】
次いで、ＲＧＢ画像データ生成部２６２は、当該埋め込みＣｒ信号Ｃｒｗを含む色差画像データを重畳ＲＧＢ画像データｇｗに変換する（ステップＳｃ１１２）。
【０１８９】
次いで、画像データ圧縮・伸張部２６５は、当該生成されたＲＧＢ画像データｇをＪＰＥＧ２０００方式で圧縮して（ステップＳｃ１１３）、本動作を終了する。
【０１９０】
［２．４．２］ＭＳＩデータの復元処理
次に、図１５を参照しつつ、本実施形態の画像データ生成システムにおいてＭＳＩデータｆＲを復元する復元処理について説明する。なお、図１５は、本実施形態の画像データ処理装置２０Ｂにおいて実行されるＭＳＩデータｆＲを復元する復元処理を示すフローチャートである。
【０１９１】
まず、画像データ圧縮・伸張部２６５は、圧縮された重畳ＲＧＢ画像データｇｗをＪＰＥＧ２０００方式で復号する（ステップＳｄ１０１）。
【０１９２】
次いで、色差画像生成部２６９は、当該重畳ＲＧＢ画像データｇｗに含まれる各画素の画素値に基づき、輝度信号Ｙと色差信号Ｃｂ及び埋め込みＣｒ信号Ｃｒｗを含む色差画像データを生成する（ステップＳｄ１０２）。
【０１９３】
次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、当該色差画像データに含まれる埋め込みＣｒ信号ＣｒｗにＤＷＴを施す（ステップＳｄ１０３）。
【０１９４】
次いで、圧縮画像データ抽出部２６７は、当該ＤＷＴ後のＣｒ信号におけるサブバンドＬＨ２、ＨＬ２及びＨＨ２から圧縮差分画像データｅｃを抽出する（ステップＳｄ１０４）。
【０１９５】
次いで、圧縮画像データ抽出部２６７は、当該サブバンドの変換係数を「０」に置換する（ステップＳｄ１０５）。
【０１９６】
次いで、ＤＷＴ／ＩＤＷＴ処理部２６９Ｂは、当該置換後のＣｒ信号にＩＤＷＴを施すことによって、切りだしＣｒ信号Ｃｒ’を生成する（ステップＳｄ１０６）。
【０１９７】
次いで、ＲＧＢ画像データ生成部２６２は、切りだしＣｒ信号Ｃｒ’と、輝度信号Ｙと、色差信号Ｃｂと、からなる色差画像データをＲＧＢ画像データｇ’に変換する（ステップＳｄ１０７）。
【０１９８】
次いで、ＭＳＩ推定部２６３が、ＲＧＢ画像データｇ’の各画素に対応する画素値に基づきＭＳＩを推定し、対応する推定ＭＳＩデータｆ’を生成する（ステップＳｄ１０８）。
【０１９９】
次いで、画像データ圧縮・伸張部２６５は、ステップＳｄ１０４において抽出した圧縮差分画像データｅｃをＪＰＥＧ２０００方式で復号して差分画像データｅを生成する（ステップＳｄ１０９）。
【０２００】
次いで、ＭＳＩ推定部２６３は、当該差分画像データｅと、推定ＭＳＩデータｆ’を加算して、ＭＳＩデータｆＲを復元して（ステップＳｄ１１０）、本動作を終了する。
【０２０１】
以上説明したように、本実施形態の画像データ生成システムにおいては、オリジナルのＭＳＩデータをＲＧＢ画像データに変換した後、色差画像データに変換し、当該色差画像データのＣｒ信号又はＣｂ信号において、サブバンドＬＨ２、ＨＬ２及びＨＨ２おいて量子化による影響が生じない領域に圧縮差分画像データｅｃ埋め込むことによって重畳ＲＧＢ画像データｇｗを生成することができる。
【０２０２】
したがって、本実施形態の画像データ生成システムは、一般的なＲＧＢ用ディスプレイ等を利用しつつ、ＭＳＩデータに対応する画像を表示させることができるとともに、重畳ＲＧＢ画像データｇｗを伝送する際には、ＶＧＡ等のＲＧＢ用のインターフェースを利用することができるので、ＭＳＩの普及を促進することができる。
【０２０３】
また、オリジナルのＭＳＩデータに赤外光などの不可視領域の画像が含まれる場合においても、当該画像を差分画像データとして抽出できるので、本実施形態の手法によれば、不可視領域の画像を高画質に復元することができる。
【０２０４】
［３］変形例
［３．１］変形例１
上記第１実施形態及び第２実施形態におけるＲＧＢ画像データに圧縮差分画像データｅｃを埋め込む方法に代えて、
（１）ＲＧＢ画像データにＤＣＴ（離散コサイン変換）を施し、ＤＣＴ係数において、周波数帯域によって規定される量子化ステップαを超える範囲で画素値の変更を行うことによって、又は、
（２）量子化ステップαのｍｏｓｔ  ｓｉｇｎｉｆｉｃａｎｔ  ｂｉｔより上位のビットプレーンに、
圧縮差分画像データｅｃを埋め込む構成を採用するようにしてもよい。
【０２０５】
この方法を採用した場合であっても、上記第１実施形態と同様に重畳ＲＧＢ画像データの画質劣化を抑えつつ、圧縮差分画像データｅｃを埋め込んだ重畳ＲＧＢ画像データを生成できるとともに、重畳ＲＧＢ画像データから高精度にＭＳＩデータを復元できる。
【０２０６】
［３．２］変形例２
上記第２実施形態においては、ＲＧＢ画像データをＹＣｂＣｒ形式の色差画像データに変換する構成を採用したが、Ｌａｂ、ＸＹＺ等の別の色変換を用い、又は、色変換しない場合についても上記第２実施形態は適用可能であり、その場合においても、変換後のいずれかの色成分に圧縮差分画像データｅｃを埋め込むようにすればよい。
【０２０７】
［３．３］変形例３
上記第２実施形態においては、ＨＬ２、ＬＨ２、ＨＨ２のサブバンドに圧縮差分画像データｅｃを埋め込む構成を採用したが、これ以外のサブバンドを圧縮差分画像データｅｃの埋め込みに利用することも可能である。
【０２０８】
また、この場合における圧縮差分画像データｅｃを埋め込み方法は、量子化ステップαに対して±（α＋１）以上の変動を持たせればよく、サブバンド上で±（α＋１）以上に相当するビットプレーンに埋め込むようにすればよい。
【０２０９】
［３．４］変形例４
上記第１実施形態および第２実施形態においては一律に、重畳ＲＧＢ画像データＲＧＢの圧縮及び復号を行う構成を採用したが、重畳ＲＧＢ画像データの圧縮及び復号については、ユーザが任意に設定することも可能であるし、圧縮及び復号をしなくてもよい。
【０２１０】
そして、ユーザによって、画像圧縮が必要と設定されている場合には、重畳ＲＧＢ画像データの圧縮及び復号を行うのに対して、画像の圧縮が不要と設定されている場合には、重畳ＲＧＢ画像データの圧縮及び復号を実施しなくてもよい。
【符号の説明】
【０２１１】
１  …  画像データ生成システム
１０  …  カメラ
２０Ａ、２０Ｂ  …  画像データ処理装置
２００  …  記録部
２０１  …  アプリケーション記録部
２０２  …  画像データ記録部
２０３  …  カメラ管理情報記録部
２０４  …  ＲＡＭ
２１０  …  Ｉ／Ｏインターフェース部
２６０  …  データ処理部
２６１  …  ＭＳＩデータ生成部
２６２  …  ＲＧＢ画像データ生成部
２６３  …  ＭＳＩ推定部
２６４  …  差分画像データ生成部
２６５  …  画像データ圧縮・伸張部
２６６  …  埋め込み処理部
２６７  …  圧縮画像データ抽出部
２６８  …  ＭＳＩ復元部
２６９Ａ…  色差画像生成部
２６９Ｂ…  ＤＷＴ／ＩＤＷＴ処理部
【図１】
0006706840.tif 000003
【図２】
0006706840.tif 000004
【図３】
0006706840.tif 000005
【図４】
0006706840.tif 000006
【図５】
0006706840.tif 000007
【図６】
0006706840.tif 000008
【図７】
0006706840.tif 000009
【図８】
0006706840.tif 000010
【図９】
0006706840.tif 000011
【図１０】
0006706840.tif 000012
【図１１】
0006706840.tif 000013
【図１２】
0006706840.tif 000014
【図１３】
0006706840.tif 000015
【図１４】
0006706840.tif 000016
【図１５】
0006706840.tif 000017