(57)【要約】【課題】  照明光源の違いを適切に補正して高画質な画像を再生する。【解決手段】  カラー画像データを、該画像データを生成する際に用いられた照明光源に応じて座標変換してから再生する。こうすれば、カラー画像データを照明光源に応じて適切に座標変換してから再生することができるので、照明光源による影響を適切に補正することができ、高画質な画像を再生することが可能となる。カラー画像データは、適切に座標変換してから出力することもできるし、照明光源に関する情報を関連づけた状態で、カラー画像データを出力して、再生する際に適切に座標変換してから画像を再生することもできる。【選択図】        図１
2005260693.tif 000002
【特許請求の範囲】
【請求項１】
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生する画像再生方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する第１の工程と、
前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第２の工程と、
前記座標変換後のカラー画像データを用いて画像を再生する第３の工程と
を備え、
前記第２の工程は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする画像再生方法。
【請求項２】
請求項１記載の画像再生方法であって、
前記第２の工程は、前記変換パラメータとして、前記生成されたカラー画像データの線形変換を行う変換マトリックスを複数記憶しており、前記照明光源情報に基づいて選択した１の変換マトリックスを用いて、該カラー画像データを線形変換する工程である画像再生方法。
【請求項３】
請求項１記載の画像再生方法であって、
前記第２の工程は、前記変換パラメータとして、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しており、前記照明光源情報に基づいて選択した１の変換テーブルを参照することにより、該カラー画像データの座標変換を行う工程である画像再生方法。
【請求項４】
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る工程（Ａ）と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う工程（Ｂ）と、
前記座標変換後のカラー画像データを用いて画像を再生する工程（Ｃ）と
を備え、
前記工程（Ｂ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする画像再生方法。
【請求項５】
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する光源情報取得手段と、
前記カラー画像データに、前記照明光源に応じた所定の座標変換を行う座標変換手段と、
前記座標変換後のカラー画像データを出力する画像データ出力手段と
を備え、
前記座標変換手段は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う手段であることを特徴とする画像データ出力装置。
【請求項６】
請求項５記載の画像データ出力装置であって、
前記座標変換手段は、前記変換パラメータとして、前記生成されたカラー画像データの線形変換を行う変換マトリックスを複数記憶しており、前記照明光源情報に基づいて選択した１の変換マトリックスを用いて、該カラー画像データを線形変換する手段である画像データ出力装置。
【請求項７】
請求項６記載の画像データ出力装置であって、
前記座標変換手段は、前記照明光源情報に応じた変換マトリックスが記憶されていない場合には、標準の変換マトリックスとして予め設定されているマトリックスを用いて該カラー画像データを線形変換する手段である画像データ出力装置。
【請求項８】
請求項５記載の画像データ出力装置であって、
前記座標変換手段は、前記変換パラメータとして、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しており、前記照明光源情報に基づいて選択した１の変換テーブルを参照することにより、該カラー画像データの座標変換を行う手段である画像データ出力装置。
【請求項９】
請求項８記載の画像データ出力装置であって、
前記座標変換手段は、前記照明光源情報に応じた変換テーブルが記憶されていない場合には、標準の変換テーブルとして予め設定されているテーブルを参照することにより、該カラー画像データの座標変換を行う手段である画像データ出力装置。
【請求項１０】
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する光源情報取得手段と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶している変換パラメータ記憶手段と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する画像データ出力手段と
を備える画像データ出力装置。
【請求項１１】
請求項１０記載の画像データ出力装置であって、
前記変換パラメータ記憶手段は、前記生成したカラー画像データを前記照明光源の類別に応じて線形変換する変換マトリックスを、複数記憶している手段であり、
前記画像データ出力手段は、前記複数の変換マトリックスの中から選択されたマトリックスと、前記カラー画像データとを互いに関連づけた状態で出力する手段である画像データ出力装置。
【請求項１２】
請求項１１記載の画像データ出力装置であって、
前記変換パラメータ記憶手段は、前記複数の変換マトリックスの中の１のマトリックスを、標準の変換マトリックスとして予め記憶している手段であり、
前記画像データ出力手段は、前記照明光源情報に応じた変換マトリックスが記憶されていない場合には、前記標準の変換マトリックスを、前記カラー画像データに関連づけた状態で出力する手段である画像データ出力装置。
【請求項１３】
請求項１０記載の画像データ出力装置であって、
前記変換パラメータ記憶手段は、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶している手段であり、
前記画像データ出力手段は、前記複数の変換テーブルの中から選択されたテーブルと、前記カラー画像データとを互いに関連づけた状態で出力する手段である画像データ出力装置。
【請求項１４】
請求項１３記載の画像データ出力装置であって、
前記変換パラメータ記憶手段は、前記複数の変換テーブルの中の１のテーブルを、標準の変換テーブルとして予め記憶している手段であり、
前記画像データ出力手段は、前記照明光源情報に応じた変換テーブルが記憶されていない場合には、前記標準の変換テーブルを、前記カラー画像データに関連づけた状態で出力する手段である画像データ出力装置。
【請求項１５】
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、
前記生成したカラー画像データを前記撮影対象の照明光源に応じて座標変換するための変換パラメータを、複数記憶している変換パラメータ記憶手段と、
前記カラー画像データと、前記複数の変換パラメータとを互いに関連づけた状態で出力する画像データ出力手段と
を備える画像データ出力装置。
【請求項１６】
請求項１５記載の画像データ出力装置であって、
前記変換パラメータ記憶手段は、前記生成したカラー画像データを前記照明光源の類別に応じて線形変換する変換マトリックスを、複数記憶している手段である画像データ出力装置。
【請求項１７】
請求項１５記載の画像データ出力装置であって、
前記変換パラメータ記憶手段は、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶している手段である画像データ出力装置。
【請求項１８】
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生装置であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る光源情報受取手段と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う座標変換手段と、
前記座標変換後のカラー画像データを用いて画像を再生する画像再生手段と
を備え、
前記座標変換手段は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う手段であることを特徴とする画像再生装置。
【請求項１９】
請求項１８記載の画像再生装置であって、
前記座標変換手段は、前記変換パラメータとして、前記生成されたカラー画像データの線形変換を行う変換マトリックスを複数記憶しており、前記照明光源情報に基づいて選択した１の変換マトリックスを用いて、該カラー画像データを線形変換する手段である画像再生装置。
【請求項２０】
請求項１８記載の画像再生装置であって、
前記座標変換手段は、前記変換パラメータとして、前記生成したカラー画像データと前記照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しており、前記照明光源情報に基づいて選択した１の変換テーブルを参照することにより、該カラー画像データの座標変換を行う手段である画像再生装置。
【請求項２１】
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生装置であって、
前記カラー画像データを前記撮影対象の照明光源に応じて座標変換するための変換パラメータを、該カラー画像データと関連づけられた状態で複数受け取る変換パラメータ受取手段と、
前記受け取った複数の変換パラメータの中から選択された１のパラメータを用いて、前記カラー画像データの座標変換を行う座標変換手段と、
前記座標変換後のカラー画像データを用いて画像を再生する画像再生手段と
を備える画像再生装置。
【請求項２２】
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する工程（イ）と、
前記カラー画像データに、前記照明光源に応じた所定の座標変換を行う工程（ロ）と、
前記座標変換後のカラー画像データを出力する工程（ハ）と
を備え、
前記工程（ロ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする画像データ出力方法。
【請求項２３】
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する工程（１）と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく工程（２）と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する工程（３）と
を備える画像データ出力方法。
【請求項２４】
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する第１の機能と、
前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第２の機能と、
前記座標変換後のカラー画像データを用いて画像を再生する第３の機能と
を実現するとともに、
前記第２の機能は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とするプログラム。
【請求項２５】
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る機能（Ａ）と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う機能（Ｂ）と、
前記座標変換後のカラー画像データを用いて画像を再生する機能（Ｃ）と
を実現するとともに、
前記機能（Ｂ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とするプログラム。
【請求項２６】
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能（イ）と、
前記カラー画像データに、前記照明光源に応じた座標変換を行う機能（ロ）と、
前記座標変換後のカラー画像データを出力する機能（ハ）と
を実現するとともに、
前記機能（ロ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とするプログラム。
【請求項２７】
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能（１）と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく機能（２）と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する機能（３）と
を実現するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを用いて画像を再生する技術に関し、より詳しくは、撮影に用いた照明光源に関わらず、元の色彩を正確に再現可能とする技術に関する。
【背景技術】
【０００２】
コンピュータなどに代表される電子関連技術の進歩に伴って、今日では、撮影した画像を電子的な画像データとして記録しておき、必要なときに人間が視覚的に認識可能な形態で再生することが広く行われるようになってきた。こうした電子的な画像データを生成する撮影機器としては、例えば、デジタルカメラ（ＤＳＣ）やデジタルビデオカメラ（ＤＶＣ）などが広く知られており、また、画像データを再生する機器としては、ＣＲＴ（Cathode Ray Tube）モニタや、液晶モニタ、各種のプロジェクタ、プリンタなどが広く知られている。
【０００３】
これらデジタルカメラなどの撮影機器には光強度を検出する素子（例えばＣＣＤやＣＭＯＳなど）が内蔵されており、撮影しようとする映像を検出素子上に結像させて、複数（代表的には３つ）の波長領域での光強度を検出することにより、カラー画像データ（通常はＲＧＢ各色の画像データ）を生成する。また、ＣＲＴモニタなどの画像再生機器では、撮影機器で生成されたＲＧＢ画像データに基づいてＲ画像、Ｇ画像、Ｂ画像を再生し、これら３つの画像を重ねて表示させることでカラー画像を再生する。つまり、撮影機器では映像をＲＧＢの３色に分解して画像データを生成し、再生機器ではＲＧＢの３つの画像を合成することでカラー画像を再生している。このとき、撮影機器が画像を分解するために用いるＲＧＢの各色と、再生機器がカラー画像を再生するために用いるＲＧＢの各色とは、必ずしも一致していない。このため、画像の再生に際しては、この違いを調整するために、撮影機器で用いられているＲ，Ｇ，Ｂ各色の座標軸を、再生機器のＲ，Ｇ，Ｂ各色の座標軸に変換してから再生することが行われる。このように、画像データの座標軸を変換する処理は色変換と呼ばれている。
【０００４】
また、撮影機器では、ホワイトバランス調整も広く行われている。これは、人間の視覚には色順応と呼ばれる機能が備わっているため、例えば赤色がかった光源や青色がかった光源を用いても、人間は光源色を白色と認識することが可能であり、こうした機能に対応して行う処理である。すなわち、人間の視覚とは異なって、撮影機器で撮影した画像をそのまま再生したのでは、赤色がかった光源下では白色は赤っぽく写り、青色がかった光源下では青っぽく写ってしまう。そこで、得られた画像データに対してホワイトバランス調整を行い、赤色がかった光源による画像では赤色が弱まるように、また、青色がかった光源による画像では青色が弱まるように、ＲＧＢ各色のゲイン調整を行うのである（例えば、特許文献１）。
【０００５】
【特許文献１】特開平２−１２８５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、光源の違いを補正するべく、ＲＧＢ各色のゲインを如何に調整しても元の色彩を正確に再現することができない場合があった。
【０００７】
この発明は、従来技術における上述した課題を解決するためになされたものであり、異なる光源下で撮影された画像でも、元の色彩を高い精度で再現することにより、高画質な画像を再生可能とする技術の提供を目的とする。
【課題を解決するための手段】
【０００８】
上述した課題の少なくとも一部を解決するために、本願発明の第１の画像再生方法は次の構成を採用した。すなわち、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生する画像再生方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する第１の工程と、
前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第２の工程と、
前記座標変換後のカラー画像データを用いて画像を再生する第３の工程と
を備え、
前記第２の工程は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする。
【０００９】
かかる第１の画像再生方法によれば、検出素子上に撮影対象を結像させることによって生成したカラー画像データを、撮影に際して用いられた照明光源に応じて所定の座標変換を施してから再生する。かかる座標変換に際しては、座標変換の内容を表す変換パラメータを、照明光源の類別に応じて複数記憶しておき、照明光源情報に基づいて選択した変換パラメータを用いて座標変換を行う。こうすれば、どのような照明光源を用いて撮影された画像でも適切に座標変換を行って、元の色彩を高い精度で再現することができ、延いては、高画質な画像を再生することが可能となる。
【００１０】
尚、本発明は、光源の違いを補正するべくＲＧＢ各色のゲインを如何に調整しても、元の色彩を正確に再現することができない理由が次のような現象に起因することを見出すことによって完成されたものである。そこで、本発明の第１の画像再生方法によって上述の効果が得られる理由を説明するために、その準備として、先ず、本願の発明者が見出した事項について説明する。
【００１１】
可視光の範囲で光の波長を変化させると、人間は、これを色の変化として認識する。すなわち、人間は光の波長を「色」という形態で認識すると言うことができる。また、光が何らかの波長分布を持っていれば、各波長での光強度分布（スペクトル）に応じた色を認識することができる。しかし、人間は光のスペクトルそのものを検出して色を認識しているわけではなく、光強度分布を互いに独立な３つの刺激値に一旦置き換えた後、これら刺激値によって色を認識していると考えられている。このような、人間の特性を表現した値として、図１７に示す等色関数ｘ（λ），ｙ（λ），ｚ（λ）が知られている。これは、３つの刺激値としてＸ，Ｙ，Ｚを選び、ある波長λの単位強さの単色光が、どのような大きさの刺激値に置き換えられているかを、それぞれの刺激値について表したものと考えることができる。また、単色光ではなく波長分布を有する光の場合は、光のスペクトルを、等色関数に相当する重みを付けながら積分することで、刺激値Ｘ，Ｙ，Ｚが得られることになる。
【００１２】
一方、デジタルカメラやビデオカメラなどの撮影機器では、カラーフィルタを用いてＲ，Ｇ，Ｂの各色成分に分解し、これら各色の成分によって色を表現している。図１８は、デジタルカメラなど撮影機器の標準的な分光感度特性を概念的に示す説明図である。図中に破線で示した曲線は、Ｂ色の分光感度特性を示しており、実線で示した曲線はＧ色の分光感度特性を、一点鎖線で示した曲線はＲ色の分光感度特性を示している。また、光が波長分布を有している場合は、光のスペクトルを、各色毎の分光感度特性に相当する重みを付けながら積分することで、Ｒ，Ｇ，Ｂの各成分が得られることになる。
【００１３】
こうして得られたＲ，Ｇ，Ｂの各成分を線形変換することで、Ｘ，Ｙ，Ｚの各刺激値が得られるのであれば（すなわち、ルータ条件を満たすのであれば）、デジタルカメラなどのＲＧＢ出力に適切な線形変換を施すことで、人間と全く同じように色を認識することが可能である。実際、図１７に示した等色関数ｘ（λ），ｙ（λ），ｚ（λ）と、図１８に示したＲ，Ｇ，Ｂ各成分の分光感度特性とを比較すれば、互いに似通った傾向を示すことからも推測されるように、Ｒ，Ｇ，Ｂの各成分とＸ，Ｙ，Ｚの各刺激値とは、大まかにはルータ条件を満たしており、従って、デジタルカメラで得られたＲＧＢ成分に所定の変換マトリックスを作用することで、ＸＹＺの各刺激値に変換することが行われている。
【００１４】
とは言え、デジタルカメラなどの通常の撮影機器で得られるＲ，Ｇ，Ｂの各成分と、Ｘ，Ｙ，Ｚの各刺激値とは、厳密にはルータ条件を満たしておらず、ＲＧＢからＸＹＺへ変換する際には何某かの誤差が発生する。そこで、変換に際しては、変換誤差が最も小さくなるように最適化されたマトリックスが用いられている。こうした最適化は、照明光源を特定した上で行われる。当然、異なる照明光源が用いられた場合には、ホワイトバランスが崩れてしまうので、Ｒ，Ｇ，Ｂ各成分のゲインを調整することにより、ホワイトバランス調整を行っている。
【００１５】
しかし、ＲＧＢからＸＹＺへ変換が厳密な意味でのルータ条件を満たしていない以上、変換誤差が発生しており、ホワイトバランスを取るためにＲＧＢ各成分のゲインを調整すると、変換誤差を拡大させる場合があると考えられる。照明光源による影響を補正しようとして、ＲＧＢ各出力のゲイン調整を如何に行っても、完全には補正できないことがあるのは、こうした点に起因しているものと考えられる。
【００１６】
本発明は上記の知見に基づいてなされたものであり、デジタルカメラなどで撮影したカラー画像データを、照明光源に応じてカラー画像データの座標軸を適切に変換してから画像を再生する。このように、一旦、照明光源に応じて座標変換を行っておけば、単にＲＧＢの各出力のゲイン調整を行う場合よりも、元の画像の色彩を遙かに高い精度で再現することが可能となる。
【００１７】
本発明は上記の知見に基づいてなされたものであり、デジタルカメラなどで撮影したカラー画像データを、照明光源に応じて適切に座標変換した後に、得られた画像データに基づいて画像を再生する。このように、撮影したカラー画像データを、一旦、照明光源に応じて適切に座標変換しておけば、単にＲＧＢの各出力のゲイン調整を行う場合よりも、元の画像の色彩を遙かに高い精度で再現することが可能となる。
【００１８】
こうした第１の画像再生方法においては、変換パラメータとして、カラー画像データの線形変換を行う変換マトリックスを複数記憶しておくこととしても良い。そして、これら複数の変換マトリックスの中から照明光源情報に基づいて選択した１の変換マトリックスを用いて、カラー画像データを線形変換することとしても良い。
【００１９】
こうすれば、照明光源に応じて適切な座標変換をカラー画像データに施すことができ、延いては、元の色彩を精度良く再現した高精度な画像を再生することができる。また、変換マトリックスはデータ量が小さいことから、変換パラメータとして変換マトリックスを記憶しておけば、複数の変換パラメータを記憶する場合でも多大なデータ量を要しないという利点も得ることができる。
【００２０】
あるいは、変換パラメータとして、生成したカラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しておくこととしても良い。そして、これら複数の変換テーブルの中から照明光源情報に基づいて選択した１の変換テーブルを参照することにより、カラー画像データの座標変換を行うこととしてもよい。
【００２１】
こうしても、カラー画像データに、照明光源に応じた適切な座標変換を施して、元の色彩を精度良く再現した高精度な画像を再生することができる。また、変換テーブルには、座標変換後の画像データとして、どのようなデータを設定することも可能であることからも明らかなように、設定の自由度が高く、たとえ非線形な座標変換であっても容易に設定することが可能である。このため、照明光源に応じて、より適切な座標変換を行うことが可能となり、延いては、より高画質な画像を再生することが可能となる。
【００２２】
また、従来技術が有する前述の課題の少なくとも一部を解決するために、本願発明の第２の画像再生方法は次の構成を採用した。すなわち、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る工程（Ａ）と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う工程（Ｂ）と、
前記座標変換後のカラー画像データを用いて画像を再生する工程（Ｃ）と
を備え、
前記工程（Ｂ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする。
【００２３】
更に、上記の画像再生方法に対応する本発明の画像再生装置は、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生装置であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る光源情報受取手段と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う座標変換手段と、
前記座標変換後のカラー画像データを用いて画像を再生する画像再生手段と
を備え、
前記座標変換手段は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う手段であることを特徴とする。
【００２４】
かかる第２の画像再生方法および、これに対応する画像再生装置においては、カラー画像データを受け取って、撮影に際して用いられた照明光源に応じて所定の座標変換を行った後、座標変換後のカラー画像データを用いて画像を再生する。かかる座標変換に際しては、座標変換の内容を表す変換パラメータを、照明光源の類別に応じて複数記憶しておき、照明光源情報に基づいて選択した変換パラメータを用いて座標変換を行う。
【００２５】
こうすれば、受け取ったカラー画像データを、照明光源に応じて適切に座標変換してから画像を再生することができるので、どのような照明光源を用いて撮影した画像でも、適切に再生することが可能となる。
【００２６】
このとき、変換パラメータとしては、カラー画像データの線形変換を行う変換マトリックスを複数記憶しておくこととしてもよい。そして、照明光源情報に基づいて選択した１の変換マトリックスを用いて、カラー画像データを線形変換することとしても良い。
【００２７】
あるいは、変換パラメータとして、カラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しておくこととしてもよい。そして、照明光源情報に基づいて選択した１の変換テーブルを参照することにより、カラー画像データの座標変換を行うこととしてもよい。
【００２８】
このようにして変換マトリックスあるいは変換テーブルを用いて座標変換を行えば、カラー画像データを照明光源に応じて適切に座標変換することができるので、元の画像の色彩を精度良く再現した高画質な画像を再生することが可能となる。また、変換パラメータとして変換マトリックスを記憶した場合は、複数の変換パラメータを記憶した場合でも多大なメモリ量を要しないという利点が得られ、一方、変換パラメータとして変換テーブルを記憶した場合は、カラー画像データをより適切に座標変換することができるという利点を得ることができる。
【００２９】
また、照明光源に応じた画像データを出力する点に着目すれば、本発明は次のような画像データ出力装置として把握することも可能である。すなわち、本発明の第１の画像データ出力装置は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する光源情報取得手段と、
前記カラー画像データに、前記照明光源に応じた所定の座標変換を行う座標変換手段と、
前記座標変換後のカラー画像データを出力する画像データ出力手段と
を備え、
前記座標変換手段は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う手段であることを特徴とする。
【００３０】
また、上記の画像データ出力装置に対応する本発明の第１の画像データ出力方法は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する工程（イ）と、
前記カラー画像データに、前記照明光源に応じた所定の座標変換を行う工程（ロ）と、
前記座標変換後のカラー画像データを出力する工程（ハ）と
を備え、
前記工程（ロ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う工程であることを特徴とする。
【００３１】
かかる第１の画像データ出力装置および第１の画像データの出力方法においては、検出素子上に撮影対象を結像させて生成したカラー画像データに、照明光源に応じた所定の座標変換を施して、得られたカラー画像データを出力する。かかる座標変換に際しては、座標変換の内容を表す変換パラメータを、照明光源の類別に応じて複数記憶しておき、照明光源情報に基づいて選択した変換パラメータを用いて座標変換を行う。
【００３２】
このようにして、カラー画像データに照明光源に応じた座標変換を施した状態で出力すれば、どのような照明光源を用いて撮影した画像データであっても通常の画像データと同様に再生するだけで、元の色彩を正確に再現した高画質な画像を再生することが可能となる。
【００３３】
かかる第１の画像データ出力装置および第１の画像データの出力方法においても、変換パラメータとして、カラー画像データの線形変換を行う変換マトリックスを複数記憶しておくこととしてもよい。そして、照明光源情報に基づいて選択した１の変換マトリックスを用いて、カラー画像データを線形変換した後に、得られた画像データを出力することとしても良い。
【００３４】
このようにして変換マトリックスを用いて座標変換を行えば、カラー画像データを照明光源に応じて適切に座標変換することができる。このため、このようにして座標変換された状態で出力された画像データは、通常の画像データと同様に再生するだけで、元の画像の色彩を精度良く再現した高画質な画像を再生することが可能となる。また、変換パラメータとして変換マトリックスを記憶しておけば、複数の変換パラメータを記憶した場合でも多大なメモリ量が必要となることがないので好ましい。
【００３５】
このとき、複数記憶されている変換マトリックスの中に、予め標準の変換マトリックスを設定しておき、照明光源情報に応じた変換マトリックスが記憶されていない場合には、この標準の変換マトリックスを用いてカラー画像データを線形変換することとしてもよい。
【００３６】
こうすれば、標準の変換マトリックスとして、平均的な照明光源に対応する変換マトリックスを設定しておくことで、どのような照明光源で得られた画像データでも、破綻無く自然な画像に再生することが可能となるので好ましい。
【００３７】
あるいは、かかる第１の画像データ出力装置および第１の画像データの出力方法においては、変換パラメータとして、カラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、複数記憶しておくこととしてもよい。そして、照明光源情報に基づいて選択した１の変換テーブルを参照することにより、カラー画像データの座標変換を行った後、得られた画像データを出力することとしても良い。
【００３８】
このようにして変換テーブルを用いた場合でも、カラー画像データを照明光源に応じて適切に座標変換することができる。このため、このようにして座標変換された状態で出力された画像データは、通常の画像データと同様に再生するだけで、元の画像の色彩を精度良く再現した高画質な画像を再生することが可能となる。また、変換パラメータとして変換テーブルを記憶しておけば、カラー画像データをより適切に座標変換することができるという利点を得ることができる。
【００３９】
また、複数の変換テーブルの中に、予め標準の変換テーブルを設定しておき、照明光源情報に応じた変換テーブルが記憶されていない場合には、この標準の変換テーブルを参照してカラー画像データの座標変換を行うこととしてもよい。
【００４０】
こうすれば、標準の変換テーブルとして、平均的な照明光源に対応する変換テーブルを設定しておくことで、どのような照明光源で得られた画像データでも、破綻無く自然な画像に再生することが可能となるので好ましい。
【００４１】
更に、本発明は次のような画像データ出力装置として把握することも可能である。すなわち、本発明の第２の画像データ出力装置は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する光源情報取得手段と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶している変換パラメータ記憶手段と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する画像データ出力手段と
を備えることを要旨とする。
【００４２】
また、上記の画像データ出力装置に対応する本発明の第２の画像データ出力方法は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力方法であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する工程（１）と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく工程（２）と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する工程（３）と
を備えることを要旨とする。
【００４３】
かかる第２の画像データ出力装置および第２の画像データ出力方法においては、検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することでカラー画像データを生成する。また、カラー画像データの座標変換を行うための変換パラメータを、照明光源に応じて複数記憶しておく。そして、生成したカラー画像データと、撮影に際して用いられた照明光源に応じた変換パラメータとを、互いに関連づけた状態で出力する。ここで、照明光源に応じた変換パラメータは、照明光源の類別に関する情報たる照明光源情報を取得して、該照明光源情報に応じた変換パラメータを選択する。
【００４４】
このように、カラー画像データに関連づけて、照明光源に応じた変換パラメータを出力しておけば、該変換パラメータを用いてカラー画像データを座標変換することにより、適切に変換してから画像を再生することができるので、どのような照明光源を用いて撮影した画像データであっても、元の色彩を正確に再現した高画質な画像を再生することが可能となる。
【００４５】
尚、カラー画像データと変換パラメータとは、例えば画像データのヘッダ部に変換パラメータを書き込んでおくなどにより、１つのデータとして受け取っても良いし、あるいは、別々のデータとして受け取ることも可能である。別々のデータとして受け取る場合は、例えば、連続して受け取ったり、データ名の一部を共通化するといった方法で、カラー画像データと変換パラメータとが何らかの形態で互いに関連づけられていればよい。
【００４６】
こうした第２の画像データ出力装置および第２の画像データの出力方法においても、変換パラメータとして、カラー画像データの線形変換を行う変換マトリックスを複数記憶しておくき、照明光源情報に基づいて選択した１の変換マトリックスを用いて、カラー画像データを線形変換することとしてもよい。
【００４７】
このようにしてカラー画像データを座標変換してやれば、照明光源に応じて適切に座標変換することができるので、出力されたカラー画像データを通常の画像データと同様に再生するだけで、元の画像の色彩を精度良く再現した高画質な画像を再生することが可能となる。また、変換パラメータとして変換マトリックスを記憶しておけば、複数の変換パラメータを記憶した場合でも多大なメモリ量が必要となることがないので好ましい。
【００４８】
また、複数記憶されている変換マトリックス中に標準の変換マトリックスを予め設定しておき、照明光源情報に応じた変換マトリックスが記憶されていない場合には、この標準の変換マトリックスを用いてカラー画像データを線形変換することとしてもよい。
【００４９】
平均的な照明光源に対応する変換マトリックスを、標準の変換マトリックスとして設定しておけば、どのような照明光源で得られた画像データでも自然な画像に再生することが可能となる。
【００５０】
また、かかる第２の画像データ出力装置および第２の画像データの出力方法においては、カラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、変換パラメータとして複数記憶しておき、照明光源情報に基づいて選択した１の変換テーブルを参照して座標変換し、得られたカラー画像データを出力することとしても良い。
【００５１】
こうすれば、カラー画像データを照明光源に応じて適切に座標変換することができるので、得られたカラー画像デーを通常の画像データと同様に再生するだけで、元の画像の色彩を精度良く再現した高画質な画像を再生することができる。また、変換テーブルを変換パラメータとして記憶すれば、座標変換をより柔軟に行うことができるので、カラー画像データをより適切に変換することが可能となる。
【００５２】
また、複数の変換テーブル中に標準の変換テーブルを予め設定しておき、照明光源情報に応じた変換テーブルが記憶されていない場合には、この標準の変換テーブルを参照してカラー画像データの座標変換を行うこととしてもよい。
【００５３】
こうすれば、平均的な照明光源に対応する変換テーブルを、標準の変換テーブルとして設定しておくことで、どのような照明光源で得られた画像データでも適切に再生することが可能となる。
【００５４】
また、本発明は次のような画像データ出力装置として把握することも可能である。すなわち、本発明の第３の画像データ出力装置は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する画像データ出力装置であって、
前記生成したカラー画像データを前記撮影対象の照明光源に応じて座標変換するための変換パラメータを、複数記憶している変換パラメータ記憶手段と、
前記カラー画像データと、前記複数の変換パラメータとを互いに関連づけた状態で出力する画像データ出力手段と
を備えることを要旨とする。
【００５５】
かかる第３の画像データ出力装置においては、カラー画像データと、複数の変換パラメータとを互いに関連づけた状態で出力する。こうすれば、カラー画像データとともに出力された変換パラメータの中から、より適切なパラメータを用いて座標変換を行うことができるので、どのような照明光源を用いて撮影された画像データであっても適切に再生することが可能となる。
【００５６】
このように、変換パラメータが関連づけられたカラー画像データを受け取って画像を再生する点に着目すれば、本発明は次のような画像再生装置として把握することも可能である。すなわち、本発明の第２の画像再生装置は、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する画像再生装置であって、
前記カラー画像データを前記撮影対象の照明光源に応じて座標変換するための変換パラメータを、該カラー画像データと関連づけられた状態で複数受け取る変換パラメータ受取手段と、
前記受け取った複数の変換パラメータの中から選択された１のパラメータを用いて、前記カラー画像データの座標変換を行う座標変換手段と、
前記座標変換後のカラー画像データを用いて画像を再生する画像再生手段と
を備えることを要旨とする。
【００５７】
かかる第２の画像再生装置においては、カラー画像データに関連づけられた状態で、複数の変換パラメータを受け取ると、これら変換パラメータの中から選択された１のパラメータを用いてカラー画像データの座標変換を行った後、得られたカラー画像データを用いて画像を再生する。
【００５８】
こうすれば、画像の撮影者が適切な変換パラメータを選択することで、どのような照明光源で撮影された画像データであっても、より適切に座標変換を行うことができる。更には、撮影に用いた照明光源に応じた変換パラメータとは異なるパラメータを、特に意図して選択することもできる。このようにして選択した変換パラメータを用いてカラー画像データを座標変換した後、得られたカラー画像データを用いて画像を再生すれば、画像の表現自由度を大きく広げることができ、より高画質な画像を再生することも可能となる。
【００５９】
尚、カラー画像データと変換パラメータとを互いに関連づけられた状態で出力するためには、例えば画像データのヘッダ部に変換パラメータを書き込んでおき、１つのデータとして出力することもできるし、あるいは、別々のデータとして出力することも可能である。別々のデータとして出力する場合は、例えば、連続して出力したり、データ名の一部を共通化しておいたり、更には、互いのデータにリンクを張っておくと言った種々の方法を用いることができる。
【００６０】
こうした第３の画像データ出力装置あるいは第２の画像再生装置においては、変換パラメータとして、次のようなものを好適に使用することができる。例えば、カラー画像データを前記照明光源の類別に応じて線形変換する変換マトリックスを用いることができる。あるいは、生成したカラー画像データと照明光源の類別に応じて座標変換された画像データとが対応付けられた変換テーブルを、用いることもできる。
【００６１】
変換マトリックスあるいは変換テーブルのいずれを用いても、カラー画像データを照明光源に応じて適切に座標変換することができ、延いては、元の画像の色彩が精度良く再現された高画質な画像を再生することが可能となる。また、変換パラメータとして変換マトリックスを使用すれば、複数の変換パラメータを記憶した場合でも多大なメモリ量が必要となることがないので好ましい。一方、変換テーブルを変換パラメータとして使用すれば、座標変換をより柔軟に行うことが可能となる。
【００６２】
更に、本発明は、上述した画像再生方法あるいは画像データ出力方法を実現するためのプログラムをコンピュータに読み込ませることで、コンピュータを用いて実現することも可能である。従って本願発明は、次のようなプログラムあるいは該プログラムを記録した記録媒体として把握することも可能である。すなわち、上述した第１の画像再生方法に対応する本発明のプログラムは、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する第１の機能と、
前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第２の機能と、
前記座標変換後のカラー画像データを用いて画像を再生する第３の機能と
を実現するとともに、
前記第２の機能は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。
【００６３】
かかるプログラムに対応する記録媒体は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを再生するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する第１の機能と、
前記生成したカラー画像データに、前記照明光源に応じた所定の座標変換を行う第２の機能と、
前記座標変換後のカラー画像データを用いて画像を再生する第３の機能と
をコンピュータを用いて実現するプログラムを記憶しているとともに、
前記第２の機能は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。
【００６４】
また、上述した第２の画像再生方法に対応する本発明のプログラムは、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る機能（Ａ）と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う機能（Ｂ）と、
前記座標変換後のカラー画像データを用いて画像を再生する機能（Ｃ）と
を実現するとともに、
前記機能（Ｂ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。
【００６５】
かかるプログラムに対応する記録媒体は、
検出素子上に撮影対象を結像させることで生成したカラー画像データの供給を受けて、該撮影対象の画像を再生するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を受け取る機能（Ａ）と、
前記カラー画像データを受け取って、前記照明光源に応じた所定の座標変換を行う機能（Ｂ）と、
前記座標変換後のカラー画像データを用いて画像を再生する機能（Ｃ）と
をコンピュータを用いて実現するプログラムを記憶しているとともに、
前記機能（Ｂ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。
【００６６】
また、上述した第１の画像データ出力方法に対応する本発明のプログラムは、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能（イ）と、
前記カラー画像データに、前記照明光源に応じた座標変換を行う機能（ロ）と、
前記座標変換後のカラー画像データを出力する機能（ハ）と
を実現するとともに、
前記機能（ロ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。
【００６７】
かかるプログラムに対応する記録媒体は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能（イ）と、
前記カラー画像データに、前記照明光源に応じた座標変換を行う機能（ロ）と、
前記座標変換後のカラー画像データを出力する機能（ハ）と
をコンピュータを用いて実現するプログラムを記憶しているとともに、
前記機能（ロ）は、前記座標変換の内容を表す変換パラメータを、前記照明光源の類別に応じて複数記憶しておき、前記照明光源情報に基づいて選択された１の変換パラメータを用いて、前記カラー画像データの座標変換を行う機能であることを特徴とする。
【００６８】
また、上述した第２の画像データ出力方法に対応する本発明のプログラムは、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力する方法を、コンピュータを用いて実現するためのプログラムであって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能（１）と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく機能（２）と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する機能（３）と
を実現することを要旨とする。
【００６９】
かかるプログラムに対応する記録媒体は、
検出素子上に撮影対象を結像させ、複数の波長範囲での光強度を検出することで生成したカラー画像データを出力するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
撮影に際して用いられた照明光源の類別に関する情報たる照明光源情報を取得する機能（１）と、
前記生成したカラー画像データの座標変換を行うための変換パラメータを、前記照明光源に応じて複数記憶しておく機能（２）と、
前記複数の変換パラメータの中から前記照明光源情報に応じて変換パラメータを選択した後、該選択した変換パラメータと前記生成したカラー画像データとを互いに関連づけた状態で出力する機能（３）と
をコンピュータを用いて実現するプログラムを記憶していることを要旨とする。
【００７０】
これらプログラム、あるいは記録媒体に記録されているプログラムをコンピュータに読み込ませ、各種機能を実現させれば、どのような照明光源の下で撮影した画像データであっても、元の色彩を正確に再現して、高画質な画像を再生することが可能となる。
【発明を実施するための最良の形態】
【００７１】
以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施例を説明する。
Ａ．画像再生方法の概要：
Ｂ．第１実施例：
Ｂ−１．装置構成：
Ｂ−２．画像データ生成処理：
Ｂ−３．色変換マトリックスの生成方法：
Ｃ．第２実施例：
Ｃ−１．第２実施例の画像データ出力処理：
Ｃ−２．第２実施例の画像再生処理：
【００７２】
Ａ．画像再生方法の概要  ：
実施例の詳細な説明に入る前に、本実施例において画像を撮影してから再生するまでの大まかな流れについて簡単に説明しておく。図１は、本実施例において、撮影対象の画像データを生成して、画像を再生するまでの大まかな流れを示したブロック図である。画像データは、撮影対象の映像を検出素子上に結像させて、２次元的な光強度分布の信号を取得することによって生成される。このような検出素子としては、いわゆるＣＣＤやＣＭＯＳなどの個体撮像素子が広く使用されている。そして、これら検出素子では、通常、Ｒ，Ｇ，Ｂの３つの波長領域で光強度を検出することで、それぞれＲ，Ｇ，Ｂの画像データが生成される。
【００７３】
次いで、こうして得られた画像データに対して色変換処理が施される。画像データに色変換処理を施す理由は次のようなものである。Ｒ，Ｇ，Ｂ画像データを生成するために用いられるＲ，Ｇ，Ｂの各波長領域は、画像を再生する際に用いられるＲ，Ｇ，Ｂ各色の波長領域とは厳密には一致していないことが通常である。このため、受け取ったＲ，Ｇ，Ｂ各色の画像データを単に再生して重ね合わせただけでは、元の画像の色彩とは異なった色彩になってしまう。そこで、Ｒ，Ｇ，Ｂ画像データを受け取ると、再生する際に用いられる色空間に合わせて、予め適切に色変換しておくのである。
【００７４】
本実施例の画像再生方法では、この色変換に際して、撮影対象の映像を検出素子上に結像させるために用いた照明光源に応じて適切な色変換を行う。尚、図１に示した例では、検出素子から得られたＲＧＢ色空間の画像データを、一旦、ＸＹＺ色空間を経由させて、画像を再生するための色空間（図１ではｓＲＧＢ色空間）の画像データに座標変換している。このように、検出素子で得られた画像データに対して２段階の色変換を行っていることから、いずれの色変換の段階で、照明光源に応じた色変換を実施することも可能である。例えば、検出素子で得られたＲＧＢ色空間をＸＹＺ色空間に座標変換する段階で、照明光源に応じた適切な色変換を行ってもよいし、あるいはＸＹＺ色空間の画像データをｓＲＧＢ色空間に変換する段階で照明光源に応じた適切な色変換を行ってもよい。もちろん、２段階ではなく、より多段階の変換を行う場合には、いずれの段階で照明光源に応じた色変換を行うこととしてもよい。
【００７５】
こうして照明光源に応じて適切に色変換されたＲＧＢ画像データに対して、必要に応じてホワイトバランス、あるいはガンマ補正を施した後、得られたＲＧＢ各色の画像データを用いて画像を再生する。このようにして画像を再生すれば、照明光源に応じて適切に色変換することができるので、どのような照明光源を用いて撮影した画像データであっても、色彩を精度良く再現することが可能となる。
【００７６】
更には、検出素子から得られたＲ，Ｇ，Ｂ画像データに、照明光源に関する情報を関連付けた状態でＲＡＷ画像データとして出力し、この画像データを再生する際に、照明光源に応じて色変換したから再生することとしてもよい。こうしたＲＡＷ画像データとしては、検出素子から得られたＲ，Ｇ，Ｂ画像データに限らず、照明光源を考慮することなく変換されたＸＹＺ色空間の画像データや、ｓＲＧＢ色空間の画像データを用いることもできる。
【００７７】
以上のようにして画像データを再生してやれば、異なる照明光源の下で撮影された画像でも、元の色彩を高い精度で再現することが可能となる。以下では、このようにして画像を再生する技術について、各種の実施例に基づいて詳しく説明する。
【００７８】
Ｂ．第１実施例  ：
先ず初めに、画像データを、照明光源に応じた色変換処理を行った状態で出力する第１実施例について説明する。
【００７９】
Ｂ−１．装置構成  ：
図２は、いわゆるデジタルカメラを例に用いて、第１実施例における画像データ出力装置の構成を示した説明図である。もちろん、いわゆるデジタルビデオカメラやカラースキャナなどの他の機器を用いて、第１実施例の画像データ出力装置を構成することも可能である。
【００８０】
デジタルカメラ１００には、図示されているように、レンズおよびレンズの駆動機構などによって主に構成される光学系１０２と、ＣＣＤ（Ｃharge Ｃoupled Ｄevice）などによって主に構成される画像取得回路１０４と、ＤＳＰ（Ｄegital Ｓignal Ｐrocessor）などによって主に構成される画像処理回路１０６と、ＣＰＵなどによって主に構成される制御回路１０８と、ＲＯＭやＲＡＭなどによって主に構成される記憶回路１１０と、専用のＬＳＩによって主に構成される画像出力回路１１２と、制御回路１０８に対して種々の設定を行う十字カーソル１１６などが搭載されている。
【００８１】
このようなデジタルカメラ１００で画像を撮影する場合には、光学系１０２によって画像取得回路１０４のＣＣＤ上に画像を結像させる。ＣＣＤの受光面には、光を電荷に変換する微細な検出素子が一面に埋め込まれており、画像を結像させると、各検出素子はそれぞれの位置での光強度に応じて電荷を発生させる。画像取得回路１０４は、ＣＣＤの各検出素子で発生している電荷量を検出することにより、結像した画像を構成する各画素位置での光強度情報を取得する。画像処理回路１０６は、画像取得回路１０４で取得した光強度情報に所定の画像処理を施して画像データを生成する。画像出力回路１１２は、こうして生成した画像データをケーブルを介して外部に出力する。あるいはメモリカードなどの記憶素子１１４に書き込んで、記憶素子１１４を介して出力することも可能である。これら光学系１０２や、画像取得回路１０４、画像処理回路１０６、画像出力回路１１２などの動作は、制御回路１０８によって制御されている。制御のために必要な各種プログラムやデータ類は、記憶回路１１０のＲＯＭ内に予め記憶されており、制御回路１０８はこれらプログラムやデータを読み込んで制御を行う。
【００８２】
第１実施例の画像データ出力装置では、ＣＣＤ上に画像を結像させるために用いられた照明光源に応じて適切に色変換された状態のカラー画像データを出力する。以下では、こうしたカラー画像データを生成して出力する処理について説明する。
【００８３】
Ｂ−２．画像データ出力処理  ：
図３は、第１実施例の画像データ出力装置においてカラー画像データを生成して出力する処理の流れを示したフローチャートである。処理を開始すると、先ず初めに、画像取得回路１０４のＣＣＤ上に撮影対象の画像を結像させて、Ｒ，Ｇ，Ｂ各色のＣＣＤ出力を取得する（ステップＳ１００）。ここで、本実施例のデジタルカメラ１００は、１枚のＣＣＤしか搭載されていない。そこで、色補間と呼ばれる処理を行うことにより、１枚のＣＣＤ出力から、ＲＧＢ各色毎のＣＣＤ出力を生成する。尚、ここではＣＣＤを用いて光の強さを電気的な信号に変換するものとしているが、光強度を検出する部品としてはＣＣＤに限らず、例えばＣＭＯＳセンサと呼ばれる部品など、他の部品を用いることも可能である。
【００８４】
図４は、本実施例のデジタルカメラ１００内で色補間を行うことにより、１枚のＣＣＤ出力からＲＧＢ各色のＣＣＤ出力を生成している様子を概念的に示した説明図である。先ず、Ｒ色光のみを通過する小さなフィルタ（Ｒフィルタ）と、Ｇ色光のみを通過する小さなフィルタ（Ｇフィルタ）と、Ｂ色光のみを通過する小さなフィルタ（Ｂフィルタ）とを組み合わせたカラーフィルタをＣＣＤの前に設けておく。こうすれば、Ｒフィルタの後ろの検出素子ではＲ色光の光強度が検出され、Ｇフィルタの後ろの検出素子ではＧ色光の光強度検出され、Ｂフィルタの後ろの検出素子ではＢ色光の光強度が、それぞれ検出されることになる。
【００８５】
図４（ａ）は、ＣＣＤ上で、こうして検出素子毎にＲ，Ｇ，Ｂ各色の光を分担して検出している様子を概念的に示した説明図である。図中に示した小さな矩形は、ＣＣＤ上に設けられた微細な検出素子を模式的に表したものである。尚、実際のＣＣＤ上には、より多数の検出素子が搭載されているが、ここでは図示が煩雑となることを避けるために、５×６の３０個の素子が搭載されているものとして表示している。図中で「Ｒ」と表示された検出素子はＲ色光の光強度を検出する素子を示し、「Ｇ」と表示された素子はＧ色光の光強度を、「Ｂ」と表示された素子はＢ色光の光強度を検出する素子を示している。このように、Ｒ，Ｇ，Ｂ各色の光強度がモザイク状に得られたデータから、各色毎に補間演算を行うことにより、図４（ｂ）に示すようなＲ，Ｇ，Ｂ各色の画像データを生成する。図３に示したステップＳ１００では、このようにして、ＣＣＤ出力から、ＲＧＢ各色の画像データを取得する処理を行う。
【００８６】
尚、ここでは、ＲＧＢ各色のフィルタをモザイク状に組み合わせたカラーフィルタを用いることで、１枚のＣＣＤからＲＧＢ各色の画像データを取得するものとして説明したが、カラーセパレータを用いてＲＧＢ各色の光に分離した後、各色毎の画像をそれぞれに設けたＣＣＤ上に結像させることによって、ＲＧＢ各色の画像データを取得することとしてもよい。
【００８７】
こうしてＲＧＢ各色の画像データを取得したら、今度は、ＲＧＢ各色の画像データに対してリニア補正を実施する（ステップＳ１０２）。これは、次のような処理である。前述したように、ＣＣＤ上に設けられた検出素子は光強度に応じた電荷を生成するが、素子のバラツキにより、あるいは電荷の生成原理などの影響で、電荷量（すなわちＣＣＤ出力）が受光した光強度に正確に比例しているとは限らない。そこで、ＣＣＤ出力を補正することで、光強度に正確に比例した出力に変換しておくのである。
【００８８】
ＣＣＤ出力のリニア補正は、１次元テーブルを参照することで実施することができる。図５は、リニア補正を行う際に参照される１次元テーブルを概念的に示した説明図である。図２に示したデジタルカメラ１００の記憶回路１１０には、図５に示すような、ＣＣＤ出力に対してリニア補正後の出力が対応付けられた１次元テーブルが、Ｒ，Ｇ，Ｂ各色毎に予め記憶されている。図３のＳ１０２では、このような１次元テーブルを参照することにより、ＣＣＤ出力に基づいてＲＧＢ各色毎に得られた画像データを、光強度に正確に比例するデータに変換する処理を行う。尚、図５に示した１次元テーブルから分かるように、ＣＣＤ出力は通常、大まかには光強度に比例した値となっており、リニア補正前の出力値と補正後の出力値とが大きく異なることは稀である。従って、場合によってはリニア補正処理を省略することも可能である。
【００８９】
こうして画像データに対してリニア補正を行ったら、今度は、撮影対象の画像をＣＣＤ上に結像させるために、撮影対象の照明に用いた光源の類別（例えば、白熱灯、蛍光灯、太陽光など）を取得する（ステップＳ１０４）。ここでは、照明光源の類別は、デジタルカメラ１００の記憶回路１１０に予め複数の類別が記憶されており、撮影前にデジタルカメラ１００の操作者が撮影前に十字カーソル１１６を使用して複数の類別の中から選択し、制御回路１０８に設定されているものとする。もっとも、こうした方法に限らず、ＣＣＤで取得されたＲＧＢ各色光の強度分布から、照明光源の類別を推定することとしても良い。例えば、白熱灯を用いて撮影された画像は全体的に赤っぽい画像となるから、他の色に比べてＲ色が強ければ、照明光源の類別を白熱灯と推定することができる。このように、照明光源の類別に応じてＲＧＢ各色の強度は特徴的な比率となることが多いため、各色の強度分布を解析することで照明光源の類別を推定することも可能である。
【００９０】
照明光源の類別を取得したら、リニア補正後のＲＧＢ画像データを、照明光源に対応する色変換マトリックスを用いて色変換する処理を行う（ステップＳ１０６）。本実施例では、ＣＣＤ出力から得られたＲＧＢ画像データを、ＸＹＺ色空間の画像データに色変換している。かかる処理について説明するために、その準備として、先ず、色変換処理の概要について簡単に説明する。
【００９１】
今、カラーフィルタを用いてＲ，Ｇ，Ｂ各色の光を分離して、各色の光強度ｒ，ｇ，ｂが得られたとする。この場合、Ｒ，Ｇ，Ｂ各色の光をそれぞれｒ，ｇ，ｂの強さで混合すれば、グラスマンの法則によって元の画像と同じ色彩を再現することが可能である。しかし、カラーフィルタで分離したＲ，Ｇ，Ｂ各色光の中心波長は、画像を再現するために使用されるＲ，Ｇ，Ｂ各色光の波長とは、通常異なっている。このため、ＣＣＤの検出素子で検出したＲ，Ｇ，Ｂ各色の階調データをそのまま使用して画像を再生したのでは、表現される色彩は元の色彩とは異なったものとなってしまう。
【００９２】
図２に示した本実施例のデジタルカメラ１００の記録回路１１０には、白熱灯や蛍光灯といった照明光源の類別毎に、適切な色変換マトリックスが予め設定されている。そして、図３に示した画像データ出力処理のステップＳ１０６では、ステップＳ１０４において先に取得した照明光源の類別に応じて設定されている色変換マトリックスを、記録回路１１０から読み出して、リニア補正後のＲＧＢ画像データにこの色変換マトリックスを作用させることにより、照明光源に応じたＸＹＺ色空間の画像データに座標変換する処理を行う。
【００９３】
次いで、得られたＸＹＺ色空間の画像データに再び色変換を行うことにより、今度はｓＲＧＢ色空間の画像データに座標変換する処理を行う（ステップＳ１０８）。ＸＹＺ色空間からｓＲＧＢ色空間への座標変換は、図６に示す色変換マトリックスを用いて行うことができる。こうして、画像データをｓＲＧＢ色空間のデータに座標変換しておけば、モニタなどの多くの画像再生機器で自然な階調特性の画像を表示することが可能である。
【００９４】
尚、本実施例の画像データ出力処理では、画像を再生する機器を特定することなく、できるだけ多くの機器において適切に画像を再生させることを目的として、最も標準的な色空間であるｓＲＧＢ色空間に画像データを座標変換している。もちろん、画像を再生する機器が特定されている場合には、ｓＲＧＢ色空間ではなく、その画像再生機器で採用されている色空間に画像データを座標変換することとしても良い。
【００９５】
また、ＣＣＤのＲＧＢ出力を、直ちにｓＲＧＢ色空間のデータに座標変換するのではなく、一旦、ＸＹＺ色空間の画像データに座標変換しているのは、次のような理由によるものである。照明光源に応じた色変換マトリックスを決定する方法については後述するが、色変換マトリックスは、変換先の色空間毎に異なったマトリックスとなる。例えば、ある照明光源で撮影した画像データを想定し、この画像データを２つの色空間に座標変換しようとする場合、照明光源に応じた色変換マトリックスは、変換先の色空間が違えば別のマトリックスとなってしまう。このように、変換先の色空間に応じて色変換マトリックスも異なるマトリックスとなるから、変換先の色空間はできるだけ標準的な色空間としておくことが望ましい。この点、すなわち標準的な色空間という点では、ｓＲＧＢ色空間も、ＸＹＺ色空間も同じである。
【００９６】
しかし、図７を用いて前述したように、ＸＹＺ色空間はｓＲＧＢ色空間よりも表現可能な色域が広く、しかも高精度の階調表現が可能である。従って、ｓＲＧＢ色空間に座標変換するよりもＸＹＺ色空間に座標変換した方が、色変換の際に色域が狭くなったり、階調の分解能が劣化するおそれを回避することができる。換言すれば、照明光源に応じた色変換マトリックスを設定する際に、座標変換先の色空間をｓＲＧＢ色空間とした場合、照明光源に応じた色変換をするだけで、表現可能な色域が狭くなってしまったり、あるいは画像データの階調分解能が劣化してしまうことが生じ得る。これに対して、座標変換先の色空間をＸＹＺ色空間として、照明光源に応じた色変換マトリックスを設定しておけば、照明光源に応じた色変換を行うだけでは、こうした問題が発生することがない。このため、照明光源に応じて適切に色変換した後、色変換後の画像データに対して、更に必要な座標変換を施すことで、高品質な画像を再生することが可能となる。図３に示した第１実施例の画像データ出力処理では、このような理由から、ＲＧＢ画像データを、一旦、ＸＹＺ色空間に変換した後、ｓＲＧＢ色空間の画像データに変換しているのである。
【００９７】
次いで、得られたｓＲＧＢ色空間の画像データに対して、ホワイトバランスを調整する処理を行う（図３のステップＳ１１０）。これは次のような処理である。人間の視覚は、色順応と呼ばれる能力を備えており、どのような光源の下でも白色は白色として認識することができる。例えば、黄色がかった光源の元では白色は黄色っぽく見えているはずであり、赤色がかった光源の元では白色は赤っぽく見えているはずであるが、いずれの場合でも人間は白色を白色と認識する。ところが、ＣＣＤで撮影した場合、黄色がかった光源の下では白色が黄色っぽく写ってしまい、赤色がかった光源の下では白色が赤っぽく写ってしまう。このため、後で画像を再現すると、記憶に残っている色彩と異なるために違和感を与えることとなる。こうしたことを避けるため、白色が白色に写るように、光源に合わせてＲ，Ｇ，Ｂ各色のゲインを調整する処理を行う。
【００９８】
尚、本実施例の画像データ出力処理では、ステップＳ１０６においても照明光源に応じた色変換を行っている。この色変換処理と、上述のホワイトバランス調整とは、照明光源の違いを考慮して補正する点では同じである。しかし、色変換処理とホワイトバランス処理とでは、次のように、対象としている照明光源の影響が異なっている。すなわち、色変換時に考慮される照明光源の影響は、光源による分光スペクトルの違いが、ＣＣＤのＲＧＢ出力に与える影響や人間の視覚に与える影響である。換言すれば、照明光源に応じた色変換マトリックスを用いることにより、ＣＣＤと人間の視覚との分光的な感度特性の違いを補正しながら色変換処理を行っていることになる。
【００９９】
これに対して、ホワイトバランス調整時に考慮される影響は、人間の視覚に備わった色順応という機能による影響である。換言すれば、ＣＣＤは色順応という機能を有していないので、画像データにホワイトバランス調整を行うことで、色順応に近い機能を実現していることになる。このように、照明光源に応じて行う色変換処理とホワイトバランス調整とは、それぞれ異なる影響を補正するものであることから、図３に示した画像データ出力処理では、色変換処理に加えてホワイトバランス調整を行っているのである。
【０１００】
ホワイトバランス調整に続いて、ガンマ補正を行う（ステップＳ１１２）。ガンマ補正とは次のような処理である。一般的なモニタでは、入力と出力との関係が直線的な関係とはなっていない。これは、モニタは一般的に、印加する電圧Ｅと画面の輝度Ｉとの間に、
Ｉ＝ｋ×Ｅγ
という関係が成り立っており、電圧Ｅが小さい間はなかなか画面が明るくならないが、印加する電圧Ｅがある程度まで大きくなると急に明るく特性を有するからである。ここで、ｋは比例定数であり、γ（ガンマ）は印加する電圧Ｅと画面の輝度Ｉとが直線関係から隔たっている程度を示す指標である。γ＝１の場合は、輝度Ｉは電圧Ｅに比例しており、印加する電圧Ｅが増加するに連れて輝度Ｉも直線的に増加するが、γの値が１から離れる程、直線関係からの隔たりが大きくなる。
【０１０１】
図７は、本実施例の画像データ出力処理で行うガンマ補正の内容を示す説明図である。図中に示した破線のグラフは、一般的なモニタの特性を表しており、通常、γ値は１よりも大きな値を取る。このような特性のモニタでは、入力データの階調値を一定の割合で増加させても、モニタの明るさを一定の割合で増加させることはできない。そこで、図７の実線で示すように、低階調域で入力値を底上げするような階調変換を行う。具体的には、γ値がモニタのγ値の逆数となるような階調変換を行えば、入力データの階調値に応じてモニタの明るさを変化させることができる。図３のステップＳ１１２では、図７の実線で示した特性に従って、ＲＧＢ各色の画像データを変換する処理を行う。
【０１０２】
以上のようにして、ガンマ補正を行ったら、最終的に得られたＲＧＢ各色の画像データを、モニタなどの画像再生機器に向かって出力し、図３に示す画像データ出力処理を終了する（ステップＳ１１４）。このようにして出力されたＲＧＢ画像データは、照明光源に応じた色変換マトリックスが適用されて、適切に色変換されている。このため、どのような照明光源を用いて撮影された画像データであっても、通常の画像データ通りに再生するだけで適切な画像を再生することが可能となる。
【０１０３】
Ｂ−３．色変換マトリックスの生成方法  ：
上述したように、本実施例の画像データ出力処理では、照明光源に応じた色変換マトリックスを用いて画像データを色変換しておくことで、照明光源によらず適切に画像を再現することを可能としている。そこで、照明光源に応じて画像データを適切に色変換するための色変換マトリックスを生成する方法について説明する。
【０１０４】
図８は、照明光源に応じた色変換マトリックスを設定するために用いるカラーチャートを例示した説明図である。図示するように、カラーチャートは複数の領域から構成されており、それぞれの領域は異なる色で塗りつぶされている。図８に示したカラーチャートでは、１番〜２０番の２０の領域が設けられている。照明光源に応じた色変換マトリックスは、カラーチャートに含まれる各カラーパッチの測色値を用いて設定する。
【０１０５】
図９は、照明光源に応じた色変換マトリックスを設定する方法を示した説明図である。例えば、白熱灯に応じた色変換マトリックスを設定するものとすると、図８に示したカラーチャートを白熱灯で照明した状態で、１番〜２０番までの各カラーパッチを測色する。この結果、１番〜２０番までのカラーパッチ毎に、白熱灯下で測色値Ｘ，Ｙ，Ｚを得ることができる。ここで、Ｘ(1) ，Ｙ(1) ，Ｚ(1) は、１番のカラーパッチを測色して得られたＸ，Ｙ，Ｚ値を表すものとする。同様に、Ｘ(2) ，Ｙ(2) ，Ｚ(2) は、２番のカラーパッチを測色して得られたＸ，Ｙ，Ｚ値を表している。
【０１０６】
一方、１番〜２０番までのカラーパッチを、同一条件下でデジタルカメラ１００を用いて撮影することにより、ＲＧＢ画像データを取得する。尚、このとき、前述した色変換や、ホワイトバランス調整、ガンマ補正などは行わない設定にしておく。このようにして、１番〜２０番までの各カラーパッチについて、ＣＣＤ出力にリニア補正を行っただけのＲＧＢ各色の画像データを得ることができる。ここで、Ｒ(1) ，Ｇ(1) ，Ｂ(1) は、１番のカラーパッチを測色して得られたＲ画像データの階調値，Ｇ画像データの階調値，Ｂ画像データの階調値を表すものとする。同様に、Ｒ(2) ，Ｇ(2) ，Ｂ(2) は、２番のカラーパッチを測色して得られたＲ画像データの階調値，Ｇ画像データの階調値，Ｂ画像データの階調値を表している。
【０１０７】
以上のような操作を行うことにより、白熱灯で照明したときの測色値Ｘ，Ｙ，Ｚと、色変換を行う前のＲ，Ｇ，Ｂの各階調値との対応関係が、各カラーパッチについて得られたことになる。例えば、１番のカラーパッチについては、測色値Ｘ(1) ，Ｙ(1) ，Ｚ(1) と、これに対応するＣＣＤ出力Ｒ(1) ，Ｇ(1) ，Ｂ(1) とが得られることになる。同様に、２番のカラーパッチについては、測色値Ｘ(2) ，Ｙ(2) ，Ｚ(2) と、対応するＣＣＤ出力Ｒ(2) ，Ｇ(2) ，Ｂ(2) とが得られる。
【０１０８】
白熱灯下で得られたＣＣＤのＲＧＢ出力を、適切に変換する色変換マトリックスとは、１番のカラーパッチのＣＣＤ出力Ｒ(1) ，Ｇ(1) ，Ｂ(1) を実際の測色値Ｘ(1) ，Ｙ(1) ，Ｚ(1) に変換するマトリックスとなるはずである。同様に、２番のカラーパッチのＣＣＤ出力Ｒ(2) ，Ｇ(2) ，Ｂ(2) については、実際の測色値Ｘ(2) ，Ｙ(2) ，Ｚ(2) に変換するマトリックスとなるはずである。すなわち、各カラーパッチについて得られたＣＣＤのＲＧＢ出力を、実際の測色値ＸＹＺに変換するようなマトリックスが得られれば、そのマトリックスが、白熱灯で撮影した画像データを適切に色変換するマトリックスであると考えることができる。結局、各カラーパッチのＲＧＢ出力が、測色値ＸＹＺに出来るだけ近い値に変換されるような色変換マトリックスを決定してやればよい。
【０１０９】
このようなマトリックスを決定するために、先ず、図９（ｂ）に示すようなマトリックスを仮定する。そして、１番のカラーパッチのＣＣＤ出力Ｒ(1) ，Ｇ(1) ，Ｂ(1) に、このマトリックスを適用して得られた計算値をＸ’(1) ，Ｙ’(1) ，Ｚ’(1) とする。前述したように、実際の測色値はＸ(1) ，Ｙ(1) ，Ｚ(1) であるから、１番のカラーパッチについては、図９（ｃ）に示すような誤差ＥＲ(1) が生じたことになる。
【０１１０】
同様の操作を、２番〜２０番までのそれぞれのカラーパッチについても行うことで、各カラーパッチについての誤差ＥＲ(2) 〜ＥＲ(20)を得ることができる。そして、これら各カラーパッチの誤差の合計値ＥＲを求め、この値が最も小さくなるように、マトリックスに含まれる９つの定数ａ11、ａ12、ａ13，ａ21，ａ22，ａ23，ａ31，ａ32，ａ33を決定する。ここでは、カラーパッチは２０組あるから、いわゆる最小二乗法を適用すれば、誤差の合計値ＥＲが最も小さくなるような９つの定数を決定することが可能である。こうしてマトリックス中の９つの定数を決定してやれば、白熱灯の下で得られたＣＣＤ出力を適切なＸＹＺ値に変換可能な色変換マトリックスが得られたことになる。
【０１１１】
以上の説明では、照明光源が白熱灯であるものとして説明したが、他の照明光源についても、全く同様にして色変換マトリックスを決定することができる。図１０は、こうして得られた各照明光源に対する色変換マトリックスを概念的に示した説明図である。図示した例では、白色灯用の色変換マトリックスＡ、蛍光灯用の色変換マトリックスＢ、太陽光用の色変換マトリックスＣ、日陰光用の色変換マトリックスＤが得られており、各マトリックスには、それぞれ最小二乗法で得られた定数が設定されている様子が示されている。
【０１１２】
図２に示したデジタルカメラ１００の記憶回路１１０には、このような各マトリックスが照明光源の類別に対応付けられた状態で記憶されている。そして、図３に示した画像データ出力処理では、ＣＣＤから得られたＲＧＢ画像データを、このような照明光源に応じた色変換マトリックスを用いて色変換することで、測色値に近い適切なＸＹＺ値に座標変換するのである。このように適切なＸＹＺ値に変換しておけば、後は必要に応じて、画像を再生する機器の色空間に座標変換したり、ホワイトバランス調整やガンマ補正などの各種補正を行う適宜行うことで、元の画像の色彩を適切に再生することが可能となる。
【０１１３】
尚、上述の画像データ出力処理では、ＣＣＤによって得られたＲＧＢ画像データを、照明光源に応じて座標変換するために、色変換マトリックスを適用するものとして説明した。しかし、画像データを色変換する方法としては、色変換マトリックスを用いたものに限られるわけではなく、他の方法を用いて実現することも可能である。例えば、照明光源に応じた色変換テーブルを用いることにより、画像データを適切な色空間に座標変換することとしても良い。
【０１１４】
図１１は、照明光源に応じて設定された色変換テーブルを概念的に示す説明図である。図示されているように、色変換テーブルは互いに直交する３軸にＲ，Ｇ，Ｂの各座標軸を取って、それぞれの軸を細分して生成した格子の座標に、対応するＸＹＺ値を記憶した３次元の数表と考えることができる。このような色変換テーブルを参照すれば、次のようにしてＲＧＢ画像データをＸＹＺ色空間の画像データに座標変換することができる。例えば、ＲＧＢ画像データが（ｒ，ｇ，ｂ）であったとすると、図１１に示したＲ，Ｇ，Ｂを３軸とする空間内に、この画像データに相当する座標点を１つ決定することができる。こうして得られた座標点が、格子点に一致している場合は、格子点に記憶されているＸＹＺ値を読み出すだけで、ＲＧＢ画像データｒ，ｇ，ｂに対応するＸＹＺ値を得ることができる。また、ＲＧＢ画像データに対応する座標点が格子点に一致していない場合は、周囲の格子点に設定されているＸＹＺ値から補間演算を行うことにより、ＲＧＢ画像データｒ，ｇ，ｂに対応するＸＹＺ値を算出することができる。
【０１１５】
このようにして、色変換テーブルを参照して色変換を行うこととすれば、各格子点に適切なＸＹＺ値を設定しておくことにより、非線形な特性の色変換も容易に実現することが可能である。従って、画像データを照明光源に応じた色空間のデータに、より適切に座標変換することが可能となる。一方、前述したように色変換マトリックスを用いて色変換する場合は、メモリ容量を節約することができるという利点が得られる。すなわち、色変換マトリックスを記憶しておくために要するメモリ量は、色変換テーブルを記憶するために要するメモリ量よりも遙かに少ないので、種々の照明光源に対応した多種類の色変換マトリックスを記憶した場合でも、多大なメモリ量が必要になることがない。
【０１１６】
Ｃ．第２実施例  ：
以上に説明した第１実施例では、照明光源に応じて色変換した状態の画像データを出力する場合について説明したが、本発明による画像の再生は、画像データを受け取って、照明光源に応じて座標変換してから画像を再生する態様で実現することも可能である。以下では、こうした第２実施例について説明する。
【０１１７】
Ｃ−１．第２実施例の画像データ出力処理  ：
図１２は、第２実施例において、画像データを出力する処理の流れを示したフローチャートである。第２実施例の画像データ出力処理は、画像データを照明光源に応じて座標変換するのではなく、画像データとともに変換パラメータを関連づけて出力する点が、前述した第１実施例の画像データ出力処理に対して大きく異なっている。以下では、こうした相違点を中心として、第２実施例の画像データ出力処理について簡単に説明する。
【０１１８】
第２実施例の画像データ出力処理においても第１実施例と同様に、処理を開始すると先ず初めに、画像取得回路１０４のＣＣＤ上に撮影対象の画像を結像させて、Ｒ，Ｇ，Ｂ各色のＣＣＤ出力を取得する（ステップＳ２００）。もちろん、ＣＣＤの代わりに、ＣＭＯＳセンサなどを用いることも可能である。次いで、得られたＲＧＢ各色のＣＣＤ出力に対してリニア補正を実施することにより、ＲＧＢ各色の画像データを光強度に正確に比例するデータに変換する（ステップＳ２０２）。かかる変換は、第１実施例と同様に、図５に示すような１次元テーブルを参照することによって実施することができる。もちろん、第１実施例と同様に、こうしたリニア補正処理を省略することも可能である。
【０１１９】
続いて、リニア補正後のＲＧＢ画像データと、予め記憶されている複数の色変換マトリックスとを互いに関連づけた状態で出力する（ステップＳ２０４）。デジタルカメラ１００の記憶回路１１０には、複数の色変換マトリックスが予め記憶されている。そして、ここでは、これら複数の色変換マトリックスが、ＲＧＢ画像データのヘッダ部に書き込まれた状態で出力されるものとする。尚、ＲＧＢ画像データに関連づけて出力される色変換マトリックスは、例えば十字カーソル１１６などを使用して、適切な色変換マトリックスを選択することとしても良い。このとき、照明光源の類別（例えば、白熱灯、太陽光など）に応じて色変換マトリックスを記憶しておき、撮影に用いた照明光源に応じたマトリックスを選択することとしてもよい。もちろん、色変換マトリックスの代わりに複数の色変換テーブルを記憶しておき、これらテーブルを関連づけて出力することも可能である。
【０１２０】
図１３は、ヘッダ部に色変換マトリックス（あるいは色変換テーブル）が書き込まれた画像データのデータ構造を概念的に示した説明図である。尚、ＲＧＢ画像データと色変換マトリックス（あるいは色変換テーブル）とを互いに関連付ける態様は、画像データのヘッダ部に色変換マトリックス等を書き込む態様に限られるものではなく、例えば、画像データと色変換マトリックス等とを別々のファイルとして記憶しておき、ファイルのファイル名の少なくとも一部を共通化しておくことで、これらファイルを互いに関連付けたり、あるいは、ファイル間でハイパーリンクを張ることによって互いを関連付けることも可能である。
【０１２１】
以上のようにして、画像データと色変換マトリックス等とを互いに関連づけた状態で出力したら（ステップＳ２０４）、図１２に示した第２実施例の画像データ出力処理を終了する。第２実施例では、このように色変換マトリックス等が関連づけられた画像データを受け取ると、次のような処理を行うことにより、照明光源に応じて適切に画像を再生する。
【０１２２】
Ｃ−２．第２実施例の画像再生処理  ：
図１４は、第２実施例において画像データを受け取って画像を再生する画像再生機器２００の大まかな構成を示した説明図である。画像再生機器２００としては、液晶モニタや、ＣＲＴモニタ、プロジェクタなどを用いることができる。
【０１２３】
図示されているように、画像再生機器２００は、いわゆる液晶画面やＣＲＴ画面などによって主に構成される画像出力部２０２と、画像出力部２０２を駆動する駆動回路２０４と、外部から供給される画像データを受け取る画像入力回路２１２と、画像入力回路２１２から入力された画像データに所定の画像処理を施す画像処理回路２０６と、駆動回路２０４や画像処理回路２０６、画像入力回路２１２の動作を制御する制御回路２０８と、画像処理や制御に必要な各種データが記憶されている記憶回路２１０と、制御回路２０８に対して各種の設定を行う十字カーソル２１６などから構成されている。また、画像出力回路２１２は、ケーブルを介して画像データを受け取る他に、メモリカードなどの記憶素子２１４を介して画像データを受け取ることもできる。
【０１２４】
以上のような構成を有する第２実施例の画像再生機器２００では、画像データとともに照明光源情報を受け取って次のような処理を行うことで、照明光源によらず適切に画像を再生することが可能となっている。
【０１２５】
図１５は、第２実施例の画像再生機器が、画像データと色変換マトリックス（あるいは色変換テーブル）とを受け取って画像を再生する処理の流れを示した説明図である。以下、フローチャートに従って説明する。画像再生処理を開始すると、先ず初めに画像データと色変換マトリックス（あるいは色変換テーブル）とを取得する（ステップＳ３００）。この画像データは、図１２を用いて前述した画像データ出力処理によって生成されたＲＧＢ画像データであり、色変換マトリックス（あるいは色変換テーブル）が関連づけられている。ステップＳ３００では、このＲＧＢ画像データと色変換マトリックス（あるいは色変換テーブル）とを読み込む処理を行う。
【０１２６】
次いで、照明光源の類別（例えば、白熱灯、太陽光、蛍光灯など）についての設定を取得する（ステップＳ３０２）。照明光源の類別は、画像再生機器２００の制御回路２０８に対して十字カーソル２１６を用いて設定されており、かかる設定を取得する。もちろん、デジタルカメラ１００などから出力される画像データに照明光源に関する情報を関連づけておき、かかる情報に基づいて照明光源の類別を取得することとしても良い。
【０１２７】
こうして照明光源の類別を取得したら、画像データとともに読み込んだ色変換マトリックスが、照明光源に応じた色変換マトリックス（あるいは色変換テーブル）であるか否かを判断する（ステップＳ３０４）。
【０１２８】
読み込んだ色変換マトリックスが、照明光源に対応する色変換マトリックスであった場合は（ステップＳ３０４：ｙｅｓ）、かかる色変換マトリックスを選択する（ステップＳ３０６）。このとき、画像再生装置２００の記憶回路２１０にも、複数の色変換マトリックスを記憶しておき、読み込んだ色変換マトリックスが照明光源に対応するマトリックスではない場合には、記憶回路内のマトリックスの中から、照明光源に対応する色変換マトリックスを選択することとしても良い。一方、照明光源に対応する色変換マトリックスが存在しない場合は（ステップＳ３０４：ｎｏ）、記憶回路２１０に記憶されている複数の色変換マトリックスの中から、標準の色変換マトリックスとして予め設定しておいたマトリックスを選択する（ステップＳ３０８）。
【０１２９】
次いで、先に取得しておいたＲＧＢ画像データに、選択した色変換マトリックスを適用することにより、ＸＹＺ色空間のデータに座標変換する（ステップＳ３１０）。そして、今度は、得られたＸＹＺ色空間の画像データに、図６を用いて前述した色変換マトリックスを作用させることで、今度は、ｓＲＧＢ色空間の画像データに座標変換する（ステップＳ３１２）。前述したように、画像データをｓＲＧＢ色空間のデータに座標変換しておけば、多くの画像再生機器で、自然な画像を再生することができる。
【０１３０】
尚、外部から供給されたＲＧＢ画像データを、直ちにｓＲＧＢ色空間のデータに座標変換するのではなく、一旦、ＸＹＺ色空間の画像データに座標変換している。このため、照明光源の影響を考慮して適切に色変換されたＸＹＺ画像データを取り出して、他の機器に出力することにより、劣化のない高精度の画像データを得ることも可能である。
【０１３１】
以上のようにして、ｓＲＧＢ色空間の画像データが得られたら、この画像データに対して、ホワイトバランス調整を行う（ステップＳ３１４）。すなわち、人間の視覚に備わった色順応という機能に対応して、白色が白色に写るように、光源に合わせてＲ，Ｇ，Ｂ各色のゲインを調整する処理を行う。次いで、ホワイトバランス調整後の画像データに対してガンマ補正を行った後（ステップＳ３１６）、得られた画像データを用いて画像を再生する（ステップＳ３１８）。
【０１３２】
以上のようにして画像を再生してやれば、照明光源に応じて適切に色変換することができるため、どのような照明光源を用いて撮影された画像であっても、適切に再生することが可能となる。
【０１３３】
尚、上述した第２実施例では、画像データのヘッダ部には１つの色変換マトリックスが書き込まれるものとして説明した。しかし、画像データに複数の色変換マトリックスを関連づけておくこともできる。更には、色変換マトリックスに代えて（あるいは色変換マトリックスとともに）色変換テーブルを関連づけておくことも可能である。
【０１３４】
図１６は、ヘッダ部に複数の色変換マトリックスが書き込まれた画像データのデータ構造を概念的に示した説明図である。図示した例では、画像データのヘッダ部に３つの色変換マトリックスが書き込まれている。このように、画像データに複数の色変換マトリックス（あるいは色変換テーブル）を関連づけておけば、画像データを再生する側の機器に応じて柔軟に再生することが可能となる。例えば、色変換マトリックス（１）には、撮影に用いた照明光源に対応する色変換マトリックスを書き込んでおく。そして、色変換マトリックス（２）や色変換マトリックス（３）には、異なる色変換マトリックスを書き込んでおく。こうすれば、画像データの再生側の機器で、色変換マトリックス（１）を用いて座標変換すれば、元の画像の色彩を精度良く再現した高画質な画像を再生することができる。一方、色変換マトリックス（２）あるいは色変換マトリックス（３）を用いて座標変換することで、表現の自由度を向上させて、より高画質な画像を再生することが可能となる。
【０１３５】
また、上述した第２実施例では、画像再生機器２００の記憶回路２１０に、各種の照明光源に応じた複数の色変換マトリックスが記憶されており、照明光源に対応する色変換マトリックスあるいは標準の色変換マトリックスを読み出して使用するものとして説明した。もちろん、色変換マトリックスの代わりに、図１１に示した色変換テーブルを、記憶回路２１０に記憶しておくことも可能である。
【０１３６】
以上、各種の実施例について説明してきたが、本発明は上記すべての実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
【０１３７】
例えば、上述した各種実施例では、画像データがＲＧＢ画像データである場合について説明した。ＲＧＢ画像データを、更に、シアン（Ｃ）、マゼンタ（Ｍ）、イエロ（Ｙ）等の各色によるＣＭＹ色空間に座標変換したり、あるいは、ＸＹＺ画像データをＣＭＹ色空間に座標変換することも可能である。
【図面の簡単な説明】
【０１３８】
【図１】撮影対象の画像データを生成して画像を再生するまでの大まかな流れを示したブロック図である。
【図２】第１実施例における画像データ出力装置の構成を示した説明図である。
【図３】第１実施例の画像データ出力装置においてカラー画像データを生成して出力する処理の流れを示したフローチャートである。
【図４】画像データ出力装置内で色補間を行うことにより１枚のＣＣＤ出力からＲＧＢ各色のＣＣＤ出力を生成している様子を概念的に示した説明図である。
【図５】リニア補正を行う際に参照される１次元テーブルを概念的に示した説明図である。
【図６】ＸＹＺ色空間の画像データをｓＲＧＢ色空間のデータに変換するための色変換マトリックスを示した説明図である。
【図７】ガンマ補正の内容を示す説明図である。
【図８】照明光源に応じた色変換マトリックスを設定するために用いるカラーチャートを例示した説明図である。
【図９】照明光源に応じた色変換マトリックスを設定する方法を示した説明図である。
【図１０】各種の照明光源に応じた色変換マトリックスを概念的に示した説明図である。
【図１１】照明光源に応じた色変換テーブルを概念的に示す説明図である。
【図１２】第２実施例において画像データを出力する処理の流れを示したフローチャートである。
【図１３】ヘッダ部に照明光源情報が書き込まれた画像データのデータ構造を概念的に示した説明図である。
【図１４】第２実施例において画像データを受け取って画像を再生する画像再生機器の大まかな構成を示した説明図である。
【図１５】第２実施例の画像再生機器が画像データと照明光源情報とを受け取って画像を再生する処理の流れを示した説明図である。
【図１６】ヘッダ部に複数の照明光源情報が書き込まれた画像データのデータ構造を概念的に示した説明図である。
【図１７】デジタルカメラやデジタルビデオなどの標準的な分光感度特性を概念的に示す説明図である。
【図１８】デジタルカメラなど撮影機器の標準的な分光感度特性を概念的に示す説明図である。
【符号の説明】
【０１３９】
１０…デジタルカメラ、    ２０…ビデオカメラ、    ３０…スキャナ
４０…コンピュータ、      ５０…プリンタ、        ６０…モニタ
１００…デジタルカメラ、  １０２…光学系、      １０４…画像取得回路
１０６…画像処理回路、    １０８…制御回路、    １１０…記憶回路
１１２…画像出力回路、    １１４…記憶素子、    １１６…十字カーソル
２００…画像再生機器、    ２０２…画像出力部、    ２０４…駆動回路
２０６…画像処理回路、        ２０８…制御回路、    ２１０…記憶回路
２１２…画像入力回路、    ２１４…記憶素子、    ２１６…十字カーソル
【図１】
2005260693.tif 000003
【図２】
2005260693.tif 000004
【図３】
2005260693.tif 000005
【図４】
2005260693.tif 000006
【図５】
2005260693.tif 000007
【図６】
2005260693.tif 000008
【図７】
2005260693.tif 000009
【図８】
2005260693.tif 000010
【図９】
2005260693.tif 000011
【図１０】
2005260693.tif 000012
【図１１】
2005260693.tif 000013
【図１２】
2005260693.tif 000014
【図１３】
2005260693.tif 000015
【図１４】
2005260693.tif 000016
【図１５】
2005260693.tif 000017
【図１６】
2005260693.tif 000018
【図１７】
2005260693.tif 000019
【図１８】
2005260693.tif 000020