(57)【特許請求の範囲】
【請求項１】
入力フルカラー画像データに対し補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化することにより生成された主画像符号化ストリームを復号する主画像復号部と、
前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データを符号化することにより生成された差分画像符号化ストリームを前記標準符号化方式で復号する差分画像復号部と、
前記標準符号化方式によりサポートされる画素値レンジに合わせて正規化されている前記差分画像データの画素値を、前記差分画像符号化ストリームに関連付けられている正規化パラメータを用いて逆正規化する逆正規化部と、
前記主画像復号部の出力と、逆正規化後の前記差分画像データとを合成する合成部と、
を備える画像処理装置。
【請求項２】
前記入力フルカラー画像データは、静止画の画像データである、請求項１に記載の画像処理装置。
【請求項３】
前記標準符号化方式は、ＪＰＥＧ（Joint  Photographic  Experts  Group）方式である、請求項２に記載の画像処理装置。
【請求項４】
前記主画像符号化ストリームは、前記補正後画像データのビット深度を前記入力フルカラー画像データのビット深度よりも少ないビット深度へ削減した後に当該補正後画像データを符号化することにより生成された符号化ストリームである、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記差分画像復号部により出力される前記差分画像データのサイズを復元すべきフルカラー画像データのサイズに合わせて拡大する拡大部、をさらに備え、
前記合成部は、前記補正後画像データを用いて復元されるフルカラー画像データと前記拡大部により拡大された逆正規化後の前記差分画像データとを合成する、
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記入力フルカラー画像データは、ＲＡＷ画像データから生成された画像データである、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記補正処理は、ＥＶ（Exposure  Value）補正、ＷＢ（White  Balance）補正及びガンマ補正のうちの１つ以上を含む、請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
入力フルカラー画像データに対し補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化することにより生成された主画像符号化ストリームを復号して、前記補正後画像データを出力することと、
前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データを符号化することにより生成された差分画像符号化ストリームを前記標準符号化方式で復号して、前記差分画像データを出力することと、
前記標準符号化方式によりサポートされる画素値レンジに合わせて正規化されている前記差分画像データの画素値を、前記差分画像符号化ストリームに関連付けられている正規化パラメータを用いて逆正規化することと、
前記補正後画像データと、逆正規化後の前記差分画像データとを合成することと、
を含む画像処理方法。
【請求項９】
コンピュータを、
入力フルカラー画像データに対し補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化することにより生成された主画像符号化ストリームを復号する主画像復号部と、
前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データを符号化することにより生成された差分画像符号化ストリームを前記標準符号化方式で復号する差分画像復号部と、
前記標準符号化方式によりサポートされる画素値レンジに合わせて正規化されている前記差分画像データの画素値を、前記差分画像符号化ストリームに関連付けられている正規化パラメータを用いて逆正規化する逆正規化部と、
前記主画像復号部の出力と、逆正規化後の前記差分画像データとを合成する合成部と、
として機能させるためのプログラム。
【請求項１０】
入力フルカラー画像データに対し補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化して、主画像符号化ストリームを出力する主画像符号化部と、
前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データの画素値を前記標準符号化方式によりサポートされる画素値レンジに合わせて正規化し及び前記差分画像データの画素値レンジに基づいて正規化パラメータを生成する正規化部と、
正規化後の前記差分画像データを前記標準符号化方式で符号化して、差分画像符号化ストリームを出力する差分画像符号化部と、
前記主画像符号化ストリームに前記差分画像符号化ストリーム及び前記正規化パラメータを関連付ける関連付け部と、
を備える画像処理装置。
【請求項１１】
前記入力フルカラー画像データは、静止画の画像データである、請求項１０に記載の画像処理装置。
【請求項１２】
前記標準符号化方式は、ＪＰＥＧ（Joint  Photographic  Experts  Group）方式である、請求項１１に記載の画像処理装置。
【請求項１３】
前記補正後画像データのビット深度を削減する深度削減部、をさらに備え、
前記主画像符号化部は、前記深度削減部により削減されたビット深度を有する前記補正後画像データを符号化する、
請求項１０〜１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記差分画像データのサイズを縮小する縮小部、をさらに備え、
前記差分画像符号化部は、前記縮小部により縮小された正規化後の縮小差分画像データを前記差分画像データとして符号化する、
請求項１０〜１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記関連付け部は、前記差分画像符号化ストリームにアクセスするためのパラメータを前記主画像符号化ストリームに付加されるヘッダに挿入する、請求項１０〜１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記入力フルカラー画像データは、ＲＡＷ画像データから生成される画像データである、請求項１０〜１５のいずれか１項に記載の画像処理装置。
【請求項１７】
ＲＡＷ画像を撮像するイメージセンサ、をさらに備える、請求項１６に記載の画像処理装置。
【請求項１８】
前記補正処理は、ＥＶ（Exposure  Value）補正、ＷＢ（White  Balance）補正及びガンマ補正のうちの１つ以上を含む、請求項１０〜１７のいずれか１項に記載の画像処理装置。
【請求項１９】
入力フルカラー画像データに対し補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化して、主画像符号化ストリームを出力することと、
前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データの画素値レンジに基づいて正規化パラメータを生成することと、
前記差分画像データの画素値を前記標準符号化方式によりサポートされる画素値レンジに合わせて正規化することと、
正規化後の前記差分画像データを前記標準符号化方式で符号化して、差分画像符号化ストリームを出力することと、
前記主画像符号化ストリームに前記差分画像符号化ストリーム及び前記正規化パラメータを関連付けることと、
を含む画像処理方法。
【請求項２０】
コンピュータを、
入力フルカラー画像データに対し補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化して、主画像符号化ストリームを出力する主画像符号化部と、
前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データの画素値を前記標準符号化方式によりサポートされる画素値レンジに合わせて正規化し及び前記差分画像データの画素値レンジに基づいて正規化パラメータを生成するする正規化部と、
正規化後の前記差分画像データを前記標準符号化方式で符号化して、差分画像符号化ストリームを出力する差分画像符号化部と、
前記主画像符号化ストリームに前記差分画像符号化ストリーム及び前記正規化パラメータを関連付ける関連付け部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
画像のデータサイズを圧縮することのできる画像符号化方式として、ＪＰＥＧ（Joint  Photographic  Experts  Group）方式が広く利用されている。ＪＰＥＧ方式によれば、各色８ビットのビット深度を有する画像のデータサイズが、直交変換、量子化及びエントロピー符号化などの要素技術を用いて圧縮される。ＪＰＥＧ方式は、現在普及しているブラウザ、イメージビューワ、フォトエディタ及びオーサリングツールなどの様々なアプリケーションによりサポートされている。
【０００３】
これに対し、デジタルカメラ又はイメージスキャナなどの撮像デバイスにより原始的に取得されるＲＡＷ画像は、一般的に、１２ビットなどより多くのビット深度を有する。従って、ＲＡＷ画像を最終的にＪＰＥＧ方式で符号化するために、ＲＡＷ画像を現像した後、現像した画像の各画素のビット深度を削減する処理が行われる。結果として、一度ＪＰＥＧ方式で符号化された画像の画質は、当初撮像された画像の画質よりも劣化する。
【０００４】
ビット深度の削減に起因する画質の劣化は、例えば、階調の低下として現れる。階調の低下の典型的な例は、高輝度領域で階調が失われる白とび、及び低輝度領域で階調が失われる黒つぶれである。下記特許文献１は、撮像装置の撮像感度及び明るさ補正量を動的に制御して画像の白つぶれを低減する技術を提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０５５１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、一度階調が低下し又は失われた後で、画像が当初有していた高い階調を取り戻すことは困難であった。また、既存の拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式及びＪＰＥＧ  ＸＲ方式などの多ビット符号化方式を使用すれば、ビット深度を削減する必要性は回避されるものの、これら多ビット符号化方式はＪＰＥＧ方式との間で互換性を有しない。そのため、多ビット符号化方式で高階調画像を扱うという解決策は、実用上採用されにくかった。
【０００７】
従って、ＪＰＥＧ方式のような静止画向けの標準符号化方式との互換性を確保しつつ、画像の符号化によって低下する画質を取り戻すことを可能とする仕組みが実現されることが望ましい。
【課題を解決するための手段】
【０００８】
本開示によれば、静止画の入力フルカラー画像データに対しＥＶ（Exposure  Value）補正、ＷＢ（White  Balance）補正及びガンマ補正のうちの１つ以上を含む補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化することにより生成された主画像符号化ストリームを復号する主画像復号部と、前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データを符号化することにより生成された差分画像符号化ストリームを前記標準符号化方式で復号する差分画像復号部と、前記主画像復号部の出力と、前記差分画像復号部の出力とを合成する合成部と、を備える画像処理装置が提供される。対応する符号化側の処理を実行する画像処理装置もまた提供される。
【０００９】
また、本開示によれば、静止画の入力フルカラー画像データに対しＥＶ（Exposure  Value）補正、ＷＢ（White  Balance）補正及びガンマ補正のうちの１つ以上を含む補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化することにより生成された主画像符号化ストリームを復号して、前記補正後画像データを出力することと、前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データを符号化することにより生成された差分画像符号化ストリームを前記標準符号化方式で復号して、前記差分画像データを出力することと、前記補正後画像データと、前記差分画像データとを合成することと、を含む画像処理方法が提供される。対応する符号化側の画像処理方法もまた提供される。
【００１０】
また、本開示によれば、コンピュータを、静止画の入力フルカラー画像データに対しＥＶ（Exposure  Value）補正、ＷＢ（White  Balance）補正及びガンマ補正のうちの１つ以上を含む補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化することにより生成された主画像符号化ストリームを復号する主画像復号部と、前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データを符号化することにより生成された差分画像符号化ストリームを前記標準符号化方式で復号する差分画像復号部と、前記主画像復号部の出力と、前記差分画像復号部の出力とを合成する合成部と、として機能させるためのプログラムが提供される。対応する符号化側の処理を実行するためのプログラムもまた提供される。
【発明の効果】
【００１１】
本開示に係る技術よれば、静止画向けの標準符号化方式との互換性を確保しつつ、画像の符号化によって低下する画質を取り戻すことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２Ａ】図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第１の例を示すブロック図である。
【図２Ｂ】図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第２の例を示すブロック図である。
【図２Ｃ】図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第３の例を示すブロック図である。
【図２Ｄ】図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第４の例を示すブロック図である。
【図２Ｅ】図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第５の例を示すブロック図である。
【図３】第２符号化ブランチの詳細な構成の第５の例における差分画像の分離について説明するための説明図である。
【図４Ａ】図１に例示した画像符号化装置により出力される符号化ストリームの構成の一例について説明するための説明図である。
【図４Ｂ】図１に例示した画像符号化装置により出力される符号化ストリームの構成の他の例について説明するための説明図である。
【図５】一実施形態に係る画像符号化処理の流れの一例を示すフローチャートである。
【図６】図５に示した差分符号化処理の詳細な流れの一例を示すフローチャートである。
【図７】図６に示した差分加工処理の詳細な流れの一例を示すフローチャートである。
【図８】一実施形態に係る画像符号化処理の流れの他の例を示すフローチャートである。
【図９】図８に示した差分画像分離処理の詳細な流れの一例を示すフローチャートである。
【図１０】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図１１Ａ】図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第１の例を示すブロック図である。
【図１１Ｂ】図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第２の例を示すブロック図である。
【図１１Ｃ】図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第３の例を示すブロック図である。
【図１１Ｄ】図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第４の例を示すブロック図である。
【図１１Ｅ】図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第５の例を示すブロック図である。
【図１２】一実施形態に係る画像復号処理の流れの一例を示すフローチャートである。
【図１３】図１１に示した差分復号処理の詳細な流れの一例を示すフローチャートである。
【図１４】一実施形態に係る画像復号処理の流れの他の例を示すフローチャートである。
【図１５】図１４に示した差分合成処理の詳細な流れの一例を示すフローチャートである。
【図１６Ａ】第１の応用例に係る画像処理装置の構成の一例を示すブロック図である。
【図１６Ｂ】第２の応用例に係る画像処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
１−１．全体的な構成
１−２．第２ブランチの詳細
１−３．ストリーム構成
１−４．処理の流れ
２．一実施形態に係る画像復号装置の構成例
２−１．全体的な構成
２−２．第２ブランチの詳細
２−３．処理の流れ
３．応用例
４．まとめ
【００１５】
＜１．一実施形態に係る画像符号化装置の構成例＞
本開示に係る技術は、ＲＡＷ画像をデモザイク処理することにより生成されるフルカラー画像から符号化ストリームを生成する画像符号化装置と、当該符号化ストリームを復号してフルカラー画像を再構成する画像復号装置とを含む。本開示に係る画像復号装置によって再構成される画像は、フルカラー画像を必ずしも完全には再現しないが、ＪＰＥＧデコーダにより再構成される画像と比較してより高階調の画像を表現し得る。
【００１６】
本明細書において、「ＪＰＥＧ方式」との用語は、８ビットのビット深度をサポートするベースラインＪＰＥＧ方式を意味し、拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式又はＪＰＥＧ  ＸＲ方式などの多ビット符号化方式を含まない。
【００１７】
本節では、一実施形態に係る画像符号化装置について説明する。その後、次節において、一実施形態に係る画像復号装置について説明する。
【００１８】
［１−１．全体的な構成］
図１は、一実施形態に係る画像符号化装置１００の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１００は、ＲＡＷ画像取得部１１０、現像部１２０、補正処理部１３０、逆処理部１４０、差分演算部１５０、第１符号化ブランチ１６０、第２符号化ブランチ１７０及びストリーム出力部１９０を備える。
【００１９】
（１）ＲＡＷ画像取得部
ＲＡＷ画像取得部１１０は、画像符号化装置１００による符号化処理の入力となるＲＡＷ画像データを取得する。ＲＡＷ画像取得部１１０は、例えば、ＣＣＤ（Charge  Coupled  Device）、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）又はＣＩＳ（Contact  Image  Sensor）などの撮像素子を含むイメージセンサからＲＡＷ画像データを取得してもよい。その代わりに、ＲＡＷ画像取得部１１０は、例えば、ＲＡＷ画像データを有する他の装置又は記憶媒体から当該ＲＡＷ画像データを取得してもよい。ＲＡＷ画像は、一般的には、画素ごとに単一の色成分のみを有する画像である。本実施形態において、ＲＡＷ画像取得部１１０により取得されるＲＡＷ画像データは、各色Ｎビット（Ｎは８より大きい）のビット深度を有するものとする。ＲＡＷ画像取得部１１０は、取得したＲＡＷ画像データを現像部１２０へ出力する。
【００２０】
（２）現像部
現像部１２０は、ＲＡＷ画像取得部１１０から入力されるＲＡＷ画像データをデモザイク処理することにより、画素ごと（又は画像符号化方式に依存する所定の単位ごと）に３つの色成分を有する第１のフルカラー画像データＩＭ０を生成する。デモザイク処理とは、典型的には、画素ごとに不足している色成分を補完する処理をいう。本明細書において、フルカラー画像とは、ＲＡＷ画像において不足していた色成分が補完され、画素ごとに全ての色成分が揃っている画像を意味する。現像部１２０は、さらに、例えば、欠陥補正、デジタルクランプ及びデジタルゲインなどの追加的な処理を行ってもよい。一般的に、デジタル画像の「現像」との用語は、デモザイク処理後のフルカラー画像データについて行われる様々な補正処理をも含み得る。しかしながら、本明細書では、それら補正処理は次に説明する補正処理部１３０が行うものとする。現像部１２０は、生成した第１のフルカラー画像データＩＭ０を補正処理部１３０及び差分演算部１５０へ出力する。
【００２１】
（３）補正処理部
補正処理部１３０は、現像部１２０から入力される第１のフルカラー画像データＩＭ０を補正して、高階調画像データＩＭ１を生成する。高階調画像データＩＭ１のビット深度は、第１のフルカラー画像データＩＭ０（及びＲＡＷ画像データ）に等しい。補正処理部１３０による補正処理は、例えば、ＥＶ（Exposure  Value）補正、ＷＢ（White  Balance）補正又はガンマ補正などを含み得る。そして、補正処理部１３０は、生成した高階調画像データＩＭ１を逆処理部１４０及び第１符号化ブランチ１６０へ出力する。
【００２２】
（４）逆処理部
逆処理部１４０は、補正処理部１３０から入力される高階調画像データＩＭ１に上述した補正処理の逆処理を適用して、第２のフルカラー画像データＩＭ０´を生成する。逆処理部１４０による補正処理の逆処理は、例えば、ＥＶ逆補正、ＷＢ逆補正又はガンマ逆補正などを含み得る。そして、逆処理部１４０は、生成した第２のフルカラー画像データＩＭ０´を差分演算部１５０へ出力する。なお、本明細書では、逆処理部１４０が高階調画像データＩＭ１に補正処理の逆処理を適用する例を主に説明する。しかしながら、かかる例に限定されず、逆処理部１４０は、例えば、後に説明する第１の画像データＩＭｄ１に、当該データが生成されるまでに実行された処理の逆処理を適用してもよい。また、逆処理部１４０は、後に説明する第１の符号化ストリームＳＴ１に、当該ストリームが生成されるまでに実行された処理の逆処理を適用してもよい。
【００２３】
（５）差分演算部
差分演算部１５０は、現像部１２０から入力される第１のフルカラー画像データＩＭ０と逆処理部１４０から入力される第２のフルカラー画像データＩＭ０´との差分画像を計算する。そして、差分演算部１５０は、計算される差分画像に基づく第２の画像データＩＭ２を第２符号化ブランチ１７０へ出力する。差分演算部１５０から直接的に出力される第２の画像データＩＭ２は、上記差分画像を表現する、フルカラー画像データＩＭ０と同等のビット深度を有する（但し正負の符号を有し得る）差分画像データである。第２の画像データＩＭ２には、第２符号化ブランチ１７０における符号化の前に、後に説明する様々な処理が加えられ得る。
【００２４】
（６）第１符号化ブランチ
第１符号化ブランチ１６０は、高階調画像データＩＭ１を符号化するための処理分岐である。図１の例において、第１符号化ブランチ１６０は、深度削減・ＹＣ変換部１６２及び第１符号化部１６８を含む。
【００２５】
深度削減・ＹＣ変換部１６２は、高階調画像データＩＭ１のビット深度を各色８ビットに削減すると共に、高階調画像データＩＭ１の色空間をＲＧＢ空間からＹＣ（輝度‐色差）空間に変換して、第１の画像データＩＭｄ１を生成する。そして、深度削減・ＹＣ変換部１６２は、生成した第１の画像データＩＭｄ１を第１符号化部１６８へ出力する。
【００２６】
第１符号化部１６８は、深度削減・ＹＣ変換部１６２から入力される第１の画像データＩＭｄ１をＪＰＥＧ方式で符号化して、第１の符号化ストリームＳＴ１を生成する。即ち、第１符号化部１６８は、一般的なＪＰＥＧエンコーダであってよい。第１符号化部１６８による符号化処理は、典型的には、画像内に配置されるブロックごとに実行される直交変換、量子化及びエントロピー符号化を含む。ここでの符号化処理により、第１の画像データＩＭｄ１のデータサイズが圧縮される。第１符号化部１６８は、このように符号化された第１の画像データＩＭｄ１を含む第１の符号化ストリームＳＴ１を、ストリーム出力部１９０へ出力する。
【００２７】
（７）第２符号化ブランチ
第２符号化ブランチ１７０は、第２の画像データＩＭ２を符号化するための処理分岐である。図１の例において、第２符号化ブランチ１７０は、第２符号化部１７９を含む。第２符号化部１７９は、上述した差分画像に基づく第２の画像データＩＭ２を任意の画像符号化方式で符号化して、第２の符号化ストリームＳＴ２を生成する。第２符号化部１７９により使用される画像符号化方式は、例えば、ＪＰＥＧ方式であってもよく、又は拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式若しくはＪＰＥＧ  ＸＲ方式などであってもよい。第２符号化部１７９は、このように符号化された第２の画像データＩＭ２を含む第２の符号化ストリームＳＴ２を、ストリーム出力部１９０へ出力する。
【００２８】
第２符号化ブランチ１７０は、第２符号化部１７９の前段に、第２の画像データＩＭ２に対して前処理を適用するさらなる処理部を含んでもよい。第２の画像データＩＭ２に適用される前処理は、例えば、色空間の変換、画素値の正規化、画像サイズの縮小、高周波成分の除去、並びに白とび及び黒つぶれが生じていない部分の平滑化、のうちの１つ以上を含み得る。このような第２符号化ブランチ１７０のいくつかの具体的な実施例について、後にさらに説明する。
【００２９】
（８）ストリーム出力部
ストリーム出力部１９０は、第２符号化ブランチ１７０から入力される第２の符号化ストリームＳＴ２を第１符号化ブランチ１６０から入力される第１の符号化ストリームＳＴ１に関連付けて、これら２つの符号化ストリームを出力する。ストリーム出力部１９０は、例えば、第２の符号化ストリームＳＴ２にアクセスするための参照用パラメータを生成し、生成した参照用パラメータを第１の符号化ストリームのヘッダ領域に挿入し得る。
【００３０】
例えば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２が１つのファイル内に多重化される場合には、参照用パラメータは、第２の符号化ストリームＳＴ２のストリーム識別子、開始アドレス、又は第１の符号化ストリームＳＴ１に続くストリームが第２の符号化ストリームＳＴ２であることを示すフラグなどであってよい。また、例えば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２が別のファイル内に格納される場合には、参照用パラメータは、第２の符号化ストリームＳＴ２が格納されるファイルのファイル名などであってよい。このような参照用パラメータが挿入されるヘッダ領域は、第１の符号化ストリームが格納されるファイル内に存在してもよく、又は第１の符号化ストリームが格納されるファイルとは別のファイル（例えば、ヘッダファイル）内に存在してもよい。
【００３１】
ストリーム出力部１９０により出力される第１及び第２の符号化ストリームＳＴ１、ＳＴ２は、画像符号化装置１００に接続される記憶媒体により記憶されてもよい。その代わりに、第１及び第２の符号化ストリームＳＴ１、ＳＴ２は、画像符号化装置１００から他の装置へ送信され、他の装置において記憶又は復号されてもよい。
【００３２】
［１−２．第２ブランチの詳細］
本項では、図１に例示した画像符号化装置１００の第２符号化ブランチ１７０の５つの詳細な実施例を説明する。
【００３３】
（１）第１の実施例
図２Ａは、第２符号化ブランチ１７０の詳細な構成の第１の例を示すブロック図である。図２Ａを参照すると、第２符号化ブランチ１７０は、正規化部１７５、ＹＣ変換部１７７及び第２符号化部１７９ａを含む。
【００３４】
正規化部１７５は、第２の画像データＩＭ２の画素値を第２符号化ブランチ１７０によりサポートされる画素値レンジに合わせて正規化する。第１の実施例においては、第２符号化部１７９ａは、ＪＰＥＧ方式を使用する。この場合、第２符号化部１７９ａによりサポートされる画素値レンジは、０〜２５５である。一方、差分演算部１５０から入力される第２の画像データＩＭ２の画素値（差分画素値）の最小値及び最大値をそれぞれＤｍｉｎ及びＤｍａｘとする。最小値Ｄｍｉｎ及び最大値Ｄｍａｘは、理論的にはフルカラー画像データＩＭ０と同等のビット深度を有し、さらに正負の符号を有し得る。そこで、正規化部１７５は、例えば、差分画素値の最小値Ｄｍｉｎがゼロに、最大値Ｄｍａｘが２５５にそれぞれ等しくなるように、第２の画像データＩＭ２の画素値を正規化する。そして、正規化部１７５は、正規化された画素値を有する第２の画像データＩＭ２をＹＣ変換部１７７へ出力する。
【００３５】
また、正規化部１７５は、正規化された画素値をデコーダが元の差分画素値に逆正規化できるようにするために、正規化パラメータをストリーム出力部１９０へ出力する。正規化パラメータは、上述した最小値Ｄｍｉｎ及び最大値Ｄｍａｘであってもよい。その代わりに、正規化パラメータは、レンジ比率Ｒｒａｎｇｅ及びシフト量Ｓｒａｎｇｅであってもよい。レンジ比率Ｒｒａｎｇｅは、正規化前後のレンジ幅の比率を示す。シフト量Ｓｒａｎｇｅは、正規化前後のレンジの中央位置のズレの量を示す。レンジ比率Ｒｒａｎｇｅ及びシフト量Ｓｒａｎｇｅは、上述した最小値Ｄｍｉｎ及び最大値Ｄｍａｘから計算され得る。
【００３６】
ＹＣ変換部１７７は、正規化部１７５から入力される第２の画像データＩＭ２の色空間をＲＧＢ空間からＹＣ空間に変換する。そして、ＹＣ変換部１７７は、ＹＣ空間で表現される画素値を有する第２の画像データＩＭ２を第２符号化部１７９ａへ出力する。
【００３７】
第２符号化部１７９ａは、ＹＣ変換部１７７から入力される第２の画像データＩＭ２をＪＰＥＧ方式で符号化して、第２の符号化ストリームＳＴ２を生成する。即ち、本実施例において、第２符号化部１７９ａは、第１符号化部１６８と同様、一般的なＪＰＥＧエンコーダであってよい。
【００３８】
第１の実施例によれば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２の双方がＪＰＥＧエンコーダを用いて符号化されるため、広く普及しているＪＰＥＧエンコーダを活用して、より低いコストで本開示に係る技術を実現することができる。
【００３９】
（２）第２の実施例
図２Ｂは、第２符号化ブランチ１７０の詳細な構成の第２の例を示すブロック図である。図２Ｂを参照すると、第２符号化ブランチ１７０は、縮小部１７３、正規化部１７５及び第２符号化部１７９ｂを含む。
【００４０】
縮小部１７３は、第２の画像データＩＭ２のサイズを縮小する。縮小部１７３により用いられるサイズの縮小比は、いかなる値であってもよい。例えば、縮小部１７３は、縦方向及び横方向の各々のサイズを１／２に縮小することにより、第２の画像データＩＭ２のサイズを全体で１／４に縮小してもよい。そして、縮小部１７３は、サイズの縮小された第２の画像データＩＭ２を正規化部１７５へ出力する。
【００４１】
正規化部１７５は、縮小部１７３から入力される第２の画像データＩＭ２の画素値を第２符号化ブランチ１７０によりサポートされる画素値レンジに合わせて正規化する。例えば、第２符号化部１７９ｂが１０ビットの画像符号化方式を使用する場合、第２符号化部１７９ａによりサポートされる画素値レンジは、０〜１０２３である。そこで、正規化部１７５は、差分画素値の最小値Ｄｍｉｎがゼロに、最大値Ｄｍａｘが１０２３にそれぞれ等しくなるように、第２の画像データＩＭ２の画素値を正規化する。そして、正規化部１７５は、正規化された画素値を有する第２の画像データＩＭ２を第２符号化部１７９ｂへ出力する。また、正規化部１７５は、正規化パラメータをストリーム出力部１９０へ出力する。
【００４２】
第２符号化部１７９ｂは、正規化部１７５から入力される第２の画像データＩＭ２を任意の画像符号化方式で符号化して、第２の符号化ストリームＳＴ２を生成する。第２の画像データＩＭ２が符号化される前に、第２の画像データＩＭ２の色空間がＲＧＢ空間からＹＣ空間に変換されてもよい。第２符号化部１７９ｂによりＪＰＥＧ方式が使用される場合には、第１の実施例と同様、差分画像の符号化においてもＪＰＥＧエンコーダを活用して、より低いコストで本開示に係る技術を実現することができる。
【００４３】
第２の実施例によれば、符号化される第２の画像データＩＭ２のサイズが縮小されるため、第２の符号化ストリームＳＴ２のデータ量を低減することができる。後に説明するように、第２の画像データＩＭ２は、フルカラー画像データを符号化することにより低下する画質を補うために補完的に使用される画像データである。よって、完全に近いフルカラー画像の再現が求められない場合には、このように第２の画像データＩＭ２のサイズを縮小して符号化ストリームのデータ量を低減することが有益である。
【００４４】
（３）第３の実施例
図２Ｃは、第２符号化ブランチ１７０の詳細な構成の第３の例を示すブロック図である。図２Ｃを参照すると、第２符号化ブランチ１７０は、差分加工部１７１、正規化部１７５及び第２符号化部１７９ｂを含む。
【００４５】
差分加工部１７１は、例えば、ＹＣ空間に色変換された第１の画像データＩＭｄ１において高周波成分が強い値を示す画素位置の第２の画像データＩＭ２の画素値を一定の値に置換し得る。一例として、ノイズの発生している画素、又は隣接する画素との間で画素値が急激に変化している画素において、高周波成分は強い値を示し得る。一般的に、強い高周波成分を含む画像データは、周波数領域での変換係数の量子化を通じてデータサイズを圧縮する画像符号化方式の符号化効率の低下を招き易い。一方で、画像の高周波成分は、人間の視覚を通じて感知されにくい。従って、高周波成分が強い値を示す画素位置の画素値を一定の（即ち、フラットな）値に置換えることで、人間に画質の低下をあまり感知させることなく、高周波成分を除去して、第２符号化ブランチ１７０の符号化効率を高めることができる。なお、ここでの一定の値を第２の画像データＩＭ２の画素値レンジの中央の値とすることにより、直交変換（例えば、離散コサイン変換）後のエネルギーを低域に集中させ、符号化効率を一層高めることができる。第２の画像データＩＭ２について正規化が行われる前であれば、画素値レンジの中央の値はゼロである。
【００４６】
また、差分加工部１７１は、ＹＣ空間に色変換された第１の画像データＩＭｄ１においてその輝度が画素値レンジの中央部分に属する画素位置の第２の画像データＩＭ２の画素値を一定の値に置換し得る。ここでの画素値レンジの中央部分とは、符号化処理の結果として白とび又は黒つぶれが生じ易い画素値レンジの上端部分及び下端部分、を除いた部分をいう。一例として、ビット深度が８ビットである第１の画像データＩＭｄ１の画素値レンジは、０〜２５５である。この場合、中央部分のレンジをＲ１〜Ｒ２とすると、例えばＲ１＝３０、Ｒ２＝２３０などであってよい。このような画素値の置換によって、白とび又は黒つぶれが生じる可能性の高い画素位置の差分画像の階調を維持しつつ、そうした可能性の低い画素位置の差分画像の階調が平滑化される。従って、第２符号化ブランチ１７０の符号化効率を高めつつ、第１符号化ブランチ１６０において画像の一部分に白とび又は黒つぶれが生じたとしても、当該部分の階調を差分画像で補うことができる。なお、ここでの一定の値もまた、第２の画像データＩＭ２の画素値レンジの中央の値であってよい。
【００４７】
正規化部１７５は、差分加工部１７１により加工された第２の画像データＩＭ２の画素値を第２符号化ブランチ１７０によりサポートされる画素値レンジに合わせて正規化する。そして、正規化部１７５は、正規化された画素値を有する第２の画像データＩＭ２を第２符号化部１７９ｂへ出力する。正規化部１７５は、正規化パラメータをストリーム出力部１９０へ出力する。
【００４８】
第２符号化部１７９ｂは、正規化部１７５から入力される第２の画像データＩＭ２を任意の画像符号化方式で符号化して、第２の符号化ストリームＳＴ２を生成する。第２の画像データＩＭ２が符号化される前に、第２の画像データＩＭ２の色空間がＲＧＢ空間からＹＣ空間に変換されてもよい。第２符号化部１７９ｂによりＪＰＥＧ方式が使用される場合には、第１の実施例と同様、差分画像の符号化においてもＪＰＥＧエンコーダを活用して、より低いコストで本開示に係る技術を実現することができる。
【００４９】
（４）第４の実施例
図２Ｄは、第２符号化ブランチ１７０の詳細な構成の第４の例を示すブロック図である。第４の実施例は、上述した第１、第２及び第３の実施例の組合せである。図２Ｄを参照すると、第２符号化ブランチ１７０は、差分加工部１７１、縮小部１７３、正規化部１７５、ＹＣ変換部１７７及び第２符号化部１７９ａを含む。
【００５０】
差分加工部１７１は、例えば、ＹＣ空間に色変換された第１の画像データＩＭｄ１において高周波成分が強い値を示す画素位置又は輝度が画素値レンジの中央部分に属する画素位置の第２の画像データＩＭ２の画素値を、一定の値に置換する。縮小部１７３は、第２の画像データＩＭ２のサイズを縮小する。正規化部１７５は、第２の画像データＩＭ２の画素値を第２符号化部１７９ａによりサポートされる画素値レンジに合わせて正規化する。ＹＣ変換部１７７は、第２の画像データＩＭ２の色空間をＲＧＢ空間からＹＣ空間に変換する。そして、第２符号化部１７９ａは、第２の画像データＩＭ２をＪＰＥＧ方式で符号化して、第２の符号化ストリームＳＴ２を生成する。
【００５１】
（５）第５の実施例
図２Ｅは、第２符号化ブランチ１７０の詳細な構成の第５の例を示すブロック図である。図２Ｅを参照すると、第２符号化ブランチ１７０は、分類部１８０、差分加工部１７１、縮小部１７３、正規化部１７５、ＹＣ変換部１７７、第２符号化部１７９ａ、差分加工部１８１、縮小部１８３、正規化部１８５、ＹＣ変換部１８７及び第２符号化部１８９ａを含む。
【００５２】
分類部１８０は、所定の輝度閾値を用いて、第２の画像データＩＭ２の各画素を、白とびが生じる可能性のある画素のための第１グループ及び黒つぶれが生じる可能性のある画素のための第２グループを含む複数のグループのいずれかに分類する。
【００５３】
より具体的には、分類部１８０は、第１の画像データＩＭｄ１の輝度値を第１符号化ブランチ１６０から取得する。そして、分類部１８０は、取得した輝度値を所定の輝度閾値と比較する。典型的には、輝度閾値は、輝度値のレンジの中央の値であってよい。第１の画像データＩＭｄ１において上記輝度閾値を上回る輝度値を示す画素位置においては、ＪＰＥＧ方式での符号化の結果として白とびが生じる可能性がある。また、第１の画像データＩＭｄ１において上記輝度閾値を下回る輝度値を示す画素位置においては、同様に黒つぶれが生じる可能性がある。従って、分類部１８０は、輝度値が輝度閾値を上回る画素を第１グループに、輝度値が輝度閾値を下回る画素を第２グループに分類し得る。なお、分類部１８０は、２つの異なる輝度閾値を用いて、白とびが生じる可能性のある画素のための第１グループ、黒つぶれが生じる可能性のある画素のための第２グループ及びその他の画素のための第３グループのいずれかに、各画素を分類してもよい。
【００５４】
分類部１８０は、上述した分類の結果に応じて、第２の画像データＩＭ２を白とび用の差分画像データＩＭ２ａ及び黒つぶれ用の差分画像データＩＭ２ｂに分離する。白とび用の差分画像データＩＭ２ａは、第１グループの画素において第２の画像データＩＭ２の差分画素値を有し、他の画素において画素値ゼロを有するデータである。黒つぶれ用の差分画像データＩＭ２ｂは、第２グループの画素において第２の画像データＩＭ２の差分画素値を有し、他の画素において画素値ゼロを有するデータである。そして、分類部１８０は、白とび用の差分画像データＩＭ２ａを差分加工部１７１へ、黒つぶれ用の差分画像データＩＭ２ｂを差分加工部１８１へ出力する。
【００５５】
図３は、分類部１８０による差分画像の分離について説明するための説明図である。図３の左上には、第１の画像データＩＭｄ１により表現される一例としての画像が示されている。当該画像には、山と木々とが映っている。当該画像中で、山肌の一部及び木々の一部の輝度は高く、それ以外の部分の輝度は低い。図中の等輝度線ＥＬは、上述したグループの分類に用いられる輝度閾値と等しい輝度値を有する画素位置を示している。分類部１８０は、このような輝度の解析に基づいて、等輝度線ＥＬの内側の差分画素値を有する白とび用の差分画像データＩＭ２ａと、等輝度線ＥＬの外側の差分画素値を有する黒つぶれ用の差分画像データＩＭ２ｂとに、第２の画像データＩＭ２を分離し得る。
【００５６】
差分加工部１７１は、例えば、ＹＣ空間に色変換された第１の画像データＩＭｄ１において高周波成分が強い値を示す画素位置又は輝度が画素値レンジの中央部分に属する画素位置の白とび用の差分画像データＩＭ２ａの画素値を、一定の値に置換する。縮小部１７３は、白とび用の差分画像データＩＭ２ａのサイズを縮小する。正規化部１７５は、白とび用の差分画像データＩＭ２ａの画素値を第２符号化部１７９ａによりサポートされる画素値レンジに合わせて正規化する。ＹＣ変換部１７７は、白とび用の差分画像データＩＭ２ａの色空間をＲＧＢ空間からＹＣ空間に変換する。そして、第２符号化部１７９ａは、白とび用の差分画像データＩＭ２ａをＪＰＥＧ方式で符号化して、白とび用の符号化ストリームＳＴ２ａを生成する。
【００５７】
差分加工部１８１は、例えば、ＹＣ空間に色変換された第１の画像データＩＭｄ１において高周波成分が強い値を示す画素位置又は輝度が画素値レンジの中央部分に属する画素位置の黒つぶれ用の差分画像データＩＭ２ｂの画素値を、一定の値に置換する。縮小部１８３は、黒つぶれ用の差分画像データＩＭ２ｂのサイズを縮小する。正規化部１８５は、黒つぶれ用の差分画像データＩＭ２ｂの画素値を第２符号化部１８９ａによりサポートされる画素値レンジに合わせて正規化する。ＹＣ変換部１８７は、黒つぶれ用の差分画像データＩＭ２ｂの色空間をＲＧＢ空間からＹＣ空間に変換する。そして、第２符号化部１８９ａは、黒つぶれ用の差分画像データＩＭ２ｂをＪＰＥＧ方式で符号化して、黒つぶれ用の符号化ストリームＳＴ２ｂを生成する。
【００５８】
第５の実施例が採用される場合、図１に示したストリーム出力部１９０は、第２符号化ブランチ１７０から入力される２つの符号化ストリームＳＴ２ａ及びＳＴ２ｂを第１の符号化ストリームＳＴ１に関連付けて、これら３つの符号化ストリームを出力する。ストリーム出力部１９０は、例えば、符号化ストリームＳＴ２ａ及びＳＴ２ｂにアクセスするための参照用パラメータを生成し、生成した参照用パラメータを第１の符号化ストリームのヘッダ領域に挿入し得る。
【００５９】
第５の実施例によれば、白とびにより失われる階調を補完するための差分画像データと、黒つぶれにより失われる階調を補完するための差分画像データとが別々に符号化される。一般的に、白とびが生じる領域と黒つぶれが生じる領域との間の画像の相関は低い。従って、上述した２つの差分画像データを別々に符号化することで、これら領域において第２の画像データで補償される画質を高めることができる。
【００６０】
［１−３．ストリーム構成］
図４Ａは、画像符号化装置１００により出力される符号化ストリームの構成の一例について説明するための説明図である。図４Ａを参照すると、第１の符号化ストリームＳＴ１、及び第１の符号化ストリームＳＴ１に関連付けられた第２の符号化ストリームＳＴ２が示されている。
【００６１】
第１の符号化ストリームＳＴ１は、ＪＰＥＧフォーマットに従って生成されており、スタートマーカ（ＳＯＩ：Start  Of  Image）、ＪＰＥＧヘッダ領域、ＪＰＥＧデータ領域、及びエンドマーカ（ＥＯＩ：End  Of  Image）を含む。ＪＰＥＧヘッダ領域は、ユーザ定義領域ＵＳＥＲ＿ＳＥＣをさらに含む。ユーザ定義領域ＵＳＥＲ＿ＳＥＣは、例えば、ＡＰＰセグメント又はＣＯＭセグメントであってよい。ユーザ定義領域ＵＳＥＲ＿ＳＥＣには、第２の符号化ストリームＳＴ２にアクセスするために使用される、上述した参照用パラメータが挿入される。さらに、ユーザ定義領域ＵＳＥＲ＿ＳＥＣには、第２の符号化ストリームＳＴ２の符号化の際に使用された符号化方式を識別するための識別子（符号化方式ＩＤ）などの追加的なパラメータが挿入されてもよい。
【００６２】
よって、デコーダは、第１の符号化ストリームＳＴ１のヘッダ領域に挿入される参照用パラメータを用いて、第２の符号化ストリームＳＴ２にアクセスすることができる。第２の符号化ストリームＳＴ２は、少なくともヘッダ領域及びデータ領域を含む。第２の符号化ストリームＳＴ２のヘッダ領域には、第２の符号化ストリームＳＴ２の復号のために必要とされるパラメータ（例えば、上述した正規化パラメータ、量子化テーブル及び符号化テーブルなど）が挿入され得る。なお、正規化パラメータは、第１の符号化ストリームＳＴ１のヘッダ領域に挿入されてもよい。
【００６３】
図４Ｂは、画像符号化装置１００により出力される符号化ストリームの構成の他の例について説明するための説明図である。図４Ｂの例は、図２Ｅを用いて説明した第２符号化ブランチ１７０の第５の実施例に対応する。図４Ｂを参照すると、第１の符号化ストリームＳＴ１、並びに第１の符号化ストリームＳＴ１に関連付けられた２つの差分画像の符号化ストリームＳＴ２ａ及びＳＴ２ｂが示されている。
【００６４】
第１の符号化ストリームＳＴ１の構成は、図４Ａを用いて説明した構成と同様である。但し、ユーザ定義領域ＵＳＥＲ＿ＳＥＣには、２つの差分画像の符号化ストリームＳＴ２ａ及びＳＴ２ｂにアクセスするために使用される参照用パラメータが挿入される。
【００６５】
よって、デコーダは、第１の符号化ストリームＳＴ１のヘッダ領域に挿入される参照用パラメータを用いて、２つの差分画像の符号化ストリームＳＴ２ａ及びＳＴ２ｂにアクセスすることができる。符号化ストリームＳＴ２ａ及びＳＴ２ｂの各々は、少なくともヘッダ領域及びデータ領域を含む。符号化ストリームＳＴ２ａ及びＳＴ２ｂの各々のヘッダ領域には、各符号化ストリームの復号のために必要とされるパラメータが挿入され得る。
【００６６】
なお、例えば、差分画像の符号化ストリームＳＴ２ｂ（又はＳＴ２ａ）にアクセスするための参照用パラメータが、第１の符号化ストリームＳＴ１のヘッダ領域ではなく、差分画像の符号化ストリームＳＴ２ａ（又はＳＴ２ｂ）のヘッダ領域に挿入されてもよい。
【００６７】
［１−４．処理の流れ］
本項では、図５〜図９を用いて、画像符号化装置１００による画像符号化処理の流れについて説明する。
【００６８】
（１）全体的な流れ
図５は、本実施形態に係る画像符号化処理の流れの一例を示すフローチャートである。
【００６９】
図５を参照すると、まず、ＲＡＷ画像取得部１１０は、イメージセンサにより生成され又は他の装置若しくは記憶媒体から入力されるＲＡＷ画像データを取得する（ステップＳ１００）。そして、ＲＡＷ画像取得部１１０は、取得したＲＡＷ画像データを現像部１２０へ出力する。
【００７０】
次に、現像部１２０は、ＲＡＷ画像取得部１１０から入力されるＲＡＷ画像データをデモザイク処理することにより、第１のフルカラー画像データを生成する（ステップＳ１１０）。そして、現像部１２０は、生成した第１のフルカラー画像データを補正処理部１３０へ出力する。
【００７１】
次に、補正処理部１３０は、現像部１２０から入力される第１のフルカラー画像データを補正して、高階調画像データを生成する（ステップＳ１２０）。そして、補正処理部１３０は、生成した高階調画像データを逆処理部１４０及び第１符号化ブランチ１６０へ出力する。
【００７２】
次に、第１符号化ブランチ１６０において、深度削減・ＹＣ変換部１６２は、補正処理部１３０から入力される高階調画像データのビット深度を各色８ビットに削減すると共に、その色空間をＲＧＢ空間からＹＣ空間に変換して、第１の画像データを生成する（ステップＳ１３０）。そして、深度削減・ＹＣ変換部１６２は、生成した第１の画像データを第１符号化部１６８へ出力する。
【００７３】
次に、第１符号化部１６８は、深度削減・ＹＣ変換部１６２から入力される第１の画像データをＪＰＥＧ方式で符号化して、第１の符号化ストリームを生成する（ステップＳ１３５）。そして、第１符号化部１６８は、符号化された第１の画像データを含む第１の符号化ストリームをストリーム出力部１９０へ出力する。
【００７４】
また、逆処理部１４０は、補正処理部１３０から入力される高階調画像データに例えばＥＶ逆補正、ＷＢ逆補正又はガンマ逆補正などの（補正処理の）逆処理を適用して、第２のフルカラー画像データを生成する（ステップＳ１４０）。そして、逆処理部１４０は、生成した第２のフルカラー画像データを差分演算部１５０へ出力する。
【００７５】
次に、差分演算部１５０は、現像部１２０から入力される第１のフルカラー画像データと逆処理部１４０から入力される第２のフルカラー画像データとの差分を計算する（ステップＳ１４５）。そして、差分演算部１５０は、差分画像に基づく第２の画像データを第２符号化ブランチ１７０へ出力する。
【００７６】
次に、第２符号化ブランチ１７０において、差分符号化処理が実行され、第２の符号化ストリームがストリーム出力部１９０へ出力される（ステップＳ１６０）。ここでの差分符号化処理について、図６を用いてさらに説明する。
【００７７】
次に、ストリーム出力部１９０は、第２符号化ブランチ１７０から入力される第２の符号化ストリームを第１符号化ブランチから入力される第１の符号化ストリームに関連付ける（ステップＳ１８０）。ここでの関連付けは、上述した参照用パラメータを用いて行われ得る。そして、ストリーム出力部１９０は、第１及び第２の符号化ストリームを、画像符号化装置１００に接続される記憶媒体又は他の装置へ出力する（ステップＳ１９０）。
【００７８】
（２）差分符号化処理
図６は、図５に示した差分符号化処理の詳細な流れの一例を示すフローチャートである。
【００７９】
図６を参照すると、まず、第２の画像データの符号化の前に当該第２の画像データ（差分画像）を加工すべきか否かが判定される（ステップＳ１６１）。例えば、上述した第１及び第２の実施例においては、第２の画像データは加工されない。一方、上述した第３及び第４の実施例においては、第２の画像データは加工され得る。第２の画像データを加工すべきであると判定された場合には、第２の画像データについて、差分加工部１７１により差分加工処理が実行される（ステップＳ１６２）。ここでの差分加工処理について、図７を用いてさらに説明する。
【００８０】
次に、第２の画像データ（差分画像）のサイズを縮小すべきか否かが判定される（ステップＳ１６３）。例えば、上述した第１及び第３の実施例においては、第２の画像データのサイズは縮小されない。一方、上述した第２及び第４の実施例においては、第２の画像データのサイズは縮小され得る。第２の画像データのサイズを縮小すべきであると判定された場合には、第２の画像データのサイズが縮小部１７３により縮小される（ステップＳ１６４）。
【００８１】
次に、正規化部１７５は、第２の画像データの画素値を第２符号化ブランチ１７０によりサポートされる画素値レンジに合わせて正規化する（ステップＳ１６５）。それにより、正負の符号を有し得る第２の画像データの各画素値が、０〜２Ｎ−１（Ｎはビット深度）の画素値レンジに合わせて正規化される。また、正規化部１７５は、正規化パラメータをストリーム出力部１９０へ出力する。
【００８２】
次に、第２の画像データの色空間を変換すべきか否かが判定される（ステップＳ１６６）。例えば、第２の画像データを符号化するためにＪＰＥＧ方式が用いられる場合には、第２の画像データの色空間をＹＣ空間に変換すべきであると判定され得る。第２の画像データの色空間を変換すべきであると判定された場合には、ＹＣ変換部１７７により、第２の画像データの色空間がＲＧＢ空間から他の色空間（例えばＹＣ空間）に変換される（ステップＳ１６７）。
【００８３】
次に、第２符号化部１７９は、第２の画像データをＪＰＥＧ方式又はその他の画像符号化方式で符号化して、第２の符号化ストリームを生成する（ステップＳ１６８）。そして、第２符号化部１７９は、生成した第２の符号化ストリームをストリーム出力部１９０へ出力する。
【００８４】
（３）差分加工処理
図７は、図６に示した差分加工処理の詳細な流れの一例を示すフローチャートである。
【００８５】
図７に示した差分加工処理に含まれるステップＳ１７２〜ステップＳ１７５の処理は、第２の画像データの各画素について繰り返される（ステップＳ１７１）。
【００８６】
各画素を注目画素とする繰り返しにおいて、差分加工部１７１は、まず、注目画素の画素位置において第１の画像データの高周波成分が強い値を示しているかを判定する（ステップＳ１７２）。ここで、当該高周波成分が強い値を示していない場合には、次のステップＳ１７３の処理はスキップされる。当該高周波成分が強い値を示している場合には、差分加工部１７１は、注目画素の画素値を一定の値に置換する（ステップＳ１７３）。
【００８７】
次に、差分加工部１７１は、注目画素の画素位置において第１の画像データの輝度値が画素値レンジの中央部分に属するかを判定する（ステップＳ１７４）。ここで、当該輝度値が画素値レンジの中央部分に属しない場合には、次のステップＳ１７５の処理はスキップされる。当該輝度値が画素値レンジの中央部分に属する場合には、差分加工部１７１は、注目画素の画素値を一定の値に置換する（ステップＳ１７５）。
【００８８】
第２の画像データの全ての画素についてこれら処理が実行されると、図７に示した差分加工処理は終了する。
【００８９】
（４）全体的な流れの他の例
図８は、本実施形態に係る画像符号化処理の流れの他の例を示すフローチャートである。図８に示したステップＳ１００からステップＳ１４５までの処理は、図５を用いて説明した処理と同様であってよい。
【００９０】
差分演算部１５０により第１のフルカラー画像データと第２のフルカラー画像データとの差分画像に基づく第２の画像データが生成されると、第２符号化ブランチ１７０において、分類部１８０により差分画像分離処理が実行される（ステップＳ１５０）。それにより、第２の画像データから、白とび用の差分画像データ及び黒つぶれ用の差分画像データが分離される。ここでの差分画像分離処理について、図９を用いてさらに説明する。
【００９１】
次に、白とび用の差分画像データについて、図６及び図７を用いて説明したような差分符号化処理が実行され、符号化された白とび用の差分画像データを含む符号化ストリームがストリーム出力部１９０へ出力される（ステップＳ１６０ａ）。
【００９２】
また、黒つぶれ用の差分画像データについて、図６及び図７を用いて説明したような差分符号化処理が実行され、符号化された黒つぶれ用の差分画像データを含む符号化ストリームがストリーム出力部１９０へ出力される（ステップＳ１６０ｂ）。
【００９３】
次に、ストリーム出力部１９０は、第２符号化ブランチ１７０から入力される差分画像の２つの符号化ストリームを第１符号化ブランチから入力される第１の符号化ストリームに関連付ける（ステップＳ１８０）。ここでの関連付けは、上述した参照用パラメータを用いて行われ得る。そして、ストリーム出力部１９０は、これら符号化ストリームを、画像符号化装置１００に接続される記憶媒体又は他の装置へ出力する（ステップＳ１９０）。
【００９４】
（５）差分画像分離処理
図９は、図８に示した差分画像分離処理の詳細な流れの一例を示すフローチャートである。
【００９５】
図９に示した差分画像分離処理に含まれるステップＳ１５２〜ステップＳ１５５の処理は、第２の画像データの各画素について繰り返される（ステップＳ１５１）。
【００９６】
各画素を注目画素とする繰り返しにおいて、分類部１８０は、まず、第１の画像データの注目画素の輝度値を取得する（ステップＳ１５２）。次に、分類部１８０は、取得した輝度値を輝度閾値（典型的には、画素値レンジの中央の値）と比較する（ステップＳ１５３）。ここで、例えば輝度値が輝度閾値よりも小さくない場合には、分類部１８０は、注目画素を白とび用の第１グループに分類する（ステップＳ１５４）。一方、輝度値が輝度閾値よりも小さい場合には、分類部１８０は、注目画素を黒つぶれ用の第２グループに分類する（ステップＳ１５５）。
【００９７】
そして、分類部１８０は、分類の結果に応じて、第２の画像データから白とび用の差分画像データを分離する（ステップＳ１５６）と共に、第２の画像データから黒つぶれ用の差分画像データを分離する（ステップＳ１５７）。
【００９８】
なお、本項で説明した処理ステップの順序は、各図に示した順序に限定されない。例えば、図５の画像符号化処理において、ステップＳ１３５での第１の画像データの符号化とステップＳ１６０での差分符号化処理とが並列的に行われてもよい。
【００９９】
＜２．一実施形態に係る画像復号装置の構成例＞
［２−１．全体的な構成］
図１０は、上述した画像符号化装置１００から出力される符号化ストリームを復号する、一実施形態に係る画像復号装置２００の構成の一例を示すブロック図である。図１０を参照すると、画像復号装置２００は、ストリーム取得部２１０、第１復号ブランチ２２０、第２復号ブランチ２３０、逆処理部２６０、合成部２７０及び画像出力部２８０を備える。
【０１００】
（１）ストリーム取得部
ストリーム取得部２１０は、画像復号装置２００による復号処理の入力となる符号化ストリームを取得する。ストリーム取得部２１０により取得される符号化ストリームは、８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリームＳＴ１、及び第１の符号化ストリームＳＴ１に関連付けられる第２の符号化ストリームＳＴ２を含み得る。ここでのフルカラー画像データは、画像の符号化の際に、ＲＡＷ画像データをデモザイク処理することにより生成された画像データである。第２の符号化ストリームＳＴ２は、第１のフルカラー画像データと、当該第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果である高階調画像データに適用することにより生成された第２のフルカラー画像データと、の差分画像に基づく第２の画像データＩＭ２を含む。
【０１０１】
例えば、ストリーム取得部２１０は、第１の符号化ストリームＳＴ１を取得し、第１の符号化ストリームＳＴ１のヘッダ領域に第２の符号化ストリームＳＴ２にアクセスするための参照用パラメータが挿入されている場合に、当該参照用パラメータを用いて第２の符号化ストリームＳＴ２をさらに取得する。そして、ストリーム取得部２１０は、取得した第１の符号化ストリームＳＴ１を第１復号ブランチ２２０へ、取得した第２の符号化ストリームＳＴ２を第２復号ブランチ２３０へそれぞれ出力する。
【０１０２】
（２）第１復号ブランチ
第１復号ブランチ２２０は、第１の符号化ストリームＳＴ１を復号するための処理分岐である。図１０の例において、第１復号ブランチ２２０は、第１復号部２２２及びＲＧＢ変換・深度拡張部２２８を含む。
【０１０３】
第１復号部２２２は、ストリーム取得部２１０から入力される第１の符号化ストリームＳＴ１をＪＰＥＧ方式で復号して、８ビットのビット深度を有する第１の画像データＩＭｄ１を生成する。即ち、第１復号部２２２は、一般的なＪＰＥＧデコーダであってよい。第１復号部２２２による復号処理は、典型的には、画像内に配置されるブロックごとに実行される、エントロピー復号、逆量子化及び逆直交変換を含む。第１復号部２２２は、このような復号の結果として生成される第１の画像データＩＭｄ１を、ＲＧＢ変換・深度拡張部２２８へ出力する。
【０１０４】
ＲＧＢ変換・深度拡張部２２８は、第１の画像データＩＭｄ１の色空間をＹＣ空間からＲＧＢ空間に変換すると共に、そのビット深度を各色Ｍ（Ｍ＞８，例えばＭ＝１２）ビットに拡張して、高階調画像データＩＭ１を復元する。そして、ＲＧＢ変換・深度拡張部２２８は、復元した高階調画像データＩＭ１を逆処理部２６０へ出力する。
【０１０５】
（３）逆処理部
逆処理部２６０は、符号化の際に適用された処理（例えば、図１に示した補正処理部１３０により補正処理）の逆処理を高階調画像データＩＭ１に適用して、第１のフルカラー画像データＩＭ０´を生成する。逆処理部２６０による逆処理は、例えば、ＥＶ逆補正、ＷＢ逆補正又はガンマ逆補正などを含み得る。そして、逆処理部２６０は、生成した第１のフルカラー画像データＩＭ０´を合成部２７０へ出力する。
【０１０６】
（４）第２復号ブランチ
第２復号ブランチ２３０は、第２の符号化ストリームＳＴ２を復号するための処理分岐である。図１０の例において、第２復号ブランチ２３０は、第２復号部２３１を含む。第２復号部２３１は、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２を、当該第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式で復号して、第２の画像データＩＭ２を生成する。第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式は、例えば、ＪＰＥＧ方式、又は拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式若しくはＪＰＥＧ  ＸＲ方式などであり得る。そして、第２復号部２３１は、復号の結果として生成される第２の画像データＩＭ２を、合成部２７０へ出力する。
【０１０７】
第２復号ブランチ２３０は、第２復号部２３１の後段に、第２の画像データＩＭ２に対して後処理を適用するさらなる処理部を含んでもよい。第２の画像データＩＭ２に適用される後処理は、例えば、色空間の変換、画素値の逆正規化及び画像サイズの拡大、のうちの１つ以上を含み得る。このような第２復号ブランチ２３０のいくつかの具体的な実施例について、後にさらに説明する。
【０１０８】
（５）合成部
合成部２７０は、逆処理部２６０から入力される第１のフルカラー画像データＩＭ０´と、第２復号ブランチ２３０から入力される第２の画像データＩＭ２とを合成して、原画像であるフルカラー画像データＩＭｒｅｃを再構成する。そして、合成部２７０は、再構成されたフルカラー画像データＩＭｒｅｃを画像出力部２８０へ出力する。
【０１０９】
（６）画像出力部
画像出力部２８０は、合成部２７０から入力されるフルカラー画像データＩＭｒｅｃを、当該フルカラー画像データＩＭｒｅｃを記憶し又はフルカラー画像を表示する装置へ出力する。
【０１１０】
［２−２．第２ブランチの詳細］
本項では、図１０に例示した画像復号装置２００の第２復号ブランチ２３０の５つの詳細な実施例を説明する。
【０１１１】
（１）第１の実施例
図１１Ａは、第２復号ブランチ２３０の詳細な構成の第１の例を示すブロック図である。図１１Ａを参照すると、第２復号ブランチ２３０は、第２復号部２３１ａ、ＲＧＢ変換部２３３及び逆正規化部２３５を含む。
【０１１２】
第２復号部２３１ａは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２をＪＰＥＧ方式で復号して、第２の画像データＩＭ２を生成する。即ち、本実施例において、第２復号部２３１ａは、第１復号部２２２と同様、一般的なＪＰＥＧデコーダであってよい。そして、第２復号部２３１ａは、生成した第２の画像データＩＭ２を、ＲＧＢ変換部２３３へ出力する。
【０１１３】
ＲＧＢ変換部２３３は、第２復号部２３１ａから入力される第２の画像データＩＭ２の色空間をＹＣ空間からＲＧＢ空間に変換する。そして、ＲＧＢ変換部２３３は、ＲＧＢ空間で表現される画素値を有する第２の画像データＩＭ２を逆正規化部２３５へ出力する。
【０１１４】
逆正規化部２３５は、第２復号部２３１ａによりサポートされる画素値レンジに合わせて符号化の際に正規化された第２の画像データの画素値を、符号化ストリームのヘッダ領域に挿入されている正規化パラメータを用いて、差分画素値に逆正規化する。第１の実施例においては、第２復号部２３１ａは、ＪＰＥＧ方式を使用する。この場合、第２復号部２３１ａによりサポートされる画素値レンジは、０〜２５５である。一方、差分画素値の最小値Ｄｍｉｎ及び最大値Ｄｍａｘは、正規化パラメータにより示され得る。そこで、逆正規化部２３５は、第２の画像データの画素値ゼロが差分画素値Ｄｍｉｎに、画素値２５５が差分画素値Ｄｍａｘになるように、各画素値を差分画素値に逆正規化する。そして、逆正規化部２３５は、逆正規化された画素値を有する第２の画像データＩＭ２を合成部２７０へ出力する。
【０１１５】
第１の実施例によれば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２の双方がＪＰＥＧデコーダを用いて復号されるため、広く普及しているＪＰＥＧデコーダを活用して、より低いコストで本開示に係る技術を実現することができる。
【０１１６】
（２）第２の実施例
図１１Ｂは、第２復号ブランチ２３０の詳細な構成の第２の例を示すブロック図である。図１１Ｂを参照すると、第２復号ブランチ２３０は、第２復号部２３１ｂ、逆正規化部２３５及び拡大部２３７を含む。
【０１１７】
第２復号部２３１ｂは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２を、当該第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式で復号して、第２の画像データＩＭ２を生成する。逆正規化部２３５は、第２復号部２３１ｂによりサポートされる画素値レンジに合わせて符号化の際に正規化された第２の画像データの画素値を、差分画素値に逆正規化する。
【０１１８】
拡大部２３７は、第２の画像データＩＭ２のサイズがフルカラー画像データのサイズから縮小されている場合に、第２の画像データＩＭ２のサイズを当該復元すべきフルカラー画像データのサイズに合わせて拡大する。なお、サイズの拡大に際して、不足する画素値は、周囲の画素値からの線型補間又は補間フィルタの適用によって補間されてよい。そして、拡大部２３７は、サイズの拡大された第２の画像データＩＭ２を合成部２７０へ出力する。
【０１１９】
第２の実施例によれば、第２の画像データＩＭ２のサイズが符号化ストリームＳＴ２内で縮小されているため、第２の符号化ストリームＳＴ２のデータ量を低減することができる。上述したように、第２の画像データＩＭ２は、フルカラー画像データを符号化することにより低下する画質を補うために補完的に使用される画像データである。よって、完全に近いフルカラー画像の再現が求められない場合には、このように第２の画像データＩＭ２のサイズを縮小して符号化ストリームのデータ量を低減することが有益である。
【０１２０】
（３）第３の実施例
図１１Ｃは、第２復号ブランチ２３０の詳細な構成の第３の例を示すブロック図である。図１１Ｃを参照すると、第２復号ブランチ２３０は、第２復号部２３１ｂ及び逆正規化部２３５を含む。
【０１２１】
第２復号部２３１ｂは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２を、当該第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式で復号して、第２の画像データＩＭ２を生成する。逆正規化部２３５は、第２復号部２３１ｂによりサポートされる画素値レンジに合わせて符号化の際に正規化された第２の画像データの画素値を、差分画素値に逆正規化する。そして、逆正規化部２３５は、逆正規化された画素値を有する第２の画像データＩＭ２を合成部２７０へ出力する。
【０１２２】
例えばＲＧＢ空間の画素値を色空間の変換を経ることなく符号化及び復号し得る画像符号化方式が使用される場合には、こうした第３の実施例のような簡易な構成を採用することができる。
【０１２３】
（４）第４の実施例
図１１Ｄは、第２復号ブランチ２３０の詳細な構成の第４の例を示すブロック図である。第４の実施例は、上述した第１及び第２の実施例の組合せである。図１１Ｄを参照すると、第２復号ブランチ２３０は、第２復号部２３１ａ、ＲＧＢ変換部２３３、逆正規化部２３５及び拡大部２３７を含む。
【０１２４】
第２復号部２３１ａは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２をＪＰＥＧ方式で復号して、第２の画像データＩＭ２を生成する。ＲＧＢ変換部２３３は、第２復号部２３１ａから入力される第２の画像データＩＭ２の色空間をＹＣ空間からＲＧＢ空間に変換する。逆正規化部２３５は、第２復号部２３１ａによりサポートされる画素値レンジに合わせて符号化の際に正規化された第２の画像データＩＭ２の画素値を、差分画素値に逆正規化する。拡大部２３７は、第２の画像データＩＭ２のサイズがフルカラー画像データのサイズから縮小されている場合に、第２の画像データＩＭ２のサイズを当該フルカラー画像データのサイズに合わせて拡大する。そして、拡大部２３７は、サイズの拡大された第２の画像データＩＭ２を合成部２７０へ出力する。
【０１２５】
（５）第５の実施例
図１１Ｅは、第２復号ブランチ２３０の詳細な構成の第５の例を示すブロック図である。図１１Ｅを参照すると、第２復号ブランチ２３０は、第２復号部２３１ａ、ＲＧＢ変換部２３３、逆正規化部２３５、拡大部２３７、第２復号部２４１ａ、ＲＧＢ変換部２４３、逆正規化部２４５、拡大部２４７及び差分合成部２４０を含む。
【０１２６】
第５の実施例が採用される場合、図１０に示したストリーム取得部２１０は、白とびが生じる可能性のある画素のための第１グループの差分画素値を含むストリームＳＴ２ａと黒つぶれが生じる可能性のある画素のための第２グループの差分画素値を含むストリームＳＴ２ｂとを取得する。このうち、白とび用の差分画像の符号化ストリームＳＴ２ａは、第２復号部２３１ａへ入力される。また、黒つぶれ用の差分画像の符号化ストリームＳＴ２ｂは、第２復号部２４１ａへ入力される。
【０１２７】
第２復号部２３１ａは、ストリーム取得部２１０から入力される白とび用の差分画像の符号化ストリームＳＴ２ａをＪＰＥＧ方式で復号して、白とび用の差分画像データＩＭ２ａを生成する。ＲＧＢ変換部２３３は、白とび用の差分画像データＩＭ２ａの色空間をＹＣ空間からＲＧＢ空間に変換する。逆正規化部２３５は、第２復号部２３１ａによりサポートされる画素値レンジに合わせて符号化の際に正規化された白とび用の差分画像データＩＭ２ａの画素値を、差分画素値に逆正規化する。拡大部２３７は、白とび用の差分画像データＩＭ２ａのサイズがフルカラー画像データのサイズから縮小されている場合に、白とび用の差分画像データＩＭ２ａのサイズを当該フルカラー画像データのサイズに合わせて拡大する。そして、拡大部２３７は、サイズの拡大された白とび用の差分画像データＩＭ２ａを差分合成部２４０へ出力する。
【０１２８】
第２復号部２４１ａは、ストリーム取得部２１０から入力される黒つぶれ用の差分画像の符号化ストリームＳＴ２ｂをＪＰＥＧ方式で復号して、黒つぶれ用の差分画像データＩＭ２ｂを生成する。ＲＧＢ変換部２４３は、黒つぶれ用の差分画像データＩＭ２ｂの色空間をＹＣ空間からＲＧＢ空間に変換する。逆正規化部２４５は、第２復号部２４１ａによりサポートされる画素値レンジに合わせて符号化の際に正規化された黒つぶれ用の差分画像データＩＭ２ｂの画素値を、差分画素値に逆正規化する。拡大部２４７は、黒つぶれ用の差分画像データＩＭ２ｂのサイズがフルカラー画像データのサイズから縮小されている場合に、黒つぶれ用の差分画像データＩＭ２ｂのサイズを当該フルカラー画像データのサイズに合わせて拡大する。そして、拡大部２４７は、サイズの拡大された黒つぶれ用の差分画像データＩＭ２ｂを差分合成部２４０へ出力する。
【０１２９】
差分合成部２４０は、拡大部２３７から入力される白とび用の差分画像データＩＭ２ａの画素値又は拡大部２４７から入力される黒つぶれ用の差分画像データＩＭ２ｂの画素値を、画素位置に応じて選択的に採用することにより、第２の画像データＩＭ２を生成する。より具体的には、例えば、差分合成部２４０は、第１の画像データＩＭｄ１の輝度値を第１符号化ブランチ１６０から取得する。そして、差分合成部２４０は、第１の画像データＩＭｄ１の輝度値が所定の輝度閾値を上回る画素位置においては、白とび用の差分画像データＩＭ２ａの画素値を採用し、当該輝度値が所定の輝度閾値を下回る画素位置においては、黒つぶれ用の差分画像データＩＭ２ｂの画素値を採用する。差分合成部２４０は、このように合成される第２の画像データＩＭ２を、合成部２７０へ出力する。
【０１３０】
第５の実施例によれば、白とびにより失われる階調を補完するための差分画像データと、黒つぶれにより失われる階調を補完するための差分画像データとが別々に符号化されたストリームから復号される。一般的に、白とびが生じる領域と黒つぶれが生じる領域との間の画像の相関は低い。従って、上述した２つの差分画像データを別々に符号化することで、直交変換及び量子化を通じて引き起こされるこれら領域の画質の劣化を緩和することができる。
【０１３１】
［２−３．処理の流れ］
本項では、図１２〜図１５を用いて、画像復号装置２００による画像復号処理の流れについて説明する。
【０１３２】
（１）全体的な流れ
図１２は、本実施形態に係る画像復号処理の流れの一例を示すフローチャートである。
【０１３３】
図１２を参照すると、まず、ストリーム取得部２１０は、８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリームを取得する（ステップＳ２００）。そして、ストリーム取得部２１０は、取得した第１の符号化ストリームを第１復号ブランチ２２０へ出力する。
【０１３４】
次に、第１復号ブランチ２２０において、第１復号部２２２は、ストリーム取得部２１０から入力される第１の符号化ストリームをＪＰＥＧ方式で復号して、第１の画像データを生成する（ステップＳ２１０）。そして、第１復号部２２２は、生成した第１の画像データをＲＧＢ変換・深度拡張部２２８へ出力する。
【０１３５】
また、ストリーム取得部２１０は、第１の符号化ストリームに第２の符号化ストリームが関連付けられているかを判定する（ステップＳ２１５）。例えば、第１の符号化ストリームのヘッダ領域に第２の符号化ストリームにアクセスするための参照用パラメータが挿入されている場合には、ストリーム取得部２１０は、第１の符号化ストリームに第２の符号化ストリームが関連付けられていると判定し得る。ここで、第１の符号化ストリームに第２の符号化ストリームが関連付けられていると判定された場合には、処理はステップＳ２２０へ進む。一方、第１の符号化ストリームに第２の符号化ストリームが関連付けられていないと判定された場合には、処理はステップＳ２９０へ進む。
【０１３６】
ステップＳ２２０において、ＲＧＢ変換・深度拡張部２２８は、第１の画像データの色空間をＹＣ空間からＲＧＢ空間に変換し、そのビット深度を各色Ｍビットに拡張して、高階調画像データを復元する（ステップＳ２２０）。そして、ＲＧＢ変換・深度拡張部２２８は、復元した高階調画像データを逆処理部２６０へ出力する。
【０１３７】
次に、逆処理部２６０は、ＲＧＢ変換・深度拡張部２２８から入力される高階調画像データに上述した逆処理を適用して、第１のフルカラー画像データを復元する（ステップＳ２２５）。そして、逆処理部２６０は、復元した第１のフルカラー画像データＩＭ０´を合成部２７０へ出力する。
【０１３８】
また、ストリーム取得部２１０は、上述した参照用パラメータを用いて、第２の符号化ストリームを取得する（ステップＳ２３０）。そして、ストリーム取得部２１０は、取得した第２の符号化ストリームを第２復号ブランチ２３０へ出力する。
【０１３９】
次に、第２復号ブランチ２３０において、差分復号処理が実行され、第２の画像データが合成部２７０へ出力される（ステップＳ２４０）。ここでの差分復号処理について、図１３を用いてさらに説明する。
【０１４０】
次に、合成部２７０は、逆処理部２６０から入力される第１のフルカラー画像データと、第２復号ブランチ２３０から入力される第２の画像データとを合成する（ステップＳ２７０）。そして、合成部２７０は、再構成されたフルカラー画像データを画像出力部２８０へ出力する。
【０１４１】
その後、例えば、画像出力部２８０から表示装置へ再構成されたフルカラー画像データが出力され、フルカラー画像が表示され得る（ステップＳ２８０）。
【０１４２】
一方、ステップＳ２１５において、第１の符号化ストリームに第２の符号化ストリームが関連付けられていないと判定された場合には、第１復号部２２２により生成された第１の画像データが画像出力部２８０から表示装置へ出力され得る。そして、当該第１の画像データを用いて、画像が表示され得る（ステップＳ２９０）。
【０１４３】
（２）差分復号処理
図１３は、図１２に示した差分復号処理の詳細な流れの一例を示すフローチャートである。
【０１４４】
図１３を参照すると、まず、第２復号部２３１は、ストリーム取得部２１０から入力される第２の符号化ストリームを、当該第２の符号化ストリームの符号化の際に使用された画像符号化方式で復号して、第２の画像データを生成する（ステップＳ２４１）。
【０１４５】
次に、第２の画像データの色空間を変換すべきか否かが判定される（ステップＳ２４２）。例えば、第２の画像データを復号するためにＪＰＥＧ方式が用いられた場合には、第２の画像データの色空間をＹＣ空間からＲＧＢ空間に変換すべきであると判定され得る。第２の画像データの色空間を変換すべきであると判定された場合には、ＲＧＢ変換部２３３により、第２の画像データの色空間がＲＧＢ空間に変換される（ステップＳ２４３）。
【０１４６】
次に、逆正規化部２３５は、符号化の際に正規化された第２の画像データの画素値を、符号化ストリームのヘッダ領域に挿入されている正規化パラメータを用いて、差分画素値に逆正規化する（ステップＳ２４４）。
【０１４７】
次に、第２の画像データのサイズを拡大すべきか否かが判定される（ステップＳ２４５）。例えば、上述した第１及び第３の実施例においては、第２の画像データのサイズは拡大されない。一方、上述した第２及び第４の実施例においては、第２の画像データのサイズは拡大され得る。第２の画像データのサイズを拡大すべきであると判定された場合には、第２の画像データのサイズが拡大部２３７により拡大される（ステップＳ２４６）。
【０１４８】
（３）全体的な流れの他の例
図１４は、本実施形態に係る画像符号化処理の流れの他の例を示すフローチャートである。図１４に示したステップＳ２００からステップＳ２２５までの処理及びステップＳ２９０の処理は、図１２を用いて説明した処理と同様であってよい。
【０１４９】
第１の符号化ストリームに第２の符号化ストリームが関連付けられていると判定される場合、ストリーム取得部２１０は、上述した参照用パラメータを用いて、２つの差分画像の符号化ストリームを取得する（ステップＳ２３０）。そして、ストリーム取得部２１０は、取得した符号化ストリームを第２復号ブランチ２３０へ出力する。
【０１５０】
次に、第２復号ブランチ２３０において、白とび用の差分画像の符号化ストリームについて差分復号処理が実行され、白とび用の差分画像データが生成される（ステップＳ２４０ａ）。ここでの処理は、図１３を用いて説明した差分復号処理と同様であってよい。
【０１５１】
また、第２復号ブランチ２３０において、黒つぶれ用の差分画像の符号化ストリームについて差分復号処理が実行され、黒つぶれ用の差分画像データが生成される（ステップＳ２４０ｂ）。ここでの処理もまた、図１３を用いて説明した差分復号処理と同様であってよい。
【０１５２】
次に、差分合成部２４０により、２つの差分画像データを合成するための差分合成処理が実行される（ステップＳ２６０）。それにより、第２の画像データが生成される。そして、差分合成部２４０は、生成した第２の画像データを合成部２７０へ出力する。ここでの差分合成処理について、図１５を用いてさらに説明する。
【０１５３】
次に、合成部２７０は、逆処理部２６０から入力される第１のフルカラー画像データと、差分合成部２４０から入力される第２の画像データとを合成する（ステップＳ２７０）。そして、合成部２７０は、再構成されたフルカラー画像データを画像出力部２８０へ出力する。
【０１５４】
その後、例えば、画像出力部２８０から表示装置へ再構成されたフルカラー画像データが出力され、フルカラー画像が表示され得る（ステップＳ２８０）。
【０１５５】
（４）差分合成処理
図１５は、図１４に示した差分合成処理の詳細な流れの一例を示すフローチャートである。
【０１５６】
図１５に示した差分合成処理に含まれるステップＳ２６２〜ステップＳ２６５の処理は、第２の画像データの各画素について繰り返される（ステップＳ２６１）。
【０１５７】
各画素を注目画素とする繰り返しにおいて、差分合成部２４０は、まず、第１の画像データの注目画素の輝度値を取得する（ステップＳ２６２）。次に、差分合成部２４０は、取得した輝度値を輝度閾値（典型的には、画素値レンジの中央の値）と比較する（ステップＳ２６３）。ここで、例えば輝度値が輝度閾値よりも小さくない場合には、差分合成部２４０は、第２の画像データの注目画素の画素値として、白とび用の差分画像データの画素値を採用する（ステップＳ２６４）。一方、輝度値が輝度閾値よりも小さい場合には、差分合成部２４０は、第２の画像データの注目画素の画素値として、黒つぶれ用の差分画像データの画素値を採用する（ステップＳ２６５）。
【０１５８】
第２の画像データの全ての画素についてこれら処理が実行されると、図１５に示した差分合成処理は終了する。
【０１５９】
なお、本項で説明した処理ステップの順序は、各図に示した順序に限定されない。例えば、図１４の画像復号処理において、ステップＳ２４０ａ及びステップＳ２４０ｂの２つの差分復号処理が並列的に行われてもよい。
【０１６０】
＜３．応用例＞
本開示に係る技術は、ＲＡＷ画像から現像されるフルカラー画像を扱う様々な製品に応用可能である。本節では、図１６Ａ及び図１６Ｂを用いて、典型的な２つの応用例について説明する。第１の応用例では、デジタルカメラに相当し得る画像処理装置３００が実現される。第２の応用例では、フォトエディタが動作するＰＣ（Personal  Computer）に相当し得る画像処理装置４００が実現される。
【０１６１】
（１）第１の応用例
図１６Ａは、第１の応用例に係る画像処理装置３００の構成の一例を示すブロック図である。図１６Ａを参照すると、画像処理装置３００は、操作部３１０、制御部３２０、イメージセンサ３３０、符号化部１００、記憶媒体３４０、復号部２００及びディスプレイ３５０を備える。
【０１６２】
操作部３１０は、画像処理装置３００の様々な機能をユーザが操作するための操作インタフェースをユーザに提供する。
【０１６３】
制御部３２０は、画像処理装置３００の機能全般を制御する。例えば、制御部３２０は、操作部３１０により受け付けられるユーザの第１の操作に応じて、イメージセンサ３３０にＲＡＷ画像を撮像させる。そして、制御部３２０は、撮像されたＲＡＷ画像に基づいて符号化部１００により生成される符号化ストリームを、記憶媒体３４０に記憶させる。また、制御部３２０は、ユーザの第２の操作に応じて、記憶媒体３４０により記憶されている符号化ストリームを復号部２００へ入力し、復号部２００によりフルカラー画像データを再構成させる。そして、制御部３２０は、再構成されたフルカラー画像データを用いて、ディスプレイ３５０によりフルカラー画像を表示させる。
【０１６４】
イメージセンサ３３０は、ＣＣＤ又はＣＭＯＳなどの撮像素子を含み、実世界の光を感知してＲＡＷ画像を撮像する。
【０１６５】
符号化部１００は、上述した画像符号化装置１００と同等の構成を有する。符号化部１００は、イメージセンサ３３０により生成されるＲＡＷ画像データを取得して上述した画像符号化処理を実行し、第１及び第２の符号化ストリームを記憶媒体３４０へ出力する。第２の符号化ストリームは、第１の符号化ストリームに関連付けられる。
【０１６６】
記憶媒体３４０は、符号化部１００から出力される第１及び第２の符号化ストリームを記憶する。
【０１６７】
復号部２００は、上述した画像復号装置２００と同等の構成を有する。復号部２００は、記憶媒体３４０から第１及び第２の符号化ストリームを取得して上述した画像復号処理を実行し、各色についてＲＡＷ画像データと同等のビット深度を有するフルカラー画像データを再構成する。
【０１６８】
ディスプレイ３５０は、液晶又はＯＬＥＤ（Organic  Light  Emitting  Diode）などの表示素子を含み、復号部２００により再構成されるフルカラー画像データを用いてフルカラー画像を表示する。
【０１６９】
（２）第２の応用例
図１６Ｂは、第２の応用例に係る画像処理装置４００の構成の一例を示すブロック図である。図１６Ｂを参照すると、画像処理装置４００は、操作部４１０、制御部４２０、記憶媒体４４０、通信インタフェース４５０、及びディスプレイ４６０を備える。
【０１７０】
操作部４１０は、画像処理装置４００の様々な機能をユーザが操作するための操作インタフェースをユーザに提供する。
【０１７１】
制御部４２０は、画像処理装置４００の機能全般を制御する。本応用例において、制御部４２０は、符号化部１００、復号部２００及びアプリケーション部４３０を含む。
【０１７２】
アプリケーション部４３０は、フォトエディタ機能を実現するアプリケーションモジュールである。アプリケーション部４３０は、例えば、操作部４１０により受け付けられるユーザの第１の操作に応じて、記憶媒体４４０により記憶され又は通信インタフェース４５０を介して受信される第１及び第２の符号化ストリームから、復号部２００によりフルカラー画像データを再構成させる。そして、アプリケーション部４３０は、再構成されたフルカラー画像データを用いて、ディスプレイ４６０にフルカラー画像を表示させる。また、アプリケーション部４３０は、表示されたフルカラー画像がユーザにより編集された後、ユーザの第２の操作に応じて、編集後のフルカラー画像データを符号化部１００により符号化させる。そして、アプリケーション部４３０は、符号化部１００により生成される第１及び第２の符号化ストリームを記憶媒体４４０に記憶させる。
【０１７３】
符号化部１００は、上述した画像符号化装置１００と同等の構成を有する符号化モジュールである。符号化部１００は、ユーザにより編集されるフルカラー画像データを取得して上述した画像符号化処理を実行し、第１及び第２の符号化ストリームを記憶媒体４４０へ出力する。第２の符号化ストリームは、第１の符号化ストリームに関連付けられる。
【０１７４】
復号部２００は、上述した画像復号装置２００と同等の構成を有する復号モジュールである。復号部２００は、アプリケーション部４３０により指定される第１及び第２の符号化ストリームを取得して上述した画像復号処理を実行し、各色についてＲＡＷ画像データと同等のビット深度を有するフルカラー画像データを再構成する。
【０１７５】
記憶媒体４４０は、符号化部１００から出力され又は復号部２００へ入力される第１及び第２の符号化ストリームを記憶する。
【０１７６】
通信インタフェース４５０は、任意の有線通信方式又は無線通信方式に従って、画像処理装置４００を他の装置と接続する。
【０１７７】
ディスプレイ４６０は、液晶又はＯＬＥＤなどの表示素子を含み、復号部２００により再構成されるフルカラー画像データを用いてフルカラー画像を表示する。ディスプレイ４６０は、アプリケーション部４３０による制御の下、フルカラー画像をユーザが編集するためのグラフィカルユーザインタフェース（ＧＵＩ）をも表示し得る。
【０１７８】
＜４．まとめ＞
ここまで、図１〜図１６Ｂを用いて、本開示に係る技術の一実施形態及びその応用例について詳細に説明した。上述した実施形態によれば、フルカラー画像データを符号化する際には、様々な処理を通じてＪＰＥＧ方式で符号化された第１の画像データが第１の符号化ストリームに格納され、それら処理により生じる誤差を表現する差分画像に基づく第２の画像データが第２の符号化ストリームに格納され、第２の符号化ストリームが第１の符号化ストリームに関連付けられる。そして、復号の際には、第１の符号化ストリームをＪＰＥＧ方式で復号して第１の画像データが生成され、第２の符号化ストリームを復号して第２の画像データが生成され、復号された第１及び第２の画像データを用いてフルカラー画像データが再構成される。従って、８ビットのＪＰＥＧ方式で符号化及び復号される第１の画像データでは表現されない精細な階調を第２の画像データで補償して、より階調の高い画像を再構成することができる。また、第１の画像データ自体はＪＰＥＧ方式で符号化されるため、広く普及しているＪＰＥＧデコーダで少なくとも第１の画像データを復号することが可能であり、即ち、ＪＰＥＧデコーダとの互換性が確保される。
【０１７９】
また、上記差分画像に基づく第２の画像データもＪＰＥＧ方式で符号化される場合には、第１及び第２の画像データの双方について既存のＪＰＥＧエンジン（エンコーダ／デコーダ）を活用できるため、より低いコストで本開示に係る技術を実現することができる。
【０１８０】
また、上記差分画像の階調は、通常は小さく、デモザイク処理後の様々な処理を通じて失われ易い。しかし、差分画像の符号化の前に、画像符号化方式によりサポートされる画素値レンジに合わせて画素値が正規化されることで、小さな階調を失うことなく差分画像を符号化することができる。
【０１８１】
また、第２の画像データの符号化の前に、当該第２の画像データのサイズが縮小されてもよい。また、高周波成分が強い値を示す画素位置の第２の画像データの画素値が、一定の値に置換されてもよい。また、画素値レンジの中央部分に属する輝度値を示す画素位置の第２の画像データの画素値が、一定の値に置換されてもよい。それにより、第２の画像データで補償される画質を大きく減殺することなく、第２の符号化ストリームの符号化効率を高めることができる。
【０１８２】
また、第２の画像データの符号化は、白とびが生じる可能性のある領域と黒つぶれが生じる可能性のある領域とで別々に行われてもよい。一般的に、白とびが生じる領域と黒つぶれが生じる領域との間の画像の相関は低い。従って、これら領域について差分画像の符号化及び復号を別々に行うことで、これら領域において第２の画像データで補償される画質を高めることができる。
【０１８３】
また、上述した実施形態によれば、第１の符号化ストリームのヘッダ領域に、第２の符号化ストリームにアクセスするためのパラメータが挿入される。かかる構成によれば、画像を復号しようとするデコーダは、第２の符号化ストリームが関連付けられているか否かによらず、一般的な画像復号処理と同様に、まず第１の符号化ストリームのヘッダを読み込む。そして、当該デコーダは、第２の符号化ストリームが関連付けられていない場合には、ＪＰＥＧ符号化された第１の画像データのみを復号することができる。一方で、第２の符号化ストリームが関連付けられている場合には、当該デコーダは、第２の画像データをさらに復号してフルカラー画像データを再構成することができる。この場合、ＪＰＥＧ符号化された画像データのみを復号する際の処理の流れは改変されないため、既存のＪＰＥＧエンジンを拡張して本開示に係る技術を実装することも容易である。
【０１８４】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵ（Central  Processing  Unit）などのプロセッサにより実行される。
【０１８５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得するストリーム取得部と、
前記第１の符号化ストリームをＪＰＥＧ（Joint  Photographic  Experts  Group）方式で復号して第１の画像データを生成する第１復号部と、
前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、
前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成する合成部と、
を備える画像処理装置。
（２）
前記第２の画像データは、第１のフルカラー画像データと、前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用することにより生成された第２のフルカラー画像データと、の差分画像に基づく、前記（１）に記載の画像処理装置。
（３）
前記第２復号部は、前記第２の符号化ストリームをＪＰＥＧ方式で復号する、前記（２）に記載の画像処理装置。
（４）
前記画像処理装置は、前記第２復号部によりサポートされる画素値レンジに合わせて正規化された前記第２の画像データの画素値を逆正規化する逆正規化部、をさらに備える、前記（２）又は前記（３）に記載の画像処理装置。
（５）
前記画像処理装置は、前記第２復号部により生成された前記第２の画像データのサイズを復元すべきフルカラー画像データのサイズに合わせて拡大する拡大部、をさらに備え、
前記合成部は、前記第１の画像データを用いて復元されるフルカラー画像データと前記拡大部により拡大された前記第２の画像データとを合成する、
前記（２）又は前記（３）に記載の画像処理装置。
（６）
前記第２の符号化ストリームは、第１グループの差分画素値を含むストリーム及び第２グループの差分画素値を含むストリームを含み、
前記第１グループは、白とびが生じる可能性のある画素のためのグループであり、
前記第２グループは、黒つぶれが生じる可能性のある画素のためのグループであり、
前記第２復号部は、前記第１グループ及び前記第２グループの２つのストリームをそれぞれ復号し、
前記第２の画像データは、前記第１グループのストリームから復号された画素値又は前記第２グループのストリームから復号された画素値を画素位置に応じて選択的に採用することにより生成される、
前記（２）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記ストリーム取得部は、前記第１の符号化ストリームに付加されるヘッダに挿入されるパラメータを用いて、前記第２の符号化ストリームを取得する、前記（２）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記第１のフルカラー画像データは、ＲＡＷ画像データをデモザイク処理することにより生成された画像データである、前記（２）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記画像処理装置は、前記合成部により再構成されるフルカラー画像データを用いてフルカラー画像を表示装置に表示させる表示制御部、をさらに備える、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
８ビットより多くのビット深度を有する第１のフルカラー画像データから第１の画像データを生成する処理部と、
ビット深度を８ビットに削減された前記第１の画像データをＪＰＥＧ（Joint  Photographic  Experts  Group）方式で符号化して第１の符号化ストリームを生成する第１符号化部と、
前記処理部により前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用して、第２のフルカラー画像データを生成する逆処理部と、
前記第１のフルカラー画像データと前記第２のフルカラー画像データとの差分画像に基づく第２の画像データを符号化して第２の符号化ストリームを生成する第２符号化部と、
前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力するストリーム出力部と、
を備える画像処理装置。
（１１）
前記第２符号化部は、前記第２の画像データをＪＰＥＧ方式で符号化する、前記（１０）に記載の画像処理装置。
（１２）
前記画像処理装置は、前記第２の画像データの画素値を前記第２符号化部によりサポートされる画素値レンジに合わせて正規化する正規化部、をさらに備える、前記（１０）又は前記（１１）に記載の画像処理装置。
（１３）
前記画像処理装置は、前記第２の画像データのサイズを縮小する縮小部、をさらに備え、
前記第２符号化部は、前記縮小部により縮小された前記第２の画像データを符号化する、
前記（１０）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記画像処理装置は、前記第１のフルカラー画像データにおいて高周波成分が強い値を示す画素位置の前記第２の画像データの画素値を一定の値に置換する差分加工部、をさらに備える、前記（１０）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記画像処理装置は、前記第１のフルカラー画像データにおいて輝度が画素値レンジの中央部分に属する画素位置の前記第２の画像データの画素値を一定の値に置換する差分加工部、をさらに備える、前記（１０）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
前記画像処理装置は、所定の輝度閾値を用いて、白とびが生じる可能性のある画素のための第１グループ及び黒つぶれが生じる可能性のある画素のための第２グループを含む複数のグループのいずれかに各画素を分類する分類部、をさらに備え、
前記第２符号化部は、前記第１グループの画素についての前記第２の画像データと前記第２グループの画素についての前記第２の画像データとを別々に符号化する、
前記（１０）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）
前記ストリーム出力部は、前記第２の符号化ストリームにアクセスするためのパラメータを前記第１の符号化ストリームに付加されるヘッダに挿入する、前記（１０）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）
前記第１のフルカラー画像データは、ＲＡＷ画像データをデモザイク処理することにより生成される画像データである、前記（１０）〜（１７）のいずれか１項に記載の画像処理装置。
（１９）
前記画像処理装置は、ＲＡＷ画像を撮像するイメージセンサ、をさらに備える、前記（１８）に記載の画像処理装置。
（２０）
コンピュータを、
８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得するストリーム取得部と、
前記第１の符号化ストリームをＪＰＥＧ（Joint  Photographic  Experts  Group）方式で復号して第１の画像データを生成する第１復号部と、
前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、
前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成する合成部と、
として機能させるためのプログラム。
（２１）
コンピュータを、
８ビットより多くのビット深度を有する第１のフルカラー画像データから第１の画像データを生成する処理部と、
ビット深度を８ビットに削減された前記第１の画像データをＪＰＥＧ（Joint  Photographic  Experts  Group）方式で符号化して第１の符号化ストリームを生成する第１符号化部と、
前記処理部により前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用して、第２のフルカラー画像データを生成する逆処理部と、
前記第１のフルカラー画像データと前記第２のフルカラー画像データとの差分画像に基づく第２の画像データを符号化して第２の符号化ストリームを生成する第２符号化部と、
前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力するストリーム出力部と、
として機能させるためのプログラム。
（２２）
８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得することと、
前記第１の符号化ストリームをＪＰＥＧ（Joint  Photographic  Experts  Group）方式で復号して第１の画像データを生成することと、
前記第２の符号化ストリームを復号して第２の画像データを生成することと、
前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成することと、
を含む画像処理方法。
（２３）
８ビットより多くのビット深度を有する第１のフルカラー画像データから第１の画像データを生成することと、
ビット深度を８ビットに削減された前記第１の画像データをＪＰＥＧ（Joint  Photographic  Experts  Group）方式で符号化して第１の符号化ストリームを生成することと、
前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用して、第２のフルカラー画像データを生成することと、
前記第１のフルカラー画像データと前記第２のフルカラー画像データとの差分画像に基づく第２の画像データを符号化して第２の符号化ストリームを生成することと、
前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力することと、
を含む画像処理方法。
【符号の説明】
【０１８７】
１００            画像符号化装置
１１０            ＲＡＷ画像取得部
１２０            現像部
１３０            補正処理部
１４０            逆処理部
１５０            差分演算部
１６２            深度削減・ＹＣ変換部
１６８            第１符号化部
１８０            分類部
１７１，１８１    差分加工部
１７３，１８３    縮小部
１７５，１８５    正規化部
１７９，１７９ａ，１７９ｂ，１８９ａ    第２符号化部
１９０            ストリーム出力部
２００            画像復号装置
２１０            ストリーム取得部
２２２            第１復号部
２２８            ＲＧＢ変換・深度拡張部
２３１，２３１ａ，２３１ｂ，２４１ａ    第２復号部
２３５，２４５    逆正規化部
２３７，２４７    拡大部
２４０            差分合成部
２６０            逆処理部
２７０            合成部
２８０            画像出力部
３００，４００    画像処理装置
３２０，４２０    制御部
３３０            イメージセンサ
３４０，４４０    記憶媒体
【図１】
0006315069.tif 000002
【図２Ａ】
0006315069.tif 000003
【図２Ｂ】
0006315069.tif 000004
【図２Ｃ】
0006315069.tif 000005
【図２Ｄ】
0006315069.tif 000006
【図２Ｅ】
0006315069.tif 000007
【図３】
0006315069.tif 000008
【図４Ａ】
0006315069.tif 000009
【図４Ｂ】
0006315069.tif 000010
【図５】
0006315069.tif 000011
【図６】
0006315069.tif 000012
【図７】
0006315069.tif 000013
【図８】
0006315069.tif 000014
【図９】
0006315069.tif 000015
【図１０】
0006315069.tif 000016
【図１１Ａ】
0006315069.tif 000017
【図１１Ｂ】
0006315069.tif 000018
【図１１Ｃ】
0006315069.tif 000019
【図１１Ｄ】
0006315069.tif 000020
【図１１Ｅ】
0006315069.tif 000021
【図１２】
0006315069.tif 000022
【図１３】
0006315069.tif 000023
【図１４】
0006315069.tif 000024
【図１５】
0006315069.tif 000025
【図１６Ａ】
0006315069.tif 000026
【図１６Ｂ】
0006315069.tif 000027