(57)【要約】【課題】奥行き画像の符号化効率を改善する。【解決手段】奥行き値と視差の関係が非線形の場合で、かつ予め決められた条件を満たす場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように、該予測値を画素値とする予測画像を生成する予測画像生成部を備える。【選択図】図６
2014011631.tif 000002
【特許請求の範囲】
【請求項１】
奥行き値と視差の関係が非線形の場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成部を備える予測画像生成装置。
【請求項２】
前記予測画像生成部は、前記複数の隣接画素の奥行き値のうちの一部の奥行き値に重み付け係数を乗じることで、該一部の奥行き値が前記予測対象ブロックの予測値に貢献する割合を小さくすることを特徴とする請求項１に記載の予測画像生成装置。
【請求項３】
前記複数の隣接画素の奥行き値の最頻値を抽出する最頻値抽出部を更に備え、
前記一部の奥行き値は、前記最頻値抽出部が算出した最頻値より大きい奥行き値であることを特徴とする請求項２に記載の予測画像生成装置。
【請求項４】
前記重み付け係数は、該奥行き値と前記最頻値との差分に応じた値であることを特徴とする請求項３に記載の予測画像生成装置。
【請求項５】
前記重み付け係数は、前記差分が大きくなるほど小さくなることを特徴とする請求項４または請求項４に記載の予測画像生成装置。
【請求項６】
前記差分が前記予測対象ブロックのサイズに基づいて算出された値よりも大きい場合、前記重み付け係数は０であることを特徴とする請求項４または請求項５に記載の予測画像生成装置。
【請求項７】
前記予測画像生成部は、前記複数の隣接画素の奥行き値のうちの一部の奥行き値を除外した奥行き値に基づいて、前記予測対象ブロックの予測値を生成することを特徴とする請求項１に記載の予測画像生成装置。
【請求項８】
前記予測画像生成部は、前記複数の隣接画素の奥行き値のうち最大値を示す隣接画素の奥行き値を除外した平均値を前記予測対象ブロックの予測値として算出することを特徴とする請求項７に記載の予測画像生成装置。
【請求項９】
前記複数の隣接画素の奥行き値の最頻値を抽出する最頻値抽出部を更に備え、
前記予測画像生成部は、前記複数の隣接画素の奥行き値のうち、該奥行き値と前記最頻値抽出部が算出した最頻値との差分が予め決められた閾値より大きい奥行き値を除外した平均値を前記予測対象ブロックの予測値として算出することを特徴とする請求項７に記載の予測画像生成装置。
【請求項１０】
前記予測画像生成部は、前記複数の隣接画素の奥行き値の最頻値または中央値を、前記予測対象ブロックの予測値とすることを特徴とする請求項１に記載の予測画像生成装置。
【請求項１１】
前記予測画像生成部は、前記複数の隣接画素の奥行き値の最頻値に関する条件を満たす場合、前記一部の奥行き値が、前記予測値に貢献する割合が小さくなるように前記各画素の予測値を生成することを特徴とする請求項１に記載の予測画像生成装置。
【請求項１２】
前記最頻値に関する条件は、前記複数の隣接画素の奥行き値の最頻値における、単位視差あたりの奥行き値の変化量に関する条件であることを特徴とする請求項１１に記載の予測画像生成装置。
【請求項１３】
前記最頻値に関する条件は、前記単位視差あたりの奥行き値の変化量が、同じ前記奥行き画像における最小視差時の奥行き値と最大視差時の奥行き値に基づいて算出される奥行き値の変化割合より大きいという条件であることを特徴とする請求項１２に記載の予測画像生成装置。
【請求項１４】
前記最頻値に関する条件は、前記最頻値が予め決められた閾値より大きいという条件であることを特徴とする請求項１１に記載の予測画像生成装置。
【請求項１５】
前記予測画像生成部は、前記予測対象ブロックの奥行き値に関する条件を満たす場合、前記一部の奥行き値が、前記予測値に貢献する割合が小さくなるように前記各画素の予測値を生成することを特徴とする請求項１に記載の予測画像生成装置。
【請求項１６】
前記奥行き値に関する条件は、前記予測対象ブロックの奥行き値の平均値が予め決められた閾値よりも大きいという条件であることを特徴とする請求項１５に記載の予測画像生成装置。
【請求項１７】
請求項１に記載の予測画像生成装置と、
前記予測画像生成装置が生成した予測画像に基づいて、符号化データを復号する復号画像生成部と、
を備える復号装置。
【請求項１８】
請求項１に記載の予測画像生成装置と、
前記予測画像生成装置が生成した予測画像に基づいて、奥行き画像を符号化する符号化部と、
を備える符号化装置。
【請求項１９】
奥行き値と視差の関係が非線形の場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する工程を有することを特徴とする予測画像生成方法。
【請求項２０】
奥行き値と視差の関係が非線形の場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成工程と、
前記生成された予測画像に基づいて、符号化データを復号する復号工程と、
を有することを特徴とする復号方法。
【請求項２１】
奥行き値と視差の関係が非線形の場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成工程と、
前記生成された予測画像に基づいて、奥行き画像を符号化する符号化工程と、
を有することを特徴とする符号化方法。
【請求項２２】
コンピュータに、
奥行き値と視差の関係が非線形の場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成するステップを実行させるための予測画像生成プログラム。
【請求項２３】
復号装置に、
奥行き値と視差の関係が非線形の場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成ステップと、
前記生成された予測画像に基づいて、符号化データを復号する復号ステップと、
を実行させるための復号プログラム。
【請求項２４】
符号化装置に、
奥行き値と視差の関係が非線形の場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成ステップと、
前記生成された予測画像に基づいて、奥行き画像を符号化する符号化ステップと、
を実行させるための符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測画像生成装置、復号装置、符号化装置、予測画像生成方法、復号方法、符号化方法、予測画像生成プログラム、復号プログラム及び符号化プログラムに関する。
【背景技術】
【０００２】
従来の動画圧縮規格として、Ｈ．２６４／ＭＰＥＧ（Moving Picture Experts Group）−４  ＡＶＣ（以下、ＡＶＣという）が存在する（非特許文献１参照）。また、現在、次世代動画像符号化標準「ＨＥＶＣ」（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、高効率動画像圧縮符号化）が検討されている（非特許文献２参照）。
【０００３】
また、ＭＰＥＧ  ３Ｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（３ＤＶ）では、限られた視点数の視点画像（Ｔｅｘｔｕｒｅ  Ｖｉｄｅｏ）から、多数の高品質な視点画像を生成できるデータフォーマット及び符号化方式が検討されている。３ＤＶでは、入力にない視点の画像を生成するための補助データとして、視点画像に対応する奥行き画像（以下で、「Ｄｅｐｔｈ  Ｍａｐ」と言ったり、「デップスマップ」と言ったりすることがある。）も符号化対象とすることが検討されている。ここで、奥行き画像は、視点からの距離に対応する奥行き値（以下で、「Ｄｅｐｔｈ」と言ったり、「デップス」と言ったりすることがある。）が画素単位の輝度値として構成される画像である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Recommendation ITU-T H.264 “Advanced video coding for generic audiovisual services”, 03/2010
【非特許文献２】“High efficiency video coding (HEVC) text specification draft 6”, JCTVC-H1003, San Jose, CA, USA, February, 2012
【発明の概要】
【発明が解決しようとする課題】
【０００５】
奥行き画像の符号化には、Ｔｅｘｔｕｒｅ  Ｖｉｄｅｏ（濃度や色の二次元画像）と同一の符号化方式を適用可能である。例えば、周囲の符号化済み画素値から、単位ブロック内の画素値を予測するイントラ予測符号化を用いて、伝送符号量の削減を行うことができる。ここで、視差を奥行き値に変換する際の変換が、視差が大きくなるほど奥行き値の変化が大きくなる非線形変換の場合、予測の誤差が大きくなり、奥行き画像の符号化効率を下げる場合もあるという問題があった。
【０００６】
そこで本発明は、上記問題に鑑みてなされたものであり、奥行き画像の符号化効率を改善することを可能とする予測画像生成装置、復号装置、符号化装置、予測画像生成方法、復号方法、符号化方法、予測画像生成プログラム、復号プログラム及び符号化プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は、奥行き値と視差の関係が非線形の場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成部を備える予測画像生成装置である。
【０００８】
（２）上記に記載の予測画像生成装置において、本発明の一態様は、前記予測画像生成部は、前記複数の隣接画素の奥行き値のうちの一部の奥行き値に重み付け係数を乗じることで、該一部の奥行き値が前記予測対象ブロックの予測値に貢献する割合を小さくすることを特徴とする。
【０００９】
（３）上記に記載の予測画像生成装置において、本発明の一態様は、前記複数の隣接画素の奥行き値の最頻値を抽出する最頻値抽出部を更に備え、前記一部の奥行き値は、前記最頻値抽出部が算出した最頻値より大きい奥行き値であることを特徴とする。
【００１０】
（４）上記に記載の予測画像生成装置において、本発明の一態様は、前記重み付け係数は、該奥行き値と前記最頻値との差分に応じた値であることを特徴とする。
【００１１】
（５）上記に記載の予測画像生成装置において、本発明の一態様は、前記重み付け係数は、前記差分が大きくなるほど小さくなることを特徴とする。
【００１２】
（６）上記に記載の予測画像生成装置において、本発明の一態様は、前記差分が前記予測対象ブロックのサイズに基づいて算出された値よりも大きい場合、前記重み付け係数は０であることを特徴とする。
【００１３】
（７）上記に記載の予測画像生成装置において、本発明の一態様は、前記予測画像生成部は、前記複数の隣接画素の奥行き値のうちの一部の奥行き値を除外した奥行き値に基づいて、前記予測対象ブロックの予測値を生成することを特徴とする。
【００１４】
（８）上記に記載の予測画像生成装置において、本発明の一態様は、前記予測画像生成部は、前記複数の隣接画素の奥行き値のうち最大値を示す隣接画素の奥行き値を除外した平均値を前記予測対象ブロックの予測値として算出することを特徴とする。
【００１５】
（９）上記に記載の予測画像生成装置において、本発明の一態様は、前記複数の隣接画素の奥行き値の最頻値を抽出する最頻値抽出部を更に備え、前記予測画像生成部は、前記複数の隣接画素の奥行き値のうち、該奥行き値と前記最頻値抽出部が算出した最頻値との差分が予め決められた閾値より大きい奥行き値を除外した平均値を前記予測対象ブロックの予測値として算出することを特徴とする。
【００１６】
（１０）上記に記載の予測画像生成装置において、本発明の一態様は、前記予測画像生成部は、前記複数の隣接画素の奥行き値の最頻値または中央値を、前記予測対象ブロックの予測値とすることを特徴とする。
【００１７】
（１１）上記に記載の予測画像生成装置において、本発明の一態様は、前記予測画像生成部は、前記複数の隣接画素の奥行き値の最頻値に関する条件を満たす場合、前記一部の奥行き値が、前記予測値に貢献する割合が小さくなるように前記各画素の予測値を生成することを特徴とする。
【００１８】
（１２）上記に記載の予測画像生成装置において、本発明の一態様は、前記最頻値に関する条件は、前記複数の隣接画素の奥行き値の最頻値における、単位視差あたりの奥行き値の変化量に関する条件であることを特徴とする。
【００１９】
（１３）上記に記載の予測画像生成装置において、本発明の一態様は、前記最頻値に関する条件は、前記単位視差あたりの奥行き値の変化量が、同じ前記奥行き画像における最小視差時の奥行き値と最大視差時の奥行き値に基づいて算出される奥行き値の変化割合より大きいという条件であることを特徴とする。
【００２０】
（１４）上記に記載の予測画像生成装置において、本発明の一態様は、前記最頻値に関する条件は、前記最頻値が予め決められた閾値より大きいという条件であることを特徴とする。
【００２１】
（１５）上記に記載の予測画像生成装置において、本発明の一態様は、前記予測画像生成部は、前記予測対象ブロックの奥行き値に関する条件を満たす場合、前記一部の奥行き値が、前記予測値に貢献する割合が小さくなるように前記各画素の予測値を生成することを特徴とする。
【００２２】
（１６）上記に記載の予測画像生成装置において、本発明の一態様は、前記奥行き値に関する条件は、前記予測対象ブロックの奥行き値の平均値が予め決められた閾値よりも大きいという条件であることを特徴とする。
【００２３】
（１７）本発明の一態様は、上記に記載の予測画像生成装置と、前記予測画像生成装置が生成した予測画像に基づいて、符号化データを復号する復号画像生成部と、
を備える復号装置である。
【００２４】
（１８）本発明の一態様は、上記に記載の予測画像生成装置と、前記予測画像生成装置が生成した予測画像に基づいて、奥行き画像を符号化する符号化部と、を備える符号化装置である。
【００２５】
（１９）本発明の一態様は、奥行き値と視差の関係が非線形の場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する工程を有することを特徴とする予測画像生成方法である。
【００２６】
（２０）本発明の一態様は、奥行き値と視差の関係が非線形の場合  で、かつ予め決められた条件を満たす場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成工程と、前記生成された予測画像に基づいて、符号化データを復号する復号工程と、を有することを特徴とする復号方法である。
【００２７】
（２１）本発明の一態様は、奥行き値と視差の関係が非線形の場合で、かつ予め決められた条件を満たす場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成工程と、前記生成された予測画像に基づいて、奥行き画像を符号化する符号化工程と、を有することを特徴とする符号化方法である。
【００２８】
（２２）本発明の一態様は、コンピュータに、奥行き値と視差の関係が非線形の場合で、かつ予め決められた条件を満たす場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成するステップを実行させるための予測画像生成プログラムである。
【００２９】
（２３）本発明の一態様は、復号装置に、奥行き値と視差の関係が非線形の場合で、かつ予め決められた条件を満たす場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成ステップと、前記生成された予測画像に基づいて、符号化データを復号する復号ステップと、を実行させるための復号プログラムである。
【００３０】
（２４）本発明の一態様は、符号化装置に、奥行き値と視差の関係が非線形の場合で、かつ予め決められた条件を満たす場合、奥行き画像において予測の対象となる予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する予測画像生成ステップと、前記生成された予測画像に基づいて、奥行き画像を符号化する符号化ステップと、を実行させるための符号化プログラムである。
【発明の効果】
【００３１】
本発明によれば、奥行き画像の符号化効率を改善することができる。
【図面の簡単な説明】
【００３２】
【図１】奥行き値を説明するための図である。
【図２】視差ｄを奥行き値νに非線形に変換する関数の一例を示したグラフである。
【図３】ＤＣ予測モードＰＭを用いて予測値を算出する方法を説明するための図である。
【図４】非線形変換前の視差の頻度分布と非線形後の奥行き値の分布の一例を示す図である。
【図５】本実施形態における映像システムの構成を示す概略ブロック図である。
【図６】本実施形態における符号化装置の構成を示す概略ブロック図である。
【図７】本実施形態における予測画像生成部の構成を示す概略ブロック図である。
【図８】予め決められた条件の他の一例について説明する図である。
【図９】重み付けを乗じる対象の奥行き値の一例について説明するための図である。
【図１０】Ｄｅｐｔｈ特性情報ＤＰの一例を示す図である。
【図１１】特徴値セットＣの一例を示す図である。
【図１２】非線形の場合の特性を示す情報が特徴値セットＣである場合におけるＤｅｐｔｈ特性情報ＤＰの一例を示す図である。
【図１３】本実施形態における復号装置の構成を示す概略ブロック図である。
【図１４】本実施形態における符号化装置の処理の流れの一例を示すフローチャートである。
【図１５】本実施形態における復号装置の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
図１は、奥行き値を説明するための図である。同図は、２台のカメラで第１の被写体Ｈ１１と第２の被写体Ｈ１２とを撮影している様子を上空から俯瞰した図であり、ＸＺ座標系で表わされている。同図において、ある映像（シーン）における奥行き範囲Ａ１０が示されている。奥行き範囲Ａ１０は、その映像の最近景と最遠景との間の範囲である。同図において、点Ｐ１４は、視点（カメラ）Ｖ１から、最近景にある第１の被写体Ｈ１１を観察したときの視線が、仮想のスクリーンＳ１３と交差する点である。また、点Ｐ１５は、視点（カメラ）Ｖ２から、最近景にある第１の被写体Ｈ１１を観察したときの視線が、仮想のスクリーンＳ１３と交差する点である。点Ｐ１４と点Ｐ１５とのＸ座標の差ｄｍａｘ（＝ＸＰ１５−ＸＰ１４）がこの映像における視差の最大値で正の値である。
【００３４】
点Ｐ１６は、視点（カメラ）Ｖ１から、最遠景にある第２の被写体Ｈ１２を観察したときの視線が、仮想のスクリーンＳ１３と交差する点である。また、点Ｐ１７は、視点（カメラ）Ｖ２から、最遠景にある第２の被写体Ｈ１２を観察したときの視線が、仮想のスクリーンＳ１３と交差する点である。点Ｐ１６と点Ｐ１７とのＸ座標の差ｄｍｉｎ（＝ＸＰ１７−ＸＰ１６）がこの映像における視差の最小値で負の値である。このように、最近景では視差ｄが最大となり、最遠景では視差ｄが最小となる。
【００３５】
奥行き値νは、２視点間の視差ｄに対応する値である。例えば、奥行き値νは視差ｄの関数として、ν＝２５５×（ｄ−ｄｍｉｎ）／（ｄｍａｘ−ｄｍｉｎ）で表せられる。ここで、この数式は、奥行き値νを８ｂｉｔの強度値０〜２５５で表す例である。この数式では、奥行き値νは、視差ｄと線形の関係にある。
【００３６】
一方、画像またはシーンによっては、後述する図２に示すように視差ｄを奥行き値νに非線形に変換することによって、より精度良く奥行き値の分布を表すことができる場合がある。例えば、距離または厚みの異なる複数の被写体が最近景付近に多数分布している画像の場合である。
【００３７】
図２は、視差ｄを奥行き値νに非線形に変換する関数の一例を示したグラフである。
同図において、視差ｄと奥行き値νとの関係を示す曲線Ｗ２１が示されている。また、同図における破線で示された直線Ｗ２２は、視差ｄと奥行き値νが線形な関係にある場合の直線であり、曲線Ｗ２１との比較のために示されている。
【００３８】
また、同図に示された視差範囲Ｒ２３（遠景）と視差範囲Ｒ２５（近景）との間で視差ｄの変化量は同じである。視差範囲Ｒ２３に対する奥行き値の変化量Ｒ２４と視差範囲Ｒ２５に対する奥行き値の変化量Ｒ２６とを比較すると、奥行き値の変化量Ｒ２６の方が大きくなっている。
すなわち、視差ｄが大きくなるほど、視差ｄの同じ変化量に対する奥行き値の変化量が大きくなる。このように、視差ｄを奥行き値νに変換する際の変換が、視差ｄが大きくなるほど奥行き値νの変化が大きくなる非線形変換の場合、近景の画像領域（すなわち視差が大きい画像領域）ではその近景の画像領域内における奥行き値間の変動が大きくなる。
【００３９】
奥行き画像の符号化において、イントラ予測符号化では、予測単位ブロックごとに、符号化済みの隣接画素を利用して、各画素の予測値を算出し、入力画像の画素値と予測値との差分を符号化する。ＨＥＶＣのイントラ符号化モードには、各画素を予測する際に隣接する複数の画素を利用する、平面予測（Ｉｎｔｒａ＿Ｐｌａｎａｒ）モードとＤＣ予測（Ｉｎｔｒａ＿ＤＣ）モードとがある。平面予測モードＰＭは、予測単位ブロックに隣接する上下、左右の各画素との距離に対応する重み付き平均を予測値とするモードである。ＤＣ予測モードＰＭは、予測単位ブロックの上および向かって左に隣接する画素の平均値を、ブロック内各画素の予測値とするモードである。
【００４０】
また、ＨＥＶＣのイントラ符号化モードは、その他に、垂直予測モードＰＭ、水平予測モードＰＭ、角予測（Ｉｎｔｒａ＿Ａｎｇｕｌａｒ）モードがある。垂直予測モードＰＭは、同一ｘ座標で上側に隣接する画素の値を予測画素値とするモードである。水平予測モードＰＭは、同一ｙ座標で左側に隣接する画素の値を予測画素値とするモードである。角予測（Ｉｎｔｒａ＿Ａｎｇｕｌａｒ）モードは、指定の角度（３１通り）に応じた隣接画素から予測値を決定するモードである。
【００４１】
図３は、ＤＣ予測モードＰＭを用いて予測値を算出する方法を説明するための図である。図３（ａ）における奥行き画像Ｆ３１において、予測単位ブロックの一例である画像領域Ｒ３２が示されている。ここで、予測単位ブロックは、奥行き値の予測値を推定する単位である。
また、図３（ｂ）において、予測単位ブロックＲ３３の模式図とその予測単位ブロックＲ３３に隣接する画素の奥行き値ｒ０、ｒ１、ｒ２、ｒ３、ｑ０、ｑ１、ｑ２、ｑ３が示されている。予測単位ブロックＲ３３は、サイズｎｓが４の予測単位ブロックである。ここで、予測単位ブロックのサイズｎｓが４であるとは、予測単位ブロックが４×４の画素を含む領域であることを意味する。予測単位ブロックに含まれる画素Ｐ３４の奥行き値の予測値は、隣接する画素の奥行き値ｒ０、ｒ１、ｒ２、ｒ３、ｑ０、ｑ１、ｑ２、ｑ３の奥行き値の平均である。奥行き値ｒ０、ｒ１、ｒ２、ｒ３、ｑ０、ｑ１、ｑ２、ｑ３を示す画素は、予測単位ブロックに隣接する隣接画素のうち既に復号済みの画素の一例である。ここで、対象隣接画素は、例えば、予測単位ブロックの上または向かって左に隣接する画素である。
【００４２】
例えば、上述のＤＣ予測（Ｉｎｔｒａ＿ＤＣ）モードを用いた場合、予測値は、奥行き画像における予測単位ブロックに隣接する画素のうち既に復号済みの画素の画素値（奥行き値）の平均値である。
図４は、非線形変換前の視差の頻度分布と非線形後の奥行き値の分布の一例を示す図である。同図の非線形変換は、視差ｄが大きくなるほど奥行き値νの変化が大きくなる非線形変換である。同図における奥行き値νの頻度分布Ｗ４２は、視差ｄの頻度分布Ｗ４１がその非線形変換によって変換された場合の分布である。同図における奥行き値νの頻度分布Ｗ４２の平均値νＡＶＥは、奥行き値νの最頻値よりも大きい。
【００４３】
このように、視差が大きくなるほど奥行き値の変化が大きくなる非線形変換の場合、視差が大きくなるほど単位視差あたりの奥行き値の変動が大きいため、画像領域が近景になるほど、視差が大きな視差値に基づいて算出された奥行き値νに引っ張られて、上記の平均値νＡＶＥが大きくなる。平均値νＡＶＥが大きくなると、その平均値νＡＶＥと予測対象ブロックに含まれる画素の奥行き値νとの差分が大きくなる奥行き値νが多くなるので、奥行き画像の符号化効率が下がる場合があるという問題がある。
【００４４】
続いて、図５を用いて本実施形態の構成について説明する。図５は、本実施形態における映像システムの構成を示す概略ブロック図である。映像システム１は、符号化装置１００と、復号装置２００と、両者を結合する伝送路３００とを備える。
符号化装置１００は、Ｄｅｐｔｈ特性情報ＤＰと奥行き画像データＤＭを取得し、奥行き画像データＤＭを符号化した符号化データＥＤを生成する。ここで、Ｄｅｐｔｈ特性情報ＤＰは、視差から奥行き値への変換の特性を示す情報である。具体的には、例えば、Ｄｅｐｔｈ特性情報ＤＰは、視差から奥行き値への変換が線形か非線形かを示す変換フラグと、非線形の場合の特性を示す情報を含む情報である。ここで、非線形の場合の特性を示す情報は、例えば、その非線形の変換関数がｙ＝ａ＋ｂｘ＋ｃｘ２の場合、係数ａ、ｂ、ｃを示す情報である。
【００４５】
そして、符号化装置１００は、生成した符号化データＥＤを伝送路３００を介して復号装置２００へ送信する。復号装置２００は、符号化装置１００から送信された符号化データＥＤを受信し、受信した符号化データＥＤを復号して復号画像を生成する。伝送路３００は、無線の伝送路または有線のケーブルである。その代わりに、符号化装置１００は、生成した符号化データＥＤを、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）またはＨＤ（Ｈａｒｄ  Ｄｉｓｋ）の記憶装置に格納して、復号装置２００は、この符号化データＥＤを記憶装置から取り出してもよい。そして、復号装置２００は、生成した復号画像を示す復号画像データＤＤを自装置の外部へ送出する。
【００４６】
図６は、本実施形態における符号化装置１００の構成を示す概略ブロック図である。
符号化装置１００は、予測モード決定部１１０と、Ｄｅｐｔｈ特性判定部１２０と、最頻値抽出部１３０と、予測画像生成部１４０と、予測残差符号化部（符号化部）１５０と、復号画像生成部１６０と、復号画像保持部１７０と、データ生成部１８０とを備える。
【００４７】
予測モード決定部１１０は、自装置の外部から入力された奥行き画像データＤＭが示す奥行き画像に基づいて、予測モードＰＭを決定する。具体的には、例えば、予測モード決定部１１０は、奥行き画像について平面予測モードＰＭとＤＣ予測モードＰＭとで予め決められた位置の予測単位ブロックの予測値を算出する。そして、例えば、予測モード決定部１１０は、その予測値と元の奥行き画像の画素値との差分絶対値をその予測単位ブロック内の全ての画素について加算した差分絶対値和がより小さくなるモードを予測モードＰＭとして決定する。
予測モード決定部１１０は、決定した予測モードＰＭを示す予測モードＰＭ情報を予測画像生成部１４０とデータ生成部１８０へ出力する。
【００４８】
Ｄｅｐｔｈ特性判定部１２０は、自装置の外部から入力されたＤｅｐｔｈ特性情報ＤＰを参照して、視差から奥行き値への変換が線形変換であるか、非線形変換であるかを判定する。Ｄｅｐｔｈ特性判定部１２０は、視差から奥行き値への変換が線形変換であると判定した場合、線形変換である旨を予測画像生成部１４０へ出力する。これにより、予測画像生成部１４０は、奥行き画像において、対象隣接画素の画素値（奥行き値）の平均値を予測単位ブロックに含まれる各画素の画素値を予測する予測値として生成する。ここで、対象隣接画素とは、予測対象ブロックに隣接する隣接画素のうち既に復号済みの画素である。この予測対象ブロックは、予測値を推定する対象とする予測単位ブロックである。
一方、Ｄｅｐｔｈ特性判定部１２０は、視差から奥行き値への変換が非線形変換であると判定した場合、非線形変換である旨を最頻値抽出部１３０へ出力する。
【００４９】
最頻値抽出部１３０は、復号画像保持部１７０から復号画像を取得する。最頻値抽出部１３０は、Ｄｅｐｔｈ特性判定部１２０から非線形変換である旨を受け取ると、復号画像から対象隣接画素の画素値（奥行き値）を複数抽出し、抽出した複数の奥行き値の最頻値を抽出する。
【００５０】
具体的には、予測対象ブロックのサイズが４である場合、例えば、最頻値抽出部１３０は、奥行き画像において、予測対象ブロックの上の４画素及び向かって左の４画素、合計して８画素の画素値（奥行き値）の最頻値を抽出する。最頻値抽出部１３０は、抽出した最頻値を示す最頻値情報ＭＤを予測画像生成部１４０へ出力する。
【００５１】
予測画像生成部１４０は、奥行き値と視差の関係が非線形の場合で、かつ予め決められた条件を満たす場合、奥行き画像において予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように該各画素の予測値を生成する。これにより、予測画像生成部１４０は、生成した各画素の予測値をそれぞれ対応する画素の画素値とする予測画像を生成する。
【００５２】
ここで、例えば、図２に示すように視差が大きくなるほど単位視差あたりの奥行き値の変化量が大きくなる関係にある場合、上記予め決められた条件とは、例えば、対象隣接画素の奥行き値の最頻値が予め決められた閾値ｄｔｈより大きいという条件である。その場合、予測画像生成部１４０は、隣接画素の奥行き値のうち該奥行き値の最頻値より大きい奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように、該予測値を画素値とする予測画像を生成する。ここで、予め決められた閾値ｄｔｈは、例えば奥行き値が取りうる値の中央値である。例えば、奥行き値が０から２５５までの値をとりうる場合、予め決められた閾値ｄｔｈは、１２７である。これにより、予測画像生成部１４０は、単位視差あたりの奥行き値の変化量が大きい視差値から算出された奥行き値に対して、隣接画素の奥行き値のうち該奥行き値の最頻値より大きい奥行き値が、該予測対象ブロックの各画素の奥行き値を予測した予測値に貢献する割合が小さくなるように予測値を生成することができる。
【００５３】
例えば、予測画像生成部１４０は、復号画像保持部１７０から復号画像情報ＤＩを読み出す。そして、予測画像生成部１４０は、例えば、複数の隣接画素の奥行き値のうちの一部の奥行き値に重み付け係数を乗じることで、該一部の奥行き値が予測対象ブロックの予測値に貢献する割合を小さくする。ここで、複数の隣接画素の奥行き値は、復号画像生成部１６０によって復号済みの画素の画素値（奥行き値）である。複数の隣接画素の奥行き値のうちの一部の奥行き値は、例えば、最頻値抽出部１３０が抽出した最頻値より大きい奥行き値である。
【００５４】
具体的には、例えば、予測画像生成部１４０は、複数の対象隣接画素の奥行き値のうちで、最頻値抽出部１３０が抽出した最頻値を基準に選択された奥行き値に対して、該奥行き値と最頻値との差分に応じた重み付け係数を乗じる。ここで、対象隣接画素の奥行き値の最頻値を基準に選択された奥行き値は、例えば、対象隣接画素の奥行き値の最頻値より大きい奥行き値である。また、重み付け係数は、例えば、上記差分が大きくなるほど小さくなる。また、例えば、差分が予測対象ブロックのサイズに基づいて算出された値（例えば、予測対象ブロックのサイズの２倍）よりも大きい場合、重み付け係数は０である。
【００５５】
なお、予め決められた条件は、上記に限ったものではない。例えば、上記予め決められた条件は、複数の対象隣接画素の奥行き値の最頻値に関する条件であってもよい。その一例として、上記最頻値に関する条件は、複数の対象隣接画素の奥行き値の最頻値における、奥行き値と視差の関係を示す曲線の傾きに関する条件、すなわち単位視差あたりの奥行き値の変化量に関する条件であってもよい。具体的には、例えば、最頻値に関する条件は、単位視差あたりの奥行き値の変化量が、同じ奥行き画像における最大視差時の奥行き値から最小視差時の奥行き値を引いた値を、最大視差から最小視差を引いた値（ｄｍａｘ−ｄｍｉｎ）で割った値（例えば、図２の例において、２５５／（ｄｍａｘ−ｄｍｉｎ））より大きくなる視差の範囲という条件であってもよい。すなわち、最頻値に関する条件は、前記単位視差あたりの奥行き値の変化量が、同じ前記奥行き画像における最小視差時の奥行き値と最大視差時の奥行き値に基づいて算出される奥行き値の変化割合より大きいという条件であってもよい。この条件の詳細な説明は、図７を用いて後述する。
【００５６】
また、上記予め決められた条件は、予測対象ブロックの奥行き値に基づいて決められている条件であってもよい。その一例として、予め決められた条件は、予測対象ブロックの奥行き値の平均値ｄａｖｅが予め決められた閾値よりも大きいという条件であってもよい。
【００５７】
一方、予測画像生成部１４０は、奥行き値と視差の関係が非線形の場合でかつ予め決められた条件を満たさない場合、または奥行き値と視差の関係が線形の場合、予測モード決定部１１０から入力された予測モード情報が示す予測モードＰＭで、予測画像を生成する。具体的には、例えば、予測モードＰＭがＤＣ予測の場合、予測対象ブロックの上に隣接する画素と向かって左に隣接する画素の画素値（奥行き値）の平均値を予測対象ブロックに含まれる各画素の予測値として算出する。
【００５８】
予測画像生成部１４０の処理の詳細は後述する。予測画像生成部１４０は、生成した予測画像を示す予測画像情報ＰＩを予測残差符号化部１５０と復号画像生成部１６０へ送信する。
【００５９】
予測残差符号化部１５０は、自装置の外部から入力された奥行き画像データＤＭと予測画像生成部１４０から出力された予測画像情報ＰＩとを受け取る。そして、予測残差符号化部１５０は、予測画像に基づいて、奥行き画像を符号化する。例えば、予測残差符号化部１５０は、奥行き画像データＤＭが示す奥行き画像と予測画像情報ＰＩが示す予測画像との間で、対応する画素間で差分を算出する。
より詳細には、例えば、予測残差符号化部１５０は、奥行き画像の各画素について、奥行き画像の画素値から、対応する画素位置の予測画像の画素値を減算することで予測残差を算出する。そして、予測残差符号化部１５０は、例えば、予測残差を符号化した予測残差変換係数ＲＣを生成する。具体的には、例えば、予測残差符号化部１５０は予測残差に対して直交変換及び量子化を順に施すことで予測残差変換係数ＲＣを生成する。
予測残差符号化部１５０は、生成した予測残差変換係数ＲＣを示す情報をデータ生成部１８０へ出力する。また、予測残差符号化部１５０は、算出した予測残差変換係数ＲＣに対して逆量子化及び逆直交変換を順に施して復号予測残差情報ＤＲを算出し、算出した復号予測残差情報ＤＲを復号画像生成部１６０へ出力する。
【００６０】
復号画像生成部１６０は、予測画像生成部１４０から出力された予測画像情報ＰＩと、予測残差符号化部１５０から出力された復号予測残差情報ＤＲを受け取る。そして、復号画像生成部１６０は、予測画像情報ＰＩが示す予測画像の各画素について、予測画像の画素値に対応する画素位置の予測残差を加算することで復号画像を生成する。そして、復号画像生成部１６０は、生成した復号画像を示す復号画像情報ＤＩを復号画像保持部１７０へ出力し、その復号画像情報ＤＩを保持させる。
【００６１】
復号画像保持部１７０は、復号画像生成部１６０から入力された復号画像情報ＤＩを保持する。そして、復号画像保持部１７０に保持された復号画像情報ＤＩは、最頻値抽出部１３０または予測画像生成部１４０により読み出される。
データ生成部１８０は、自装置の外部から入力されたＤｅｐｔｈ特性情報ＤＰと、予測モード決定部１１０から出力された予測モードＰＭと、予測残差符号化部１５０から出力された予測残差変換係数ＲＣを取得する。そして、データ生成部１８０は、例えば、Ｄｅｐｔｈ特性情報ＤＰをヘッダ情報に含み、かつ予測モードＰＭと予測残差変換係数ＲＣを含むデータをエントロピー符号化することで符号化データＥＤを生成し、生成した符号化データＥＤを復号装置２００へ送信する。
【００６２】
図７は、本実施形態における予測画像生成部１４０の構成を示す概略ブロック図である。予測画像生成部１４０は、条件判定部１４１と、重み計算判定部１４２と、重み算出部１４３と、予測値算出部１４４とを備える。
条件判定部１４１は、対象隣接画素の各奥行き値における、単位視差あたりの奥行き値の変化量が予め決められた閾値変化量より大きいか否かを判定する。それを判定するために、条件判定部１４１は、一例として、最頻値抽出部１３０から入力された最頻値情報ＭＤが示す最頻値が、予め決められた閾値ｄｔｈを超えるか否か判定する。この最頻値は、対象隣接画素の画素値（奥行き値）の最頻値である。ここで、視差が大きくなるほど単位視差あたりの奥行き値の変化量が大きくなる非線形変換の場合、予め決められた閾値ｄｔｈは、例えば、奥行き値νの取り得る値の中央値（例えば、奥行き値νが０から２５５までを取り得る場合、１２７）である。この場合、閾値変化量は、奥行き値νの取り得る値の中央値における、単位視差あたりの奥行き値の変化量である。これにより、条件判定部１４１は、対象隣接画素の各奥行き値における、単位視差あたりの奥行き値の変化量が大きいか否かを判定することができる。
【００６３】
そして、条件判定部１４１は、例えば、最頻値が予め決められた閾値ｄｔｈを超えると判定した場合、判定結果を重み計算判定部１４２へ出力する。一方、条件判定部１４１は、例えば、最頻値が予め決められた閾値ｄｔｈ以下と判定した場合、判定結果を予測値算出部１４４へ出力する。これにより、条件判定部１４１は、対象隣接画素の各奥行き値における、単位視差あたりの奥行き値の変化量が予め決められた閾値より大きい場合に重みを算出させ、対象隣接画素の各奥行き値が単位視差あたりの奥行き値の変化量が予め決められた閾値以下の場合に重みを算出させないようにすることができる。
【００６４】
重み計算判定部１４２は、復号画像保持部１７０から、対象隣接画素の画素値（以下、隣接Ｄｅｐｔｈという）を読み出す。重み計算判定部１４２は、例えば、条件判定部１４１から判定結果が入力された場合、すなわち最頻値が予め決められた閾値ｄｔｈより大きい場合、読み出した隣接Ｄｅｐｔｈそれぞれについて、最頻値より大きいか否か判定する。重み計算判定部１４２は、ある隣接Ｄｅｐｔｈが最頻値以下の場合、次の隣接Ｄｅｐｔｈについて判定する。一方、ある隣接Ｄｅｐｔｈが最頻値より大きい場合、隣接Ｄｅｐｔｈを示す情報と最頻値情報ＭＤとを重み算出部１４３へ出力する。
【００６５】
重み算出部１４３は、重み計算判定部１４２から入力された隣接Ｄｅｐｔｈを示す情報と最頻値情報ＭＤとに基づいて、予測値を算出する際に隣接Ｄｅｐｔｈに乗じる重み付け係数を算出する。例えば、重み算出部１４３は、隣接Ｄｅｐｔｈが最頻値から離れるほど重み付け係数を小さくする。これにより、予測画像生成部１４０は、隣接Ｄｅｐｔｈが最頻値から離れるほど予測値に貢献する割合が小さくなるようにすることができる。また、重み算出部１４３は、隣接Ｄｅｐｔｈが最頻値から予測単位ブロックのサイズに応じて決められる値（例えば、予測単位ブロックのサイズの２倍）以上離れた場合、重み付け係数を０にする。例えば、予測単位ブロックのサイズに応じて決められる値は、予測単位ブロックのサイズが大きくなるほど大きくなる傾向にある。予測単位ブロックのサイズに応じて決められる値が、例えば予測単位ブロックのサイズの２倍の場合、最頻値から予測単位ブロックのサイズの２倍だけ離れた値までは、その奥行き値が予測値に貢献することを許容することを意味する。これは、予測単位ブロックが大きくなるほど、その予測単位ブロックに含まれる画素の奥行き値の変動が大きくなる傾向にあるので、予測単位ブロックの大きさが大きくなるほど、その大きさに応じて予測値に貢献できる奥行き値の範囲を広げるためである。これにより、予測単位ブロックの大きさが大きくなるほど、その大きさに応じて予測値に貢献できる奥行き値の範囲を広げつつ、突出して大きな奥行き値は予測値に貢献しないようにすることができる。
【００６６】
重み算出部１４３は、重み計算判定部１４２が隣接Ｄｅｐｔｈ全てについて判定したか否か判定する。重み計算判定部１４２が隣接Ｄｅｐｔｈ全てについて判定していない場合、重み計算判定部１４２の処理に戻る。重み計算判定部１４２が隣接Ｄｅｐｔｈ全てについて判定した場合、重み算出部１４３は、予測値算出部１４４へ算出した重み付け係数を示す情報と隣接Ｄｅｐｔｈを示す情報を出力する。これにより、予測値算出部１４４の処理に移行する。
【００６７】
予測値算出部１４４は、重み算出部１４３から入力された重み付け係数を示す情報と隣接Ｄｅｐｔｈを示す情報とに基づいて、予測値を算出する。具体的には、予測値算出部１４４は、重み付け係数を算出した隣接Ｄｅｐｔｈについては、隣接Ｄｅｐｔｈにその隣接Ｄｅｐｔｈについて算出された重み付け係数を乗じる。そして予測値算出部１４４は、隣接Ｄｅｐｔｈに重み付け係数を乗じた値それぞれと、重み付け係数を算出しなかった隣接Ｄｅｐｔｈそれぞれとを合わせた平均を予測値として算出する。そして、予測値算出部１４４は、算出した予測値を予測対象ブロックに含まれる各画素の画素値とする予測画像を生成し、生成した予測画像を予測残差符号化部１５０と復号画像生成部１６０へ出力する。
【００６８】
続いて、図８を用いて、上記予め決められた条件の他の一例の詳細について説明する。ここで、予め決められた条件の他の一例とは、最大視差時の奥行き値から最小視差時の奥行き値を引いた値を、最大視差から最小視差を引いた値（ｄｍａｘ−ｄｍｉｎ）で割った値（例えば、図８の例において、２５５／（ｄｍａｘ−ｄｍｉｎ））より大きくなる視差の範囲という条件である。図８において、ある奥行き画像における奥行き値νと視差ｄとの関係を示す曲線Ｗ６１が示されている。また、参考として、同じ奥行き画像における最小視差時の奥行き値と最大視差時の奥行き値とを通る直線Ｗ６２が示されている。
【００６９】
図８において、曲線Ｗ６１上の点Ｐ６４における接線Ｗ６３の傾きが直線Ｗ６２の傾きと一致している。このことから、同図の例において、点Ｐ６４における奥行き値より大きく奥行き値の最大値２５５以下の範囲が、上記予め決められた条件を満たす奥行き値の範囲である。図８の例において、例えば、奥行き値と視差の関係が非線形の場合で、かつ対象隣接画素の画素値（奥行き値）の最頻値がこの奥行き値の範囲にある場合、予測画像生成部１４０は、奥行き画像において予測対象ブロックに隣接する複数の隣接画素の奥行き値のうちの一部の奥行き値が、該予測対象ブロックの予測値に貢献する割合が小さくなるように予測画像を生成する。なお、対象隣接画素の画素値（奥行き値）の最頻値がこの奥行き値の範囲にある場合に限らず、対象隣接画素の画素値（奥行き値）の代表値（例えば、平均値、中央値、最小値、最大値など）がこの奥行き値の範囲にある場合でもよい。
【００７０】
図９は、重み付け係数を乗じる対象の奥行き値の一例について説明するための図である。同図には、図３に示された隣接画素の奥行き値ｑ０、ｑ１、ｑ２、ｑ３、ｒ０、ｒ１、ｒ２、ｒ３のヒストグラムが示されている。同図のヒストグラムの縦軸は頻度で、横軸は奥行き値である。それぞれの棒グラフに付された文字は、その文字で表される隣接画素の奥行き値がその棒グラフが位置する奥行き値をとることを示している。例えば、最頻値ｄｆにおいて頻度は３であり、隣接画素の奥行き値ｒ０、ｑ０、ｑ１の全てが最頻値ｄｆであることが示されている。領域Ｒ７１は、重み付け係数を乗じる対象の奥行き値を示している。すなわち、重み付け係数を乗じる対象の奥行き値は、最頻値ｄｆよりも大きな奥行き値をとる隣接画素の奥行き値ｑ２とｑ３の奥行き値である。
【００７１】
図９の例において、相対ｘ座標、相対ｙ座標における予測値ｐ［ｘ，ｙ］は次の式（１）で表わされる。ここで、相対ｘ座標は、予測単位ブロックの左上端の画素の座標を０とし向かって右方向をプラスとする水平方向の座標である。また、相対ｙ座標は、予測単位ブロックの左上端の画素の座標を０とし向かって下方向をプラスとする垂直方向の座標である。相対ｘ座標及び相対ｙ座標は、予測単位ブロックのサイズをｎＳとすると、共に０から（ｎＳ−１）までの値を取り得る。
【００７２】
【数１】
2014011631.tif 000003
【００７３】
ここで、変数Ｓは予測単位ブロックのサイズｎＳの関数で、Ｓ＝２×ｎｓで表される。また、変数ｄ２は、変数Ｓと奥行き値ｄｑ２と最頻値ｄｆとの関数で、ｄ２＝Ｃｌｉｐ３（０，Ｓ，ｑ２−ｄｆ）で表される。また、変数ｄ３は、変数Ｓと奥行き値ｄｑ３と最頻値ｄｆとの関数で、ｄ３＝Ｃｌｉｐ３（０，Ｓ，ｑ３−ｄｆ）で表される。ここで、Ｃｌｉｐ３は、次の式（２）で表される関数である。
【００７４】
【数２】
2014011631.tif 000004
【００７５】
ここで、式（２）におけるＣｌｉｐ３（ａ，ｂ，ｃ）は、変数ｃが変数ａよりも小さければ変数ａの値をとり、変数ｃが変数ｂよりも大きければ変数ｂの値をとり、その他の場合に変数ｃの値をとる関数である。
【００７６】
図９の例において、重み計算判定部１４２は、画素値ｑ２と画素値ｑ３が最頻値よりも大きいので、画素値ｑ２と画素値ｑ３は重み計算の対象となる画素値であると判定する。そして、図９の例において、重み算出部１４３は、画素値ｑ２に対する重みとして（Ｓ−ｄ２）を算出し、画素値ｑ３に対する重みとして（Ｓ−ｄ３）を算出する。そして、図９の例において、予測値算出部１４４は、式（１）に従って、予測対象ブロックの予測値を算出する。
【００７７】
なお、本実施形態における予測画像生成部１４０は、複数の隣接画素の奥行き値のうちの一部の奥行き値に重み付け係数を乗じることで、該一部の奥行き値が予測対象ブロックの予測値に貢献する割合を小さくしたがこれに限ったものではない。
例えば、予測画像生成部１４０は、複数の隣接画素の奥行き値のうちの一部の奥行き値を除外した奥行き値に基づいて、予測対象ブロックの予測画像を生成してもよい。これにより、予測画像生成部１４０は、一部の奥行き値を除外するので、その一部の奥行き値が突出して大きな値で合った場合に、予測値の上昇を抑えることができ、予測誤差の増大を抑制することができる。
【００７８】
その場合、例えば、予測画像生成部１４０は、複数の隣接画素の奥行き値の代表値を、予測対象ブロックの予測値としてもよい。ここで、複数の隣接画素の奥行き値の代表値は、例えば、複数の隣接画素の奥行き値の最頻値または中央値であってもよい。これにより、予測画像生成部１４０は、一部の奥行き値が突出して大きな奥行き値であっても、その突出して大きな奥行き値以外の値を予測値とすることで、その突出して大きな奥行き値の影響で予測値を上昇させることがないので、予測誤差を抑制することができる。
【００７９】
また、予測画像生成部１４０は、複数の隣接画素の奥行き値のうち最大値を示す隣接画素の奥行き値を除外した平均値を予測対象ブロックの予測値として算出してもよい。これにより、予測画像生成部１４０は、この最大値を示す隣接画素の奥行き値が突出して大きな値であっても、この値を除外して平均をとることで、予測値の上昇を抑えることができ、予測誤差の増大を抑制することができる。
【００８０】
また、予測画像生成部１４０は、複数の隣接画素の奥行き値のうち、該奥行き値と最頻値抽出部１３０が抽出した最頻値との差分が予め決められた閾値より大きい奥行き値を除外した平均値を予測対象ブロックの予測値として算出してもよい。これにより、予測画像生成部１４０は、奥行き値が最頻値に比べて突出して大きな値をとっても、この値を除外して平均をとることで、予測値の上昇を抑えることができ、予測誤差の増大を抑制することができる。
【００８１】
図１０は、Ｄｅｐｔｈ特性情報ＤＰの一例を示す図である。同図の例は、Ｄｅｐｔｈ特性情報ＤＰに含まれる非線形の場合の特性を示す情報は、その非線形の変換関数の係数ａ、ｂ、ｃである。ここで、非線形の変換関数がｙ＝ａ＋ｂｘ＋ｃｘ２で表されるものとする。同図において、ｄｅｐｔｈ＿ｎｏｎ＿ｌｉｎｅａｒ＿ｆｌａｇは視差から奥行き値への変換が線形か非線形かを示す変換フラグである。ｄｅｐｔｈ＿ｎｏｎ＿ｌｉｎｅａｒ＿ｆｌａｇが１の場合、すなわち、視差から奥行き値への変換が非線形の場合、係数ａ、ｂ、ｃの値がそれぞれｄｅｐｔｈ＿ｎｏｎ＿ｌｉｎｅａｒ＿ｃｏｅｆｆ＿ａ、ｄｅｐｔｈ＿ｎｏｎ＿ｌｉｎｅａｒ＿ｃｏｅｆｆ＿ｂ、ｄｅｐｔｈ＿ｎｏｎ＿ｌｉｎｅａｒ＿ｃｏｅｆｆ＿ｃに格納されている。
【００８２】
なお、非線形の場合の特性を示す情報は、複数の特定の視差に対応する奥行き値の集合である特徴値セットＣであってもよい。図１１は、特徴値セットＣの一例を示す図である。同図において、奥行き値νと視差ｄとの関係を示す曲線Ｗ１０１が示されている。同図において、縦軸は奥行き値νで横軸は視差ｄである。曲線Ｗ１０１上の点として、特定の視差ｄ０、ｄ１、ｄ２、ｄ３、ｄ４、ｄ５に対応する奥行き値Ｃ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５が示されている。特徴値セットＣは、例えば、奥行き値Ｃ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５の集合である。
【００８３】
図１２は、非線形の場合の特性を示す情報が特徴値セットＣである場合におけるＤｅｐｔｈ特性情報ＤＰの一例を示す図である。同図において、ｄｅｐｔｈ＿ｎｏｎ＿ｌｉｎｅａｒ＿ｆｌａｇは視差から奥行き値への変換が線形か非線形かを示す変換フラグである。ｄｅｐｔｈ＿ｎｏｎ＿ｌｉｎｅａｒ＿ｆｌａｇが１の場合、すなわち、視差から奥行き値への変換が非線形の場合、奥行き値の数ｎｕｍ＿ｏｆ＿ｄｅｐｔｈ＿ｎｏｎ＿ｌｉｎｅａｒ＿ｐｏｉｎｔが格納されている。そして、その奥行き値の数だけ、視差とその視差に対応する奥行き値がそれぞれｎｏｎ＿ｌｉｎｅａｒ＿ｐａｒとｎｏｎ＿ｌｉｎｅａｒ＿ｄｅｐｔｈに格納されている。
【００８４】
図１３は、本実施形態における復号装置２００の構成を示す概略ブロック図である。図６と共通する要素には同一の符号を付し、その具体的な説明を省略する。復号装置２００は、Ｄｅｐｔｈ特性判定部１２０ｂと、最頻値抽出部１３０ｂと、予測画像生成部１４０ｂと、予測残差復元部２１０と、復号画像生成部１６０と、復号画像保持部１７０ｂとを備える。
【００８５】
Ｄｅｐｔｈ特性判定部１２０ｂは、図６のＤｅｐｔｈ特性判定部１２０と同様の機能を有するが以下の点で異なる。Ｄｅｐｔｈ特性判定部１２０ｂは、符号化装置１００から送信された符号化データＥＤを取得し、符号化データＥＤに含まれるＤｅｐｔｈ特性情報ＤＰを用いて、視差から奥行き値への変換が非線形か線形かを判定する。
【００８６】
予測画像生成部１４０ｂは、図６の予測画像生成部１４０と同様の機能を有するが、以下の点で異なる。予測画像生成部１４０ｂは、符号化装置１００から送信された符号化データＥＤを取得し、符号化データＥＤに含まれる予測モードＰＭを抽出する点が異なる。また、予測画像生成部１４０ｂは、生成した予測画像を示す予測画像情報ＰＩを復号画像生成部１６０のみへ出力する点が異なる。ここで、予測画像生成部１４０ｂが最頻値情報ＭＤを用いて予測画像を生成する処理は、図６の予測画像生成部１４０と同様であるので、その説明を省略する。
【００８７】
予測残差復元部２１０は、符号化データＥＤに含まれる予測残差変換係数ＲＣから予測残差を復元する。具体的には、例えば、符号化データＥＤが、予測残差が直交変換と量子化とが順に施されて生成されたデータである場合、予測残差復元部２１０は、予測残差変換係数ＲＣに対して逆量子化および逆直交変換を順に施すことで予測残差を復元する。予測残差復元部２１０は、復元した予測残差を示す復元予測残差情報ＤＲを復号画像生成部１６０へ出力する。
【００８８】
復号画像保持部１７０ｂは、図６の復号画像保持部１７０と同様の機能を有するが、以下の点で異なる。復号画像保持部１７０ｂは、復号画像生成部１６０が生成した復号画像を示す復号画像データＤＤを自装置の外部へ出力する。
【００８９】
図１４は、本実施形態における符号化装置１００の処理の流れの一例を示すフローチャートである。まず、予測モード決定部１１０は、予測モードＰＭを決定する（ステップＳ１０１）。次に、Ｄｅｐｔｈ特性判定部１２０は、Ｄｅｐｔｈ特性情報ＤＰに含まれる変換フラグを参照して、視差から奥行き値への変換が非線形か否か判定する（ステップＳ１０２）。視差から奥行き値への変換が非線形でない場合、すなわち線形である場合（ステップＳ１０２  ＮＯ）、予測画像生成部１４０は、隣接Ｄｅｐｔｈの平均値を予測値として算出し（ステップＳ１０３）、ステップＳ１０９の処理へ移行する。一方、視差から奥行き値への変換が非線形である場合（ステップＳ１０２  ＹＥＳ）、隣接Ｄｅｐｔｈの頻度分布の最頻値ｄｆを抽出し（ステップＳ１０４）、ステップＳ１０５に移行する。
【００９０】
ステップＳ１０５において、予測画像生成部１４０の条件判定部１４１は、最頻値ｄｆが予め決められた閾値ｄｔｈより大きいか否か判定する（ステップＳ１０５）。最頻値ｄｆが予め決められた閾値ｄｔｈ以下の場合（ステップＳ１０５  ＮＯ）、予測画像生成部１４０は、ステップＳ１０３の処理へ移行する。最頻値ｄｆが予め決められた閾値ｄｔｈより大きい場合（ステップＳ１０５  ＹＥＳ）、予測画像生成部１４０は、ステップＳ１０６の処理へ移行する。
【００９１】
予測画像生成部１４０は、予測対象ブロックに隣接する隣接画素のうち既に復号済みの画素の分だけ、ステップＳ１０６及びステップＳ１０７の処理を繰り返す。ステップＳ１０６において、予測画像生成部１４０の重み計算判定部１４２は、当該隣接画素の画素値である隣接Ｄｅｐｔｈの値ｐ’が最頻値ｄｆより大きいか否か判定する。隣接Ｄｅｐｔｈの値ｐ’が最頻値ｄｆより大きい場合（ステップＳ１０６  ＹＥＳ）、重み算出部１４３は、重み付け係数を決定する（ステップＳ１０７）。重み算出部１４３は、次に処理対象となる隣接画素がある場合、ステップＳ１０６の処理に戻り、次に処理対象となる隣接画素がない場合、ステップＳ１０８の処理へ移行する。
一方、隣接Ｄｅｐｔｈの値ｐ’が最頻値ｄｆ以下の場合（ステップＳ１０６  ＮＯ）、次に処理対象となる隣接画素がある場合、ステップＳ１０６の処理に戻り、次に処理対象となる隣接画素がない場合、ステップＳ１０８の処理へ移行する。
【００９２】
ステップＳ１０８において、予測画像生成部１４０の予測値算出部１４４は、重み付け係数を対応する隣接Ｄｅｐｔｈに乗じた値それぞれと、重み付け係数を算出しなかった隣接Ｄｅｐｔｈそれぞれとを合わせた平均を予測値として算出する。そして、予測値算出部１４４は、算出した予測値を予測対象ブロックに含まれる各画素の画素値とする予測画像を生成し、ステップＳ１０９の処理へ移行する。
【００９３】
ステップＳ１０９において、予測残差符号化部１５０は、奥行き画像データＤＭと予測画像との間で対応する画素値の差分を算出することで予測残差を生成する（ステップＳ１０９）。そして、予測残差符号化部１５０は、予測残差に対して直交変換と量子化を施して予測残差変換係数ＲＣを算出する。そして、予測残差符号化部１５０は、算出した予測残差変換係数ＲＣに対して逆量子化及び逆直交変換を順に施して復号予測残差情報ＤＲを算出する。次に、復号画像生成部１６０は、予測画像情報ＰＩと復号予測残差情報ＤＲに基づいて、復号画像を生成し、生成した復号画像を復号画像保持部１７０に記憶させる（ステップＳ１１０）。
【００９４】
次に、符号化装置１００は、全ての予測単位ブロックについて予測値を算出したか否か判定する（ステップＳ１１１）。全ての予測単位ブロックについて予測値を算出していない場合（ステップＳ１１１  ＮＯ）、符号化装置１００は、次の予測単位ブロックを予測対象ブロックとし（ステップＳ１１２）、ステップＳ１０２の処理へ移行する。一方、全ての予測単位ブロックについて予測値を算出した場合（ステップＳ１１１  ＹＥＳ）、データ生成部１８０は、Ｄｅｐｔｈ特性情報ＤＰ、予測モードＰＭ、予測残差を含む符号化データＥＤを生成する（ステップＳ１１３）。以上で、本フローチャートの処理を終了する。
【００９５】
図１５は、本実施形態における復号装置２００の処理の流れの一例を示すフローチャートである。まず、Ｄｅｐｔｈ特性判定部１２０ｂは、符号化装置１００から送信された符号化データＥＤからＤｅｐｔｈ特性情報ＤＰを取得する（ステップＳ２０１）。ステップＳ２０２〜ステップＳ２０８の処理は、ステップＳ１０２〜ステップＳ１０８の処理と同一であるのでその説明を省略する。
【００９６】
ステップＳ２０９において、予測残差復元部２１０は、予測残差変換係数ＲＣから予測残差を復元する。次に、復号画像生成部１６０は、予測画像と予測残差に基づいて復号画像を生成する（ステップＳ２１０）。次に、復号画像生成部１６０は、全ての予測単位ブロックについて復号したか否か判定する（ステップＳ２１１）。復号画像生成部１６０が全ての予測単位ブロックについて復号していない場合（ステップＳ２１１  ＮＯ）、復号画像生成部１６０は、次の予測単位ブロックを予測対象ブロックとし（ステップＳ２１２）、ステップＳ２０２の処理に戻る。復号画像生成部１６０が全ての予測単位ブロックについて復号した場合（ステップＳ２１１  ＹＥＳ）、復号画像保持部１７０ｂは復号画像データＤＤを自装置の外部へ出力する（ステップＳ２１３）。以上で、本フローチャートの処理を終了する。
【００９７】
以上により、本実施形態の予測画像生成部１４０及び１４０ｂは、一例として、奥行き値と視差の関係が非線形の場合で、かつ対象隣接画素の最頻値ｄｆが予め決められた閾値ｄｔｈより大きい場合、対象隣接画素の奥行き値のうち最頻値ｄｆを超える奥行き値が、該予測対象ブロックの予測値に貢献する割合を小さくする。
【００９８】
これにより、予測画像生成部１４０及び１４０ｂは、対象隣接画素の奥行き値のうち最頻値ｄｆを超える奥行き値が予測対象ブロックの予測値に貢献する割合を小さくすることができるので、最頻値ｄｆを超える奥行き値が突出した値をとっても、予測値が大きく変化することを防ぐことができる。その結果、予測画像生成部１４０及び１４０ｂは、奥行き画像（Ｄｅｐｔｈ  Ｍａｐ）を符号化または復号する際に生成する予測画像の誤差を低減することができるので、奥行き画像の符号化効率を改善することができる。
【００９９】
また、本実施形態における予測画像生成部１４０及び１４０ｂは、例えば、対象隣接画素の奥行き値のうち最頻値ｄｆを超える奥行き値に、最頻値ｄｆから離れるほど小さくなる重み付け係数を乗じる。そして、予測画像生成部１４０及び１４０ｂは、例えば、重み付け係数を乗じた後の値と対象隣接画素の奥行き値のうち最頻値ｄｆ以下の値との平均を該予測対象ブロックの予測値として算出する。これにより、予測画像生成部１４０及び１４０ｂは、最頻値ｄｆから離れるほど奥行き値に乗じる重み付け係数を小さくすることで、その奥行き値が予測値に貢献する割合を低くすることができる。それゆえ、最頻値ｄｆを超える奥行き値が突出した値をとっても、予測値が大きく変化することを防ぐことができる。その結果、予測画像生成部１４０及び１４０ｂは、奥行き画像（Ｄｅｐｔｈ  Ｍａｐ）を符号化または復号する際に生成する予測画像の誤差を低減することができるので、奥行き画像の符号化効率を改善することができる。
【０１００】
なお、本実施形態の映像システム１において、予測画像生成部１４０が符号化装置１００に含まれる構成について説明したが、これに限らず、映像システム１は、符号化装置１００の外部に、予測画像生成部１４０を備える予測画像生成装置を備える構成であってもよい。
また、本実施形態の映像システム１において、予測画像生成部１４０ｂが復号装置２００に含まれる構成について説明したが、これに限らず、映像システム１は、復号装置２００の外部に予測画像生成部１４０ｂを備える予測画像生成装置を備える構成であってもよい。
【０１０１】
また、複数の装置を備えるシステムが、本実施形態の符号化装置１００または復号装置２００の各処理を、それらの複数の装置で分散して処理してもよい。
また、本実施形態の符号化装置１００または復号装置２００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化装置１００または復号装置２００に係る上述した種々の処理を行ってもよい。
【０１０２】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１０３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１０４】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１０５】
１  映像システム
１００  符号化装置
１１０  予測モード決定部
１２０、１２０ｂ  Ｄｅｐｔｈ特性判定部
１３０、１３０ｂ  最頻値抽出部
１４０、１４０ｂ  予測画像生成部
１４１  条件判定部
１４２  重み計算判定部
１４３  重み算出部
１４４  予測値算出部
１５０  予測残差符号化部（符号化部）
１６０  復号画像生成部
１７０、１７０ｂ  復号画像保持部
１８０  データ生成部
２００  復号装置
２１０  予測残差復元部
【図１】
2014011631.tif 000005
【図２】
2014011631.tif 000006
【図４】
2014011631.tif 000007
【図５】
2014011631.tif 000008
【図６】
2014011631.tif 000009
【図７】
2014011631.tif 000010
【図８】
2014011631.tif 000011
【図９】
2014011631.tif 000012
【図１０】
2014011631.tif 000013
【図１１】
2014011631.tif 000014
【図１２】
2014011631.tif 000015
【図１３】
2014011631.tif 000016
【図１４】
2014011631.tif 000017
【図１５】
2014011631.tif 000018
【図３】
2014011631.tif 000019