(57)【要約】  視点から被写体までの距離を表す画素毎の深度値からなる距離画像をブロック毎に符号化する画像符号化装置において、セグメンテーション部は、前記被写体の画素毎の輝度値からなるテクスチャ画像のブロックを、前記輝度値に基づき前記画素からなるセグメントに区分し、画面内予測部は、前記距離画像の一のブロックに含まれる前記区分されたセグメント毎の深度値を、既に符号化した前記一のブロックに隣接するブロックに含まれる画素の深度値に基づいて定め、前記定めたセグメント毎の深度値を含む予測画像をブロック毎に生成する。
2012147740.tif 000002
【特許請求の範囲】
【請求項１】
視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に符号化する画像符号化装置において、
前記ブロックを、画素毎の輝度値に基づいてセグメントに区分するセグメンテーション部と、
前記セグメントの深度値の代表値を、既に符号化した隣接するブロックの画素の深度値に基づいて定める画面内予測部とを備えること
を特徴とする画像符号化装置。
【請求項２】
前記画面内予測部は、前記セグメントに含まれる画素と接している隣接ブロックの画素の深度値の平均値を、前記セグメントの深度値の代表値として定めること
を特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記画面内予測部は、前記セグメントを含むブロックの隣接ブロックの画素のうち、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めること
を特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記画面内予測部は、前記セグメントを含むブロックの隣接ブロックの画素のうち、ブロック境界に接し、かつ、前記セグメントに対応する画素の深度値の平均値を、前記セグメント毎の深度値の代表値として定めること
を特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記画面内予測部は、前記セグメントを含むブロックの、左側に隣接するブロックおよび上側に隣接するブロックに含まれる画素の深度値に基づいて、前記セグメントの深度値の代表値を定めること
を特徴とする請求項１に記載の画像符号化装置。
【請求項６】
前記画面内予測部は、前記セグメントに含まれる画素と接している左側及び上側の隣接ブロックの画素の深度値の平均値を、前記セグメントの深度値の代表値として定めること
を特徴とする請求項１に記載の画像符号化装置。
【請求項７】
前記画面内予測部は、前記セグメントを含むブロックの左側および上側の隣接ブロックの画素のうち、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めること
を特徴とする請求項１に記載の画像符号化装置。
【請求項８】
前記画面内予測部は、前記セグメントを含むブロックの左側および上側の隣接ブロックの画素のうち、ブロック境界に接し、かつ、前記セグメントに対応する画素の深度値の平均値を、前記セグメント毎の深度値の代表値として定めること
を特徴とする請求項１に記載の画像符号化装置。
【請求項９】
視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に符号化する画像符号化装置における画像符号化方法において、
前記画像符号化装置において、前記ブロックを画素毎の輝度値に基づいてセグメントに区分する第１の過程と、
前記画像符号化装置において、前記セグメントの深度値の代表値を、既に符号化した隣接するブロックの画素の深度値に基づいて定める第２の過程とを有すること
を特徴とする画像符号化方法。
【請求項１０】
視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に符号化する画像符号化装置が備えるコンピュータに、
前記ブロックを画素毎の輝度値に基づいてセグメントに区分する手順、
前記セグメントの深度値の代表値を、既に符号化した隣接するブロックの画素の深度値に基づいて定める手順、
を実行させるための画像符号化プログラム。
【請求項１１】
視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に復号する画像復号装置において、
前記ブロックを、画素毎の輝度値に基づいてセグメントに区分するセグメンテーション部と、
前記セグメントの深度値の代表値を、既に復号した隣接するブロックの画素の深度値に基づいて定める画面内予測部とを備えること
を特徴とする画像復号装置。
【請求項１２】
前記画面内予測部は、前記セグメントに含まれる画素と接している隣接ブロックの画素の深度値の平均値を、前記セグメントの深度値の代表値として定めること
を特徴とする請求項１１に記載の画像復号装置。
【請求項１３】
前記画面内予測部は、前記セグメントを含むブロックの隣接ブロックの画素のうち、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めること
を特徴とする請求項１１に記載の画像復号装置。
【請求項１４】
前記画面内予測部は、前記セグメントを含むブロックの隣接ブロックの画素のうち、ブロック境界に接し、かつ、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めること
を特徴とする請求項１１に記載の画像復号装置。
【請求項１５】
前記画面内予測部は、前記セグメントを含むブロックの、左に隣接するブロックおよび上に隣接するブロックに含まれる画素の深度値に基づいて、前記セグメントの深度値の代表値を定めること
を特徴とする請求項１１に記載の画像復号装置。
【請求項１６】
前記画面内予測部は、前記セグメントに含まれる画素と接している左側および上側の隣接ブロックの画素の深度値の平均値を、前記セグメントの深度値の代表値として定めること
を特徴とする請求項１１に記載の画像復号装置。
【請求項１７】
前記画面内予測部は、前記セグメントを含むブロックの左側および上側の隣接ブロックの画素のうち、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めること
を特徴とする請求項１１に記載の画像復号装置。
【請求項１８】
前記画面内予測部は、前記セグメントを含むブロックの左側および上側の隣接ブロックの画素のうち、ブロック境界に接し、かつ、前記セグメントに対応する画素の深度値の平均値を、前記セグメント毎の深度値の代表値として定めること
を特徴とする請求項１１に記載の画像復号装置。
【請求項１９】
視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に復号する画像復号装置における画像復号方法であって、
前記画像復号装置において、前記ブロックを画素毎の輝度値に基づいてセグメントに区分する第１の過程と、
前記画像復号装置において、前記セグメントの深度値の代表値を、既に復号した隣接するブロックの画素の深度値に基づいて定める第２の過程とを有すること
を特徴とする画像復号方法。
【請求項２０】
視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に復号する画像復号装置が備えるコンピュータに、
前記ブロックを画素毎の輝度値に基づいてセグメントに区分する手順、
前記セグメントの深度値の代表値を、既に復号した隣接するブロックの画素の深度値に基づいて定める手順、
を実行させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラムに関する。
本願は、２０１１年４月２５日に、日本に出願された特願２０１１−０９７１７６号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
被写体の三次元形状を、画像圧縮をしつつ記録又は送受信するために、テクスチャ画像と距離画像を用いる方法が提案されていた。テクスチャ画像（ｔｅｘｔｕｒｅ  ｍａｐ；「基準画像」、「平面画像」、又は「カラー画像」と言うことがある）とは、被写空間に含まれる被写体及び背景の色彩及び濃度（「輝度」と言うことがある）を表す信号のことであって、二次元平面に配置された画像の画素毎の信号からなる画像信号である。距離画像（ｄｅｐｔｈ  ｍａｐ、「デプスマップ」と言うことがある）とは、三次元の被写空間に含まれる被写体及び背景の画素毎の、視点（撮影装置等）からの距離に対応する信号値（「深度値」、「デプス値（ｄｅｐｔｈ）」）であって、二次元平面に配置された画素毎の信号値からなる画像信号である。距離画像を構成する画素は、テクスチャ画像を構成する画素と対応する。【０００３】
距離画像は、対応するテクスチャ画像とともに利用される。従来は、テクスチャ画像の符号化においては、既存の符号化方法（圧縮方法）を用い、距離画像とは独立に符号化を行っていた。他方、距離画像の符号化においては、テクスチャ画像と同様に画面内予測（フレーム内予測；ｉｎｔｒａ  ｆｒａｍｅ  ｐｒｅｄｉｃｔｉｏｎ）が行われ、テクスチャ画像とは独立に符号化を行っていた。例えば、非特許文献１の方法は、符号化対象のブロックと隣接するブロックの一部の画素値の平均値を予測値とするＤＣモードや、それらの画素間の画素値を補間して予測値を定めるＰｌａｎｅモードを含む。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ  ＳＴＡＮＤＡＲＩＺＡＴＩＯＮ  ＳＥＣＴＯＲ  ＯＦ  ＩＴＵ，Ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ  ｐｒｏｃｅｓｓ，“ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４  Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏ  ｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ”，ＩＮＴＥＲＮＡＴＩＯＮＡＬ  ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ  ＵＮＩＯＮ，２００３．５，ｐ．１００−１１０
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、距離画像は視点から被写体までの距離を表すため、同じ深度値を表す画素群の範囲が、テクスチャ画像における同じ輝度値を表す画素群の範囲よりも広く、その画素群の周縁部における深度値の変化が著しい傾向がある。従って、非特許文献１記載の符号化方法では、距離画像における隣接ブロック間の相関を活用できず予測精度が劣るため、情報量が十分に圧縮されないという問題点がある。【０００６】
本発明は上記の点に鑑みてなされたものであり、その目的は、上記の問題点を解消する距離画像の情報量を圧縮する画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に符号化する画像符号化装置において、前記ブロックを、画素毎の輝度値に基づいてセグメントに区分するセグメンテーション部と、前記セグメントの深度値の代表値を、既に符号化した隣接するブロックの画素の深度値に基づいて定める画面内予測部とを備えることを特徴とする画像符号化装置である。【０００８】
（２）本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記セグメントに含まれる画素と接している隣接ブロックの画素の深度値の平均値を、前記セグメントの深度値の代表値として定めることを特徴とする。【０００９】
（３）本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記セグメントを含むブロックの隣接ブロックの画素のうち、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めることを特徴とする。【００１０】
（４）本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記セグメントを含むブロックの隣接ブロックの画素のうち、ブロック境界に接し、かつ、前記セグメントに対応する画素の深度値の平均値を、前記セグメント毎の深度値の代表値として定めることを特徴とする。【００１１】
（５）本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記セグメントを含むブロックの、左側に隣接するブロックおよび上側に隣接するブロックに含まれる画素の深度値に基づいて、前記セグメントの深度値の代表値を定めることを特徴とする。【００１２】
（６）本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記セグメントに含まれる画素と接している左側及び上側の隣接ブロックの画素の深度値の平均値を、前記セグメントの深度値の代表値として定めることを特徴とする。【００１３】
（７）本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記セグメントを含むブロックの左側および上側の隣接ブロックの画素のうち、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めることを特徴とする。【００１４】
（８）本発明の他の態様は、上述の画像符号化装置であって、前記画面内予測部は、前記セグメントを含むブロックの左側および上側の隣接ブロックの画素のうち、ブロック境界に接し、かつ、前記セグメントに対応する画素の深度値の平均値を、前記セグメント毎の深度値の代表値として定めることを特徴とする。【００１５】
（９）本発明の他の態様は、視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に符号化する画像符号化装置における画像符号化方法において、前記画像符号化装置において、前記ブロックを画素毎の輝度値に基づいてセグメントに区分する第１の過程と、前記画像符号化装置において、前記セグメントの深度値の代表値を、既に符号化した隣接するブロックの画素の深度値に基づいて定める第２の過程とを有することを特徴とする画像符号化方法である。【００１６】
（１０）本発明の他の態様は、視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に符号化する画像符号化装置が備えるコンピュータに、前記ブロックを画素毎の輝度値に基づいてセグメントに区分する手順、前記セグメントの深度値の代表値を、既に符号化した隣接するブロックの画素の深度値に基づいて定める手順、を実行させるための画像符号化プログラムである。【００１７】
（１１）本発明の他の態様は、視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に復号する画像復号装置において、前記ブロックを、画素毎の輝度値に基づいてセグメントに区分するセグメンテーション部と、前記セグメントの深度値の代表値を、既に復号した隣接するブロックの画素の深度値に基づいて定める画面内予測部とを備えることを特徴とする画像復号装置である。【００１８】
（１２）本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記セグメントに含まれる画素と接している隣接ブロックの画素の深度値の平均値を、前記セグメントの深度値の代表値として定めることを特徴とする。【００１９】
（１３）本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記セグメントを含むブロックの隣接ブロックの画素のうち、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めることを特徴とする。【００２０】
（１４）本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記セグメントを含むブロックの隣接ブロックの画素のうち、ブロック境界に接し、かつ、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めることを特徴とする。【００２１】
（１５）本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記セグメントを含むブロックの、左に隣接するブロックおよび上に隣接するブロックに含まれる画素の深度値に基づいて、前記セグメントの深度値の代表値を定めることを特徴とする。【００２２】
（１６）本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記セグメントに含まれる画素と接している左側および上側の隣接ブロックの画素の深度値の平均値を、前記セグメントの深度値の代表値として定めることを特徴とする。【００２３】
（１７）本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記セグメントを含むブロックの左側および上側の隣接ブロックの画素のうち、前記セグメントに対応する画素の深度値の平均値を、前記セグメントの深度値の代表値として定めることを特徴とする。【００２４】
（１８）本発明の他の態様は、上述の画像復号装置であって、前記画面内予測部は、前記セグメントを含むブロックの左側および上側の隣接ブロックの画素のうち、ブロック境界に接し、かつ、前記セグメントに対応する画素の深度値の平均値を、前記セグメント毎の深度値の代表値として定めることを特徴とする。【００２５】
（１９）本発明の他の態様は、視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に復号する画像復号装置における画像復号方法であって、前記画像復号装置において、前記ブロックを画素毎の輝度値に基づいてセグメントに区分する第１の過程と、前記画像復号装置において、前記セグメントの深度値の代表値を、既に復号した隣接するブロックの画素の深度値に基づいて定める第２の過程とを有することを特徴とする画像復号方法である。【００２６】
（２０）本発明の他の態様は、視点から被写体までの距離を画素毎に表す深度値からなる距離画像をブロック毎に復号する画像復号装置が備えるコンピュータに、前記ブロックを画素毎の輝度値に基づいてセグメントに区分する手順、前記セグメントの深度値の代表値を、既に復号した隣接するブロックの画素の深度値に基づいて定める手順、を実行させるための画像復号プログラムである。
【発明の効果】
【００２７】
本発明によれば、距離画像の情報量を十分に圧縮することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態に係る３次元画像撮影システムを示す概略図である。
【図２】本実施形態に係る符号化装置を示す概略図である。
【図３】本実施形態に係るセグメンテーション部が行うセグメントに区分する処理を示すフローチャートである。
【図４】本実施形態に係る隣接セグメントの一例を示す概念図である。
【図５】本実施形態に係る参照画像ブロックと処理対象ブロックの一例を示す概念図である。
【図６】本実施形態に係る参照画像ブロックと処理対象ブロックのその他の例を示す概念図である。
【図７】本実施形態に係るセグメントと画素値候補の一例を示す概念図である。
【図８】本実施形態に係るセグメントと画素値候補のその他の例を示す概念図である。
【図９】本実施形態に係る画像符号化装置が行う画像符号化処理を示すフローチャートである。
【図１０】本実施形態に係る画像復号装置の構成を示す概略図である。
【図１１】本実施形態に係る画像復号装置が行う画像復号処理を示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本発明の実施形態に係る３次元画像撮影システムを示す概略図である。この画像撮影システムは、撮影装置３１、撮影装置３２、画像前置処理部４１及び画像符号化装置１を含んで構成される。
撮影装置３１及び撮影装置３２は、互いに異なる位置（視点）に設置され同一の視野に含まれる被写体の画像を予め定めた時間間隔で撮影する。撮影装置３１及び撮影装置３２は、撮影した画像をそれぞれ画像前置処理部４１に出力する。
【００３０】
画像前置処理部４１は、撮影装置３１及び撮影装置３２のいずれか一方、例えば撮影装置３１から入力された画像をテクスチャ画像と定める。画像前置処理部４１は、テクスチャ画像と、その他の撮影装置３２から入力された画像との視差を画素毎に算出し、距離画像を生成する。距離画像では、画素毎に、視点から被写体までの距離を表す深度値が定められている。例えば、国際標準化機構／国際電機標準会議（ＩＳＯ／ＩＥＣ）のワーキンググループであるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が定めた国際規格ＭＰＥＣ−Ｃ  ｐａｒｔ３では、深度値を８ビット（２５６階層）で表すことを規定している。即ち、距離画像は、画素ごとの深度値を用いて濃淡を表す。また、視点から被写体までの距離が近いほど、深度値がより大きくなるため、より高い輝度の（より明るい）画像を構成する。
画像前置処理部４１は、テクスチャ画像と生成した距離画像を画像符号化装置１に出力する。
【００３１】
なお、本実施形態では、画像撮影システムが備える撮影装置の数は２台に限らず、３台以上であってもよい。また、画像符号化装置１が入力されるテクスチャ画像及び距離画像は、撮影装置３１及び撮影装置３２が撮影した画像に基づくものでなくともよく、予め合成された画像であってもよい。
【００３２】
図２は、本実施形態に係る画像符号化装置１の概略ブロック図である。
画像符号化装置１は、距離画像入力部１００、動きベクトル検出部１０１、画面記憶部１０２、動き補償部１０３、重み付け予測部１０４、セグメンテーション部１０５、画面内予測部１０６、符号化制御部１０７、スイッチ１０８、減算部１０９、ＤＣＴ部１１０、逆ＤＣＴ部１１３、加算部１１４、可変長符号化部１１５及びテクスチャ画像符号化部１２１を含んで構成される。
【００３３】
距離画像入力部１００は、画像符号化装置１の外部から距離画像をフレーム毎に入力され、入力された距離画像からブロック（「距離画像ブロック」と言う）を抽出する。ここで距離画像を構成する画素は、テクスチャ画像符号化部１２１へ入力されるテクスチャ画像を構成する画素と対応するものである。距離画像入力部１００は、抽出した距離画像ブロックを動きベクトル検出部１０１、符号化制御部１０７及び減算部１０９に出力する。
距離画像ブロックは、予め定めた数の画素（例えば、水平方向１６画素×垂直方向１６画素）からなる。
【００３４】
距離画像入力部１００は、ラスタースキャンの順序で距離画像ブロックを抽出するブロックの位置を、各ブロックが重ならないようにシフトさせる。即ち、距離画像入力部１００は、距離画像ブロックを抽出するブロックをフレームの左上端から順次、ブロックの水平方向の画素数だけ、右に移動させる。距離画像入力部１００は、距離画像ブロックを抽出するブロックの右端がフレームの右端に達した後、そのブロックを垂直方向の画素数だけ下で、かつフレームの左端に移動させる。距離画像入力部１００は、このようにして距離画像ブロックを抽出するブロックがフレームの右下に達するまで移動させる。
【００３５】
動きベクトル検出部１０１は、距離画像入力部１００から距離画像ブロックを入力され、画面記憶部１０２から参照画像を構成するブロック（参照画像ブロック）を読み出す。
参照画像ブロックは、距離画像ブロックと同一個数の水平方向及び垂直方向の画素からなる。動きベクトル検出部１０１は、入力された距離画像ブロックの座標と対応する参照画像ブロックとの座標との差分を動きベクトルとして検出する。動きベクトル検出部１０１は、動きベクトルを検出するために、例えばＩＴＵ−Ｔ  Ｈ．２６４規格書に記載されている公知の方法を用いることができるが、以下のこの点の説明を行う。
【００３６】
動きベクトル検出部１０１は、画面記憶部１０２に記憶されている参照画像のフレームから参照画像ブロックを読み出す位置を、距離画像ブロックの位置から予め設定した範囲内において水平方向又は垂直方向に１画素ずつ移動させる。動きベクトル検出部１０１は、距離画像ブロックに含まれる画素毎の信号値と読み出した参照画像ブロックに含まれる画素毎の信号との類似性や相関性を示す指標値、例えば、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ；差分絶対値和）を算出する。ＳＡＤの値が小さいほど、距離画像ブロックに含まれる画素毎の信号値と読み出した参照画像ブロックに含まれる画素毎の信号とが類似するという関係がある。そこで、動きベクトル検出部１０１は、ＳＡＤを最小とするものから予め設定された数（例えば２）の参照画像ブロックを、抽出した距離画像ブロックと対応する参照画像ブロックと定める。動きベクトル検出部１０１は、入力された距離画像ブロックの座標と定めた参照画像ブロックの座標に基づき動きベクトルを算出する。
動きベクトル検出部１０１は、ブロック毎に算出した動きベクトルを示す動きベクトル信号を可変長符号化部１１５に出力し、読み出した参照画像ブロックを動き補償部１０３に出力する。
【００３７】
画面記憶部１０２は、加算部１１４から入力された参照画像ブロックを、対応するフレームにおけるブロック位置に配置して、記憶する。このように参照画像ブロックを配置して構成したフレームの画像信号が参照画像である。なお、画面記憶部１０２は、予め設定された数（例えば６）以前の過去のフレームの参照画像を削除する。
動き補償部１０３は、動きベクトル検出部１０１から入力された参照画像ブロックの位置を、それぞれ入力された距離画像ブロックの位置として定める。これにより、動き補償部１０３は、その参照画像ブロックの位置を、動きベクトル検出部１０１が検出した動きベクトルに基づいて補償することができる。動き補償部１０３は、位置を定めた参照画像ブロックを重み付け予測部１０４に出力する。
【００３８】
重み付け予測部１０４は、動き補償部１０３から入力された複数の参照画像ブロックの各々に重み付け係数を乗じて加算して、重み付け予測画像ブロックを生成する。重み付け係数は、予め設定された重み係数であってもよいし、予めコードブックに記憶された重み係数のパターンの中から選択されたパターンであってもよい。重み付け予測部１０４は、生成した重み付け予測画像ブロックを符号化制御部１０７及びスイッチ１０８に出力する。
【００３９】
テクスチャ画像は、テクスチャ画像符号化部１２１へ入力される。セグメンテーション部１０５は、テクスチャ画像符号化部１２１から、復号テクスチャ画像ブロックを入力される。なお、復号テクスチャ画像ブロックは、元のテクスチャ画像を示すように復号されたテクスチャ画像を構成する。セグメンテーション部１０５へ入力される復号テクスチャ画像ブロックは、距離画像入力部１００が出力する距離画像ブロックと画素毎に対応するものである。セグメンテーション部１０５は、復号テクスチャ画像ブロックに含まれる画素毎の輝度値に基づき、その１又は複数の画素からなる群であるセグメントに区分する。
セグメンテーション部１０５は、各ブロックに含まれる画素が属するセグメントを示すセグメント情報を画面内予測部１０６に出力する。
セグメンテーション部１０５が、元のテクスチャ画像をセグメントに区分するのではなく、復号テクスチャ画像ブロックをセグメントに区分するのは、復号側でも、得られる情報のみを用いて符号化品質を最適化するためである。
【００４０】
次に、セグメンテーション部１０５が1つのブロックをセグメントに区分する（「セグメンテーション」と言うことがある）処理について説明する。
図３は、本実施形態におけるセグメントに区分する処理を示すフローチャートである。
（ステップＳ１０１）セグメンテーション部１０５は、ブロックを構成する画素毎に、その画素が属するセグメントの番号（セグメント番号）ｉを、その画素の座標とし、かつ、処理の有無を示す処理フラグを０（ゼロ；未処理を示す値）と初期設定する。また、セグメンテーション部１０５は、後述するセグメント毎の代表値間距離ｄの最小値ｍを初期設定する。その後、ステップＳ１０２に進む。
【００４１】
復号テクスチャ画像が、例えば、赤色の輝度値を示す信号Ｒ、緑色の輝度値を示す信号Ｇと青色の輝度値を示す信号Ｂを用いて示すＲＧＢ信号である場合には、信号値Ｒ、Ｇ、Ｂの組である色空間ベクトル（Ｒ，Ｇ，Ｂ）が画素毎の色空間を示す。なお、本実施形態では、復号テクスチャ画像はＲＧＢ信号に限らず、他の表色系に基づく信号、例えばＨＳＶ信号、Ｌａｂ信号、ＹＣｂＣｒ信号であってもよい。
【００４２】
（ステップＳ１０２）セグメンテーション部１０５は、そのブロックにおいて処理フラグを参照して未処理のセグメントの有無を判断する。セグメンテーション部１０５は、未処理のセグメントがあると判断したとき（ステップＳ１０２  Ｙ）、ステップＳ１０３に進む。セグメンテーション部１０５は、未処理のセグメントがないと判断したとき（ステップＳ１０２  Ｎ）であり、セグメンテーション処理を終了する。
【００４３】
（ステップＳ１０３）セグメンテーション部１０５は、処理対象のセグメントｉを未処理のセグメントのいずれかに変更する。処理対象のセグメントを変更する際、セグメンテーション部１０５は、例えばラスタースキャンの順序で変更する。この順序では、セグメンテーション部１０５は、前回処理したセグメントの上右端の画素を基準画素とし、その右側に隣接する未処理のセグメントを処理対象とする。処理対象のセグメントが存在しない場合には、処理対象のセグメントが見つかるまで基準画素を１画素ずつ右側に順次移動させる。基準画素がブロックの右端の画素に達しても、処理対象のセグメントが見つからない場合には、基準画素をブロックの左端の１画素下の画素に移動させる。このようにして、処理対象のセグメントが見つかるまで基準画素を移動させる処理を繰り返す。
なお、処理済のセグメントが存在しない初期において、セグメンテーション部１０５は、ブロックの左上端の画素を処理対象のセグメントと定める。その後、ステップＳ１０４に進む。
【００４４】
（ステップＳ１０４）セグメンテーション部１０５は、以下のステップＳ１０５−Ｓ１０８を処理対象のセグメントｉに隣接する隣接セグメントｓ毎に繰り返す。
（ステップＳ１０５）セグメンテーション部１０５は、処理対象のセグメントｉの代表値と隣接セグメントｓの代表値との間の距離値ｄを算出する。
セグメント毎の代表値は、セグメントに含まれる画素毎の色空間ベクトルの平均値でもよいし、そのセグメントに含まれる１つの画素（例えば、セグメントの最も左上にある画素、セグメントの重心又は最も近接する画素）における色空間ベクトルでもよい。なお、セグメントに含まれる画素が1個しかない場合には、その画素における色空間ベクトルが代表値となる。
距離値ｄは、処理対象のセグメントｉの代表値と隣接セグメントｓの代表値との間の類似度を示す指標値、例えばユークリッド距離である。本実施形態では、距離値ｄは、ユークリッド距離以外にも、市街地距離、ミンコフスキー距離、チェビシェフ距離、マハラノビス距離のいずれでもよい。その後、ステップＳ１０６に進む。
【００４５】
（ステップＳ１０６）セグメンテーション部１０５は、距離値ｄが最小値ｍよりも小さいか否か判断する。セグメンテーション部１０５が、距離値ｄが最小値ｍよりも小さいと判断した場合（ステップＳ１０６  Ｙ）、ステップＳ１０７に進む。セグメンテーション部１０５が、距離値ｄが最小値ｍと等しい、又は最小値ｍより大きいと判断した場合（ステップＳ１０６  Ｎ）、ステップＳ１０８に進む。
（ステップＳ１０７）セグメンテーション部１０５は、隣接セグメントｓが対象セグメントｉに属すると判断する。即ち、セグメンテーション部１０５は、隣接セグメントｓを対象セグメントｉと決定する。また、セグメンテーション部１０５は、最小値ｍを距離ｄで置き換える。その後、ステップＳ１０８に進む。
（ステップＳ１０８）セグメンテーション部１０５は、対象セグメントｉに隣接する隣接セグメントｓを変更する。セグメンテーション部１０５が、隣接セグメントｓを変更する処理において、ステップＳ１０３における処理対象のセグメントｉの変更と同様な処理を行ってもよい。但し、本実施形態では、隣接セグメントｓとは、対象セグメントｉに含まれる画素と垂直方向又は水平方向の何れか一方の座標が等しく、その他方の座標が１画素分異なる画素を含むセグメントを指す。
【００４６】
図４は、本実施形態における隣接セグメントの一例を示す概念図である。
図４の左図、中央図、及び右図は、一例として、水平方向４画素×垂直方向４画素からなるブロックを示す。図４の左図において、セグメンテーション部１０５は、最上行左から２列目の画素Ｂと、上から２行目左から２列目の画素Ａは隣接すると判断する。図３の中央図において、セグメンテーション部１０５は、上から２行目左から２列目の画素Ｃと、上から２行目左から３列目の画素Ｄは隣接すると判断する。図３の右図において、セグメンテーション部１０５は、最上行左から３列目の画素Ｅと、上から２行目左から２列目の画素Ｆは隣接しないと判断する。即ち、セグメンテーション部１０５は、少なくとも一辺を挟んでいる画素同士を隣接していると判断する。
図３に戻り、セグメンテーション部１０５は、他の隣接セグメントを発見できた場合には、発見した隣接セグメントを新たな隣接セグメントとして、ステップＳ１０５に戻る。他の隣接セグメントを発見できなかった場合には、ステップＳ１０９に進む。
【００４７】
（ステップＳ１０９）セグメンテーション部１０５は、新たに対象セグメントｉと決定した隣接セグメントがある場合、対象セグメントｉと新たに対象セグメントｉと決定した隣接セグメントを併合（「マージ」と言うことがある）する。即ち、セグメンテーション部１０５は、対象セグメントｉと決定した隣接セグメントに含まれる各画素が属するセグメントを対象セグメントｉとする。また、セグメンテーション部１０５は、併合後の対象セグメントｉの代表値をステップＳ１０５で述べた方法に基づいて定める。この各画素が属するセグメントを示す情報が前述のセグメント情報を構成する。また、セグメンテーション部１０５は、対象セグメントｉに属する画素の処理フラグを１（処理済であることを示す）と設定する。その後、ステップＳ１０２に進む。
【００４８】
なお、セグメンテーション部１０５は、１個の参照画像ブロックについて図２に示すセグメンテーション処理を１回に限らず、複数回実行して各セグメントの大きさを拡大してもよい。
また、セグメンテーション部１０５は、図３のステップＳ１０６において、さらに距離値ｄが予め設定した距離の閾値Ｔよりも小さいか否か判断し、距離値ｄが最小値ｍよりも小さく、かつ、距離値ｄが予め設定した距離の閾値Ｔよりも小さいと判断した場合（ステップＳ１０６  Ｙ）、ステップＳ１０７に進むようにしてもよい。また、セグメンテーション部１０５は、距離値ｄが最小値ｍと等しい、もしくは最小値ｍよりも大きい、又は、距離値ｄが予め設定した距離の閾値Ｔと等しい、もしくは閾値Ｔよりも大きいと判断した場合（ステップＳ１０６  Ｎ）、ステップＳ１０８に進むようにしてもよい。
このようにすることで、隣接セグメントｓの代表値と対象セグメントｉの代表値の間の距離が所定の値の範囲内にある場合に限り、セグメンテーション部１０５は、隣接セグメントｓを対象セグメントｉに併合することができる。
【００４９】
なお、図３のステップＳ１０７において、セグメンテーション部１０５は、対象セグメントｉに属すると判断した隣接セグメントｓを、ステップＳ１０９で述べた対象セグメントｉに併合する処理を行ってもよい。その場合には、セグメンテーション部１０５は、対象セグメントｉの代表値を、隣接セグメントｓを併合しても変更せず、ステップＳ１０６において上述の閾値Ｔを併用した判断を行う。これにより、セグメンテーション部１０５は、図３に示すセグメンテーション処理を反復させずに、セグメントを併合することができる。
【００５０】
図２に戻り、画面内予測部１０６は、セグメンテーション部１０５からブロック毎のセグメント情報が入力され、画面記憶部１０２から参照画像ブロックを読み出す。画面内予測部１０６が読み出す参照画像ブロックは、既に符号化を行ったブロックであって、現在処理対象となっているフレームの参照画像を構成するブロックである。例えば、画面内予測部１０６が読み出す参照画像ブロックは、現在処理対象となっているブロックの左に隣接する参照画像ブロックと上に隣接する参照画像ブロックである。
【００５１】
画面内予測部１０６は、入力されたセグメント情報と読み出した参照画像ブロックに基づき画面内予測を行い、画面内予測画像ブロックを生成する。まず、画面内予測部１０６は処理対象ブロックのうち参照画像ブロックに隣接する（又は予め定めた近接する）画素の画素値候補（深度値）として、隣接する参照画像ブロックに含まれる（好ましくは、最も近接する）画素の信号値（深度値）と定める。
【００５２】
ここで、本実施形態における画面内予測部１０６が画素値候補を定める処理について説明する。
図５は、本実施形態に係る参照画像ブロックと処理対象ブロックの一例を示す概念図である。
図５において、下段の右側のブロックｍｂ１は処理対象ブロックを示し、下段の左側のブロックｍｂ２及び上段のブロックｍｂ３は、各々読み出された参照画像ブロックを示す。
図５のブロックｍｂ３の最下行の各画素からブロックｍｂ１の最上行の対応する列の画素への矢印は、画面内予測部１０６がブロックｍｂ１の最上行の各画素の深度値をブロックｍｂ３の最下行の対応する画素の深度値と定めることを示す。図５のブロックｍｂ２の最右列の上から２行目から最下行までの各画素からブロックｍｂ１の最左列の対応する行の画素への矢印は、画面内予測部１０６がブロックｍｂ１の最左列の各画素の深度値をブロックｍｂ２の最右列の対応する画素の深度値と定めることを示す。
なお、ブロックｍｂ１の左上端の画素の深度値を、ブロックｍｂ２の右上端の画素の深度値と定めてもよい。
【００５３】
画面内予測部１０６は、画素値候補を定める際に処理対象ブロックの左隣の参照画像ブロック、処理対象ブロックの上隣の参照画像ブロックの他、処理対象ブロックの右上隣の参照画像ブロックに含まれる画素の深度値を用いてもよい。
図６は、本実施形態に係る参照画像ブロックと処理対象ブロックのその他の例を示す概念図である。
図６において、ブロックｍｂ１、ｍｂ２及びｍｂ３は図５と同様である。図６の上段右側のブロックｍｂ４は、読み出された参照画像ブロックを示す。図６のブロックｍｂ４の最下行第２列から最右列までの各画素から、各々対応する画素としてブロックｍｂ１の最右列第２行から最下行までの各画素への矢印は、画面内予測部１０６が、ブロックｍｂ１の最右列第２行から最下行までの各画素の深度値を各々ｍｂ４の最下行第２列から最右列までの各画素の深度値と定めることを示す。
【００５４】
次に、画面内予測部１０６は、入力されたセグメント情報を示すセグメントが、画素値候補を含む場合、その画素値候補に基づいて、そのセグメントの代表値を定める。
例えば、画面内予測部１０６は、あるセグメントに含まれる画素値候補の平均値を代表値と定めてもよいし、そのセグメントに含まれる一つの画素における画素値候補を代表値と定めてもよい。あるセグメントが複数の同一の画素値候補を含む場合には、画面内予測部１０６は、画素数が最も多い画素値候補をそのセグメントの代表値と定めてもよい。
そして、画面内予測部１０６は、そのセグメントに含まれる各画素の深度値を、その定めた代表値に定める。
【００５５】
図７は、本実施形態に係るセグメントと画素値候補の一例を示す概念図である。
図７においてブロックｍｂ１は、処理対象ブロックを示す。ブロックｍｂ１の左上側の網掛け部分の画素は、セグメントＳ１を示す。ブロックｍｂ１の最左段及び最上行の各画素に向かう矢印は、それらの画素について画素値候補が定められたことを示す。ここで、画面内予測部１０６は、セグメントＳ１に含まれる、最左段第１行−第８行の画素及び最上行第２列−第１３列の画素の画素値候補に基づいて、セグメントＳ１の代表値を定める。
図８は、本実施形態に係るセグメントと画素値候補のその他の例を示す概念図である。
図８においてブロックｍｂ１は、処理対象ブロックを示す。ブロックｍｂ１の右上から左中央に広がる網掛け部分の画素は、セグメントＳ２を示す。ブロックｍｂ１の最左段及び最上行の各画素に向かう矢印は、それらの画素について画素値候補が定められたことを示す。ここで、画面内予測部１０６は、セグメントＳ２に含まれる、最左段第９行−第１２行の画素及び最上行第１３列−第１５列の画素の画素値候補に基づいて、セグメントＳ２の代表値を定める。
【００５６】
次に、画面内予測部１０６は、入力されたセグメント情報を示すセグメントが、画素値候補を含まない場合、処理対象ブロックの右上端の画素（以下、右上端の画素と呼ぶ）に対する画素値候補、そのブロックの左下端の画素（以下、左下端の画素と呼ぶ）に対する画素値候補、又はそれらの両方に基づいて、そのセグメントに含まれる画素の深度値を定める。
例えば、画面内予測部１０６は、そのセグメントに含まれる画素の深度値を、右上端画素に対する画素値候補又は左下端画素に対する画素値候補と定める。または、画面内予測部１０６は、そのセグメントに含まれる画素の深度値を、右上端画素に対する画素値候補と左下端画素に対する画素値候補の平均値と定めてもよい。または、画面内予測部１０６は、そのセグメントに含まれる画素と右上端画素又は左下端画素までの各距離に応じた重み係数で、それぞれの画素値候補を線形補間した値を、そのセグメントに含まれる画素の深度値と定めてもよい。
【００５７】
このようにして、画面内予測部１０６は、各セグメントに含まれる画素の深度値を定めて、定めた画素毎の深度値を表す画面内予測画像ブロックを生成する。
なお、符号化対象の距離画像ブロックが、フレームの最左列に位置している場合には、同一フレーム内の符号化済みの左側に隣接する参照画像ブロックが存在しない。また、符号化対象の距離画像ブロックが、フレームの最上行に位置している場合には、同一フレーム内の符号化済みの上側に隣接する参照画像ブロックが存在しない。このような場合には、画面内予測部１０６は、同一フレーム内の符号化済みの参照画像ブロックがあれば、そのブロックに含まれる画素の深度値を用いる。
【００５８】
例えば、符号化対象の距離画像ブロックが、フレームの最上行に位置している場合には、画面内予測部１０６は、そのブロックにおける最上行の第２列から第１６列の画素の距離値として、左側に隣接する参照画像ブロックの最右列の第２行から第１６行の画素の距離値を用いる。また、符号化対象の距離画像ブロックが、フレームの最左列に位置している場合には、画面内予測部１０６は、そのブロックにおける最左列の第２行から第１６行の画素の距離値として、上側に隣接する参照画像ブロックの最下列の第２列から第１６列の画素の距離値を用いる。
【００５９】
図２に戻り、画面内予測部１０６は、生成した画面内予測画像ブロックを符号化制御部１０７及びスイッチ１０８に出力する。
なお、符号化対象の距離画像ブロックが、フレームの左上端に位置している場合には、同一フレームの参照画像ブロックが存在しないため、画面内予測部１０６は、画面内予測処理を行うことができない。従って、画面内予測部１０６は、そのような場合には、画面内予測処理を行わない。
【００６０】
符号化制御部１０７は、距離画像入力部１００から距離画像ブロックを入力される。符号化制御部１０７は、重み付け予測部１０４から重み付け予測画像ブロックを入力され、画面内予測部１０６から画面内予測ブロックが入力される。
符号化制御部１０７は、抽出した距離画像ブロックと入力された重み付け予測画像ブロックに基づき重み付け予測残差信号を算出する。符号化制御部１０７は、抽出した距離画像ブロックと入力された画面内予測画像ブロックに基づき画面内予測残差信号を算出する。
符号化制御部１０７は、算出した重み付け予測残差信号の大きさと画面内予測残差信号の大きさに基づき、例えば予測残差信号が小さいほうの予測方式（重み付け予測又は画面内予測のいずれか）を決定する。符号化制御部１０７は、決定した予測方式を示す予測方式信号をスイッチ１０８及び可変長符号化部１１５に出力する。
【００６１】
なお、符号化制御部１０７は、各予測方式について公知のコスト関数を用いて算出したコストが最小となる予測方式を決定してもよい。ここで、符号化制御部１０７は、重み付け予測残差信号に基づき重み付け予測残差信号の情報量を算出し、重み付け予測残差信号とその情報量に基づいて重み付け予測コストを算出する。また、符号化制御部１０７は、画面内予測残差信号に基づき画面内予測残差信号の情報量を算出し、重み付け予測残差信号とその情報量に基づいて重み付け予測コストを算出する。
また、符号化制御部１０７は、既存の画面内予測モード（例えば、ＤＣモード又はＰｌａｎｅモード）の１つを示す予測方式信号の信号値として上述の画面内予測を割り当ててもよい。
【００６２】
符号化対象の距離画像ブロックが、フレームの左上端に位置している場合には、画面内予測部１０６は、画面内予測処理を行わない。そのため、符号化制御部１０７は、予測方式を重み付け予測と決定し、重み付け予測を示す予測方式信号をスイッチ１０８及び可変長符号化部１１５に出力する。
【００６３】
スイッチ１０８は、２接点ａ、ｂを備え、可動切片が接点ａに倒れていると、重み付け予測部１０４から重み付け予測画像ブロックを入力され、接点ｂに倒れていると、画面内予測部１０６から画面内予測画像ブロックを入力され、符号化制御部１０７から予測方式信号を入力される。スイッチ１０８は、入力された予測方式信号に基づき入力された重み付け予測画像ブロックと画面内予測画像ブロックのいずれかを予測画像ブロックとして減算部１０９及び加算部１１４に出力する。
即ち、予測方式信号が重み付け予測を示す場合には、スイッチ１０８は、重み付け予測画像ブロックを予測画像ブロックとして出力する。予測方式信号が画面内予測を示す場合には、スイッチ１０８は、画面内予測画像ブロックを予測画像ブロックとして出力する。なお、スイッチ１０８は、符号化制御部１０７により制御される。
【００６４】
減算部１０９は、距離画像入力部１００から入力された距離画像ブロックを構成する画素の距離値からスイッチ１０８から入力された予測画像ブロックを構成する画素の距離値を各々減算し、残差信号ブロックを生成する。減算部１０９は生成した残差信号ブロックをＤＣＴ部１１０に出力する。
ＤＣＴ部１１０は、残差信号ブロックを構成する画素の信号値に２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）を行って周波数領域信号に変換する。ＤＣＴ部１１０は、変換した周波数領域信号を逆ＤＣＴ部１１３及び可変長符号化部１１５に出力する。
【００６５】
逆ＤＣＴ部１１３は、ＤＣＴ部１１０から入力された周波数領域信号に２次元逆ＤＣＴ（Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ；離散コサイン逆変換）を行って残差信号ブロックに変換する。逆ＤＣＴ部１１３は、変換した残差信号ブロックを加算部１１４に出力する。
加算部１１４は、スイッチ１０８から入力された予測信号ブロックを構成する画素の距離値と逆ＤＣＴ部１１３から入力された残差信号ブロックを構成する画素の距離値を各々加算して、参照信号ブロックを生成する。加算部１１４は、生成した参照信号ブロックを画面記憶部１０２に出力して、記憶させる。
【００６６】
可変長符号化部１１５は、動きベクトル検出部１０１から動きベクトル信号を、符号化制御部１０７から予測方式符号を、ＤＣＴ部１１０から周波数領域信号を入力される。可変長符号化部１１５は、入力された周波数領域信号をアダマール変換し、変換して生成された信号を、より少ない情報量となるように圧縮符号化して圧縮残差信号を生成する。この圧縮符号化の一例として、可変長符号化部１１５は、エントロピー符号化を行う。可変長符号化部１１５は、圧縮残差信号、入力された動きベクトル信号及び予測方式信号を距離画像符号として画像符号化装置１の外部に出力する。予測方式が予め定められていれば、この信号を距離画像信号に含めなくてもよい。
【００６７】
テクスチャ画像符号化部１２１は、画像符号化装置１の外部からテクスチャ画像をフレーム毎に入力され、各フレームを構成するブロック毎に公知の画像符号化方法、例えばＩＴＵ−Ｔ  Ｈ．２６４規格書に記載された符号化方法を用いて符号化する。テクスチャ画像符号化部１２１は、符号化して生成したテクスチャ画像符号を画像符号化装置１の外部に出力する。テクスチャ画像符号化部１２１は、符号化の過程で生成した参照信号ブロックを復号テクスチャ画像ブロックとしてセグメンテーション部１０５に出力する。
【００６８】
次に、本実施形態に係る画像符号化装置１が行う画像符号化処理について説明する。
図９は、本実施形態に係る画像符号化装置１が行う画像符号化処理を示すフローチャートである。
（ステップＳ２０１）距離画像入力部１００は、画像符号化装置１の外部から距離画像をフレーム毎に入力され、入力された距離画像から距離画像ブロックを抽出する。距離画像入力部１００は、抽出した距離画像ブロックを動きベクトル検出部１０１、符号化制御部１０７及び減算部１０９に出力する。
テクスチャ画像符号化部１２１は、画像符号化装置１の外部からテクスチャ画像をフレーム毎に入力され、各フレームを構成するブロック毎に公知の画像符号化方法を用いて符号化する。テクスチャ画像符号化部１２１は、符号化によって生成したテクスチャ画像符号を画像符号化装置１の外部に出力する。テクスチャ画像符号化部１２１は、符号化の過程で生成した参照信号ブロックを復号テクスチャ画像ブロックとしてセグメンテーション部１０５に出力する。
その後、ステップＳ２０２に進む。
【００６９】
（ステップＳ２０２）フレーム内の各ブロックについて、ステップＳ２０３−ステップＳ２１５を実行する。
（ステップＳ２０３）動きベクトル検出部１０１は、距離画像入力部１００から距離画像ブロックが入力され、画面記憶部１０２から参照画像ブロックを読み出す。動きベクトル検出部１０１は、読み出した参照画像ブロックから入力された距離画像ブロックとの指標値を最小にするものから予め定めた個数の参照画像ブロックを決定する。動きベクトル検出部１０１は、決定した参照画像ブロックの座標と入力された距離画像ブロックの座標との差分を動きベクトルとして検出する。
動きベクトル検出部１０１は、検出した動きベクトルを示す動きベクトル信号を可変長符号化部１１５に出力し、読み出した参照画像ブロックを動き補償部１０３に出力する。その後、ステップＳ２０４に進む。
【００７０】
（ステップＳ２０４）動き補償部１０３は、動きベクトル検出部１０１から入力された参照画像ブロックの位置を、それぞれ入力された距離画像ブロックの位置と定める。動き補償部１０３は、位置を定めた参照画像ブロックを重み付け予測部１０４に出力する。その後、ステップＳ２０５に進む。
（ステップＳ２０５）重み付け予測部１０４は、動き補償部１０３から入力された参照画像ブロックに各々重み付け係数を乗じて加算して、重み付け予測画像ブロックを生成する。重み付け予測部１０４は、生成した重み付け予測画像ブロックを符号化制御部１０７及びスイッチ１０８に出力する。その後、ステップＳ２０６に進む。
【００７１】
（ステップＳ２０６）セグメンテーション部１０５は、テクスチャ画像符号化部１２１から復号テクスチャ画像ブロックを入力される。セグメンテーション部１０５は、復号テクスチャ画像ブロックに含まれる画素毎の輝度値に基づき、その画素の群であるセグメントに区分する。セグメンテーション部１０５は、各ブロックに含まれる画素が属するセグメントを示すセグメント情報を画面内予測部１０６に出力する。セグメンテーション部１０５がセグメントに区分する処理として、図３に示す処理を行う。その後、ステップＳ２０７に進む。
【００７２】
（ステップＳ２０７）画面内予測部１０６は、セグメンテーション部１０５からブロック毎のセグメント情報を入力され、画面記憶部１０２から参照画像ブロックを読み出す。
画面内予測部１０６は、入力されたセグメント情報と読み出した参照画像ブロックに基づき画面内予測を行い、画面内予測画像ブロックを生成する。画面内予測部１０６は、生成した画面内予測画像ブロックを符号化制御部１０７及びスイッチ１０８に出力する。その後、ステップＳ２０８に進む。
【００７３】
（ステップＳ２０８）符号化制御部１０７は、距離画像入力部１００から距離画像ブロックを入力される。符号化制御部１０７は、重み付け予測部１０４から重み付け予測画像ブロックを入力され、画面内予測部１０６から画面内予測ブロックが入力される。
符号化制御部１０７は、抽出した距離画像ブロックと入力された重み付け予測画像ブロックに基づき重み付け予測残差信号を算出する。符号化制御部１０７は、抽出した距離画像ブロックと入力された画面内予測画像ブロックに基づき画面内予測残差信号を算出する。
符号化制御部１０７は、算出した重み付け予測残差信号の大きさと画面内予測残差信号の大きさに基づき、予測方式を決定する。符号化制御部１０７は、決定した予測方式を示す予測方式信号をスイッチ１０８及び可変長符号化部１１５に出力する。
スイッチ１０８は、重み付け予測部１０４から重み付け予測画像ブロックを入力され、画面内予測部１０６から画面内予測画像ブロックを入力され、符号化制御部１０７から予測方式信号を入力される。スイッチ１０８は、入力された予測方式信号に基づき入力された重み付け予測画像ブロックと画面内予測画像ブロックのいずれかを予測画像ブロックとして減算部１０９及び加算部１１４に出力する。その後、ステップＳ２０９に進む。
【００７４】
（ステップＳ２０９）減算部１０９は、距離画像入力部１００から入力された距離画像ブロックを構成する画素の距離値からスイッチ１０８から入力された予測画像ブロックを構成する画素の距離値  を各々減算し、残差信号ブロックを生成する。減算部１０９は生成した残差信号ブロックをＤＣＴ部１１０に出力する。その後、ステップＳ２１０に進む。
（ステップＳ２１０）ＤＣＴ部１１０は、残差信号ブロックを構成する画素の信号値に２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）を行って周波数領域信号に変換する。ＤＣＴ部１１０は、変換した周波数領域信号を逆ＤＣＴ部１１３及び可変長符号化部１１５に出力する。その後、ステップＳ２１１に進む。
【００７５】
（ステップＳ２１１）逆ＤＣＴ部１１３は、ＤＣＴ部１１０から入力された周波数領域信号に２次元逆ＤＣＴを行って残差信号ブロックに変換する。逆ＤＣＴ部１１３は、変換した残差信号ブロックを加算部１１４に出力する。その後、ステップＳ２１２に進む。
（ステップＳ２１２）加算部１１４は、スイッチ１０８から入力された予測信号ブロックを構成する画素の距離値と逆ＤＣＴ部１１３から入力された残差信号ブロックを構成する画素の距離値を各々加算して、参照信号ブロックを生成する。加算部１１４は、生成した参照信号ブロックを画面記憶部１０２に出力する。その後、ステップＳ２１３に進む。
【００７６】
（ステップＳ２１３）画面記憶部１０２は、加算部１１４から入力された参照画像ブロックを、対応するフレームにおけるそのブロックの位置に配置して記憶する。その後、ステップＳ２１４に進む。
（ステップＳ２１４）可変長符号化部１１５は、ＤＣＴ部１１０から入力された周波数領域信号をアダマール変換し、変換して生成された信号を圧縮符号化して圧縮残差信号を生成する。可変長符号化部１１５は、生成した圧縮残差信号、動きベクトル検出部１０１から入力された動きベクトル信号及び符号化制御部１０７から入力された予測方式信号を距離画像符号として画像符号化装置１の外部に出力する。その後、ステップＳ２１５に進む。
（ステップＳ２１５）距離画像入力部１００は、フレーム内の全てのブロックについて処理が完了していない場合、入力された距離画像から抽出する距離画像ブロックを、例えばラスタースキャンの順序でシフトさせる。その後、ステップＳ２０３に戻る。距離画像入力部１００は、フレーム内の全てのブロックについて処理が完了した場合、そのフレームについて処理を終了する。
【００７７】
次に、本実施形態に係る画像復号装置２の構成及び機能について説明する。
図１０は、本実施形態に係る画像復号装置２の構成を示す概略図である。
画像復号装置２は、画面記憶部２０２、動き補償部２０３、重み付け予測部２０４、セグメンテーション部２０５、画面内予測部２０６、スイッチ２０８、逆ＤＣＴ部２１３、加算部２１４、可変長復号部２１５及びテクスチャ画像復号部２２１を含んで構成される。
【００７８】
画面記憶部２０２は、加算部２１４から入力された参照画像ブロックを、対応するフレームにおけるそのブロックの位置に配置して記憶する。なお、画面記憶部１０２は、予め設定された数（例えば６）以前の過去のフレームの参照画像を削除する。
動き補償部２０３は、可変長復号部２１５から動きベクトル信号が入力される。動き補償部２０３は、動きベクトル信号が示す座標の参照画像ブロックを画面記憶部２０２に記憶された参照画像から抽出する。動き補償部２０３は、抽出した参照画像ブロックを重み付け予測部２０４に出力する。
【００７９】
重み付け予測部２０４は、動き補償部２０３から入力された参照画像ブロックに各々重み付け係数を乗じて加算して、重み付け予測画像ブロックを生成する。重み付け係数は、予め設定された重み係数であってもよいし、予めコードブックに記憶された重み係数のパターンの中から選択されたパターンであってもよい。重み付け予測部２０４は、生成した重み付け予測画像ブロックをスイッチ２０８に出力する。
【００８０】
セグメンテーション部２０５は、テクスチャ画像復号部２２１から復号したテクスチャ画像を構成する復号テクスチャ画像ブロックを入力される。入力される復号テクスチャ画像ブロックは、可変長復号部２１５に入力される距離画像符号に対応する。
セグメンテーション部２０５は、復号テクスチャ画像ブロックに含まれる画素毎の輝度値に基づき、その画素の群であるセグメントに区分する。ここで、セグメンテーション部２０５は、復号テクスチャ画像ブロックをセグメントに区分するために、図３に示す処理を行う。
セグメンテーション部２０５は、各ブロックに含まれる画素が属するセグメントを示すセグメント情報を画面内予測部２０６に出力する。
【００８１】
画面内予測部２０６は、セグメンテーション部２０５からブロック毎のセグメント情報が入力され、画面記憶部２０２から参照画像ブロックを読み出す。画面内予測部２０６が読み出す参照画像ブロックは、既に復号されたブロックであって、現在処理対象となっているフレームの参照画像を構成するブロックである。例えば、画面内予測部２０６が読み出す参照画像ブロックは、現在処理対象となっているブロックの左に隣接する参照画像ブロックと上に隣接する参照画像ブロックである。
画面内予測部２０６は、入力されたセグメント情報と読み出した参照画像ブロックに基づき画面内予測を行い、画面内予測画像ブロックを生成する。画面内予測部２０６が、画面内予測画像ブロックを生成する処理は、画面内予測部１０６が行う処理と同様であってよい。画面内予測部２０６は、生成した画面内予測画像ブロックをスイッチ２０８に出力する。
【００８２】
スイッチ２０８は、２接点ａ、ｂを備え、可動切片が接点ａに倒れていると、重み付け予測部２０４から重み付け予測画像ブロックを入力され、接点ｂに倒れていると、画面内予測部２０６から画面内予測画像ブロックを入力され、可変長復号部２１５から予測方式信号を入力される。スイッチ２０８は、入力された予測方式信号に基づき入力された重み付け予測画像ブロックと画面内予測画像ブロックのいずれかを予測画像ブロックとして加算部２１４に出力する。
即ち、予測方式信号が重み付け予測を示す場合には、スイッチ２０８は、重み付け予測画像ブロックを予測画像ブロックとして出力する。予測方式信号が画面内予測を示す場合には、スイッチ２０８は、画面内予測画像ブロックを予測画像ブロックとして出力する。
【００８３】
可変長復号部２１５は、画像復号装置２の外部から距離画像符号を入力され、入力された距離画像符号から残差信号を示す圧縮残差信号、動きベクトルを示す動きベクトル信号及び予測方式を示す予測方式信号を抽出する。
可変長復号部２１５は、抽出した圧縮残差信号を復号する。この復号方式は、可変長符号化部１１５が行った圧縮符号化とは逆の処理であって、より多い情報量を有する元の信号を生成する処理であり、例えば、エントロピー復号である。可変長復号部２１５は復号により生成した信号をアダマール変換して周波数領域信号を生成する。このアダマール変換は、可変長符号化部１１５が行ったアダマール変換の逆変換であって元の周波数領域信号を生成する処理である。
可変長復号部２１５は、生成した周波数領域信号を逆ＤＣＴ部２１３に出力する。可変長復号部２１５は、抽出した動きベクトル信号を動き補償部２０３に出力し、抽出した予測方式信号をスイッチ２０８に出力する。
【００８４】
逆ＤＣＴ部２１３は、可変長復号部２１５から入力された周波数領域信号に２次元逆ＤＣＴを行って残差信号ブロックに変換する。逆ＤＣＴ部２１３は、変換した残差信号ブロックを加算部２１４に出力する。
加算部２１４は、スイッチ２０８から入力された予測信号ブロックを構成する画素の距離値と逆ＤＣＴ部２１３から入力された残差信号ブロックを構成する画素の距離値を各々加算して、参照信号ブロックを生成する。加算部２１４は、生成した参照信号ブロックを画面記憶部２０２及び画像復号装置２の外部に出力する。画像復号装置２の外部に出力される参照信号ブロックは、復号された距離画像を構成する距離画像ブロックである。
【００８５】
テクスチャ画像復号部２２１は、画像復号装置２の外部からテクスチャ画像符号をブロック毎に入力され、ブロック毎に公知の画像復号方法、例えばＩＴＵ−Ｔ  Ｈ．２６４規格書に記載された復号方法を用いて復号して、復号テクスチャ画像ブロックを生成する。テクスチャ画像復号部２２１は、生成した復号テクスチャ画像ブロックをセグメンテーション部２０５及び画像復号装置２の外部に出力する。画像復号装置２の外部に出力される復号テクスチャ画像ブロックは、復号されたテクスチャ画像を構成する画像ブロックである。
【００８６】
次に、本実施形態に係る画像復号装置２が行う画像復号処理について説明する。
図１１は、本実施形態に係る画像復号装置２が行う画像復号処理を示すフローチャートである。
（ステップＳ３０１）可変長復号部２１５は、画像復号装置２の外部から距離画像符号が入力され、入力された距離画像符号から残差信号を示す圧縮残差信号、動きベクトルを示す動きベクトル信号及び予測方式を示す予測方式信号を抽出する。可変長復号部２１５は、抽出した圧縮残差信号を復号し、復号により生成した信号をアダマール変換して周波数領域信号を生成する。可変長復号部２１５は、生成した周波数領域信号を逆ＤＣＴ部２１３に出力する。可変長復号部２１５は、抽出した動きベクトル信号を動き補償部２０３に出力し、抽出した予測方式信号をスイッチ２０８に出力する。
テクスチャ画像復号部２２１は、画像復号装置２の外部からテクスチャ画像符号をブロック毎に入力され、ブロック毎に公知の画像復号方法を用いて復号して、復号テクスチャ画像ブロックを生成する。テクスチャ画像復号部２２１は、生成した復号テクスチャ画像ブロックをセグメンテーション部２０５及び画像復号装置２の外部に出力する。その後、ステップＳ３０２に進む。
【００８７】
（ステップＳ３０２）フレーム内の各ブロックについて、ステップＳ３０３−ステップＳ３０９を実行する。
（ステップＳ３０３）スイッチ２０８は、可変長復号部２１５から入力された予測方式信号が画面内予測を示すか、重み付け予測を示すか判断する。スイッチ２０８が、予測方式信号が画面内予測を示すと判断した場合には（ステップＳ３０３  Ｙ）、ステップＳ３０４に進む。また、後述するステップＳ３０５で生成した重み付け予測画像ブロックを予測画像ブロックとして加算部２１４に出力する。スイッチ２０８が、予測方式信号が重み付け予測を示すと判断した場合には（ステップＳ３０３  Ｎ）、ステップＳ３０６に進む。また、後述するステップＳ３０７で生成した画面内予測画像ブロックを予測画像ブロックとして加算部２１４に出力する。
【００８８】
（ステップＳ３０４）セグメンテーション部２０５は、テクスチャ画像復号部２２１から入力された復号テクスチャ画像ブロックに含まれる画素毎の輝度値に基づき、その画素の群であるセグメントに区分する。セグメンテーション部２０５は、各ブロックに含まれる画素が属するセグメントを示すセグメント情報を画面内予測部２０６に出力する。セグメンテーション部２０５がセグメントに区分する処理として、図３に示す処理を行う。その後、ステップＳ３０５に進む。
（ステップＳ３０５）画面内予測部２０６は、セグメンテーション部２０５からブロック毎のセグメント情報を入力され、画面記憶部２０２から参照画像ブロックを読み出す。画面内予測部２０６は、入力されたセグメント情報と読み出した参照画像ブロックに基づき画面内予測を行い、画面内予測画像ブロックを生成する。画面内予測部２０６が、画面内予測画像ブロックを生成する処理は、画面内予測部１０６が行う処理と同様であってよい。画面内予測部２０６は、生成した画面内予測画像ブロックをスイッチ２０８に出力する。その後、ステップＳ３０８に進む。
【００８９】
（ステップＳ３０６）動き補償部２０３は、可変長復号部２１５から入力された動きベクトル信号が示す座標の参照画像ブロックを画面記憶部２０２に記憶された参照画像から抽出する。動き補償部２０３は、抽出した参照画像ブロックを重み付け予測部２０４に出力する。その後、ステップＳ３０７に進む。
（ステップＳ３０７）重み付け予測部２０４は、動き補償部２０３から入力された参照画像ブロックに各々重み付け係数を乗じて加算して、重み付け予測画像ブロックを生成する。重み付け予測部２０４は、生成した重み付け予測画像ブロックをスイッチ２０８に出力する。その後、ステップＳ３０８に進む。
【００９０】
（ステップＳ３０８）逆ＤＣＴ部２１３は、可変長復号部２１５から入力された周波数領域信号に２次元逆ＤＣＴを行って残差信号ブロックに変換する。逆ＤＣＴ部２１３は、変換した残差信号ブロックを加算部２１４に出力する。その後、ステップＳ３０９に進む。
（ステップＳ３０９）加算部２１４は、スイッチ２０８から入力された予測信号ブロックを構成する画素の距離値と逆ＤＣＴ部２１３から入力された残差信号ブロックを構成する画素の距離値を各々加算して、参照信号ブロックを生成する。加算部２１４は、生成した参照信号ブロックを画面記憶部２０２及び画像復号装置２の外部に出力する。その後、ステップＳ３１０に進む。
【００９１】
（ステップＳ３１０）可変長復号部２１５は、フレーム内の全てのブロックについて処理が完了していない場合、入力された距離画像符号のブロックを、例えばラスタースキャンの順序でシフトさせる。その後、ステップＳ３０３に戻る。
可変長復号部２１５は、フレーム内の全てのブロックについて処理が完了した場合、そのフレームについて処理を終了する。
【００９２】
上述では、テクスチャ画像ブロック、距離画像ブロック、予測画像ブロック及び参照画像ブロックの大きさを、水平方向１６画素×垂直方向１６画素として説明したが、本実施形態では、これには限られない。この大きさは、例えば、水平方向８画素×垂直方向８画素、水平方向４画素×垂直方向４画素、水平方向３２画素×垂直方向３２画素、水平方向１６画素×垂直方向８画素、水平方向８画素×垂直方向１６画素、水平方向８画素×垂直方向４画素、水平方向４画素×垂直方向８画素、水平方向３２画素×垂直方向１６画素、水平方向１６画素×垂直方向３２画素のうち、いずれでもよい。
【００９３】
このように、本実施形態によれば、視点から被写体までの距離を表す画素毎の深度値からなる距離画像をブロック毎に符号化する画像符号化装置において、被写体の画素毎の輝度値からなるテクスチャ画像のブロックを、輝度値に基づき前記画素からなるセグメントに区分し、距離画像の一のブロックに含まれる前記区分されたセグメント毎の深度値を、既に符号化し前記一のブロックに隣接するブロックに含まれる画素の深度値に基づいて定め、前記定めたセグメント毎の深度値を含む予測画像をブロック毎に生成する。
【００９４】
また、本実施形態によれば、視点から被写体までの距離を表す画素毎の深度値からなる距離画像をブロック毎に復号する画像復号装置において、被写体の画素毎の輝度値からなるテクスチャ画像のブロックを、輝度値に基づき前記画素からなるセグメントに区分するセグメンテーション部と、距離画像の一のブロックに含まれる区分されたセグメント毎の深度値を、既に復号し一のブロックに隣接するブロックに含まれる画素の深度値に基づいて定め、前記定めたセグメント毎の深度値を含む予測画像をブロック毎に生成する。
【００９５】
ここで、テクスチャ画像において同一の被写体を表す部分は、色彩の空間的変化が比較的乏しい傾向があるが、テクスチャ画像とこれに対応する距離画像との相関性を考慮すると、その部分についても深度値の空間的変化が乏しい。そのため、テクスチャ画像に含まれる各画素の色彩を示す信号値に基づき、処理対象ブロックを区分したセグメント内の深度値が同一であることが期待される。従って、本実施形態が上述の構成を備えることにより高い精度で画面内予測画像ブロックを生成し、ひいては距離画像を符号化又は復号することができる。
【００９６】
また、本実施形態によれば、テクスチャ画像ブロックに基づき、上述の画面内予測方式を用いて、距離画像ブロックを符号化又は復号することができる。この予測方式を示すために、各ブロックにつき高々１ビットの情報量が増加するに過ぎない。従って、本実施形態により距離画像を高精度で符号化又は復号するだけではなく、情報量の増加を抑制することができる。
【００９７】
なお、上述した実施形態における画像符号化装置１又は画像復号装置２の一部、例えば、距離画像入力部１００、動きベクトル検出部１０１、動き補償部１０３、２０３、重み付け予測部１０４、２０４、セグメンテーション部１０５、２０５、画面内予測部１０６、２０６、符号化制御部１０７、スイッチ１０８、２０８、減算部１０９、ＤＣＴ部１１０、逆ＤＣＴ部１１３、２１３、加算部１１４、２１４、可変長符号化部１１５及び可変長復号部２１５をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１又は画像復号装置２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像符号化装置１又は画像復号装置２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置１又は画像復号装置２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００９８】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【産業上の利用可能性】
【００９９】
以上のように、本発明における画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラムは、三次元の画像を表す画像信号の情報量を圧縮するために有用であり、例えば、画像コンテンツの保存や伝送に適している。
【符号の説明】
【０１００】
１…画像符号化装置、
２…画像復号装置、
１００…距離画像入力部、
１０１…動きベクトル検出部、
１０２、２０２…画面記憶部、
１０３、２０３…動き補償部、
１０４、２０４…重み付け予測部、
１０５、２０５…セグメンテーション部、
１０６、２０６…画面内予測部、
１０７…符号化制御部、
１０８、２０８…スイッチ、
１０９…減算部、１１０…ＤＣＴ部、
１１３、２１３…逆ＤＣＴ部、
１１４、２１４…加算部、
１１５…可変長符号化部、
１２１…テクスチャ画像符号化部、
２１５…可変長復号部、
２２１…テクスチャ画像復号部
【図１】
2012147740.tif 000003
【図２】
2012147740.tif 000004
【図３】
2012147740.tif 000005
【図４】
2012147740.tif 000006
【図５】
2012147740.tif 000007
【図６】
2012147740.tif 000008
【図７】
2012147740.tif 000009
【図８】
2012147740.tif 000010
【図９】
2012147740.tif 000011
【図１０】
2012147740.tif 000012
【図１１】
2012147740.tif 000013
【国際調査報告】
2012147740.tif 000014
2012147740.tif 000015
2012147740.tif 000016
2012147740.tif 000017