(57)【要約】【課題】インテグラル・フォトグラフィ方式により生成された要素画像群を、比較的小規模の構成により、効率よく圧縮符号化する。【解決手段】画像符号化装置は、複数の要素画像について、要素画像内の符号化処理を実行して要素画像内符号化データを生成する要素画像内符号化部１３と、複数の要素画像において隣接する要素画像間の予測符号化処理を実行して要素画像間符号化データを生成する要素画像間予測符号化部１４と、複数の要素画像それぞれに対して、要素画像内符号化部１３または要素画像間予測符号化部１４いずれかを選択する符号化選択部１２と、選択された要素画像内符号化部１３が生成する要素画像内符号化データと選択された要素画像間予測符号化部１４が生成する要素画像間符号化データとを対応付けて、複数の要素画像に対する符号化データを生成する符号化統合部１５と、を備える。【選択図】図３
2014072881.tif 000002
【特許請求の範囲】
【請求項１】
複数の要素画像について、要素画像内の符号化処理を実行して要素画像内符号化データを生成する要素画像内符号化部と、
前記複数の要素画像において隣接する要素画像間の予測符号化処理を実行して要素画像間符号化データを生成する要素画像間予測符号化部と、
前記複数の要素画像それぞれに対して、前記要素画像内符号化部または前記要素画像間予測符号化部いずれかを選択する符号化選択部と、
前記符号化選択部によって選択された前記要素画像内符号化部が生成する前記要素画像内符号化データと、前記符号化選択部によって選択された前記要素画像間予測符号化部が生成する前記要素画像間符号化データとを対応付けて、前記複数の要素画像に対する符号化データを生成する符号化統合部と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記符号化選択部は、外部から供給される、被写体から撮影装置までの距離値を取り込み、前記距離値が閾値以下である場合は前記要素画像内符号化部を選択し、前記距離値が前記閾値を超える場合は前記要素画像間予測符号化部を選択する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記符号化選択部は、前記複数の要素画像それぞれに対して、前記要素画像内符号化部が生成する要素画像内符号化データにおける隣接する画素の差分値が所定値を超える場合に、前記要素画像間予測符号化部を選択する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記符号化統合部は、前記符号化選択部によって選択された前記要素画像内符号化部が生成する前記要素画像内符号化データに、前記要素画像内の符号化処理を示す第１の識別情報を対応付け、前記符号化選択部によって選択された前記要素画像間予測符号化部が生成する前記要素画像間符号化データに、前記要素画像間の予測符号化処理を示す第２の識別情報を対応付け、前記第１の識別情報が対応付けられた前記要素画像内符号化データと前記第２の識別情報が対応杖けられた前記要素画像間符号化データとを対応付けて、前記複数の要素画像に対する符号化データを生成する
ことを特徴とする請求項１から３いずれか一項記載の画像符号化装置。
【請求項５】
複数の要素画像それぞれに対応する、要素画像内の符号化処理によって生成された要素画像内符号化データと、隣接する要素画像間の予測符号化処理によって生成された要素画像間符号化データとのいずれかを含む符号化データを、前記要素画像内符号化データと前記要素画像間符号化データとに分離する符号化分離部と、
前記符号化分離部が分離した前記要素画像内符号化データを復号処理して、要素画像を生成する要素画像内復号部と、
前記分離部が分離した前記要素画像間符号化データを復号処理して、要素画像を生成する要素画像間復号部と、
前記要素画像内復号部が生成した要素画像と前記要素画像間復号部が生成した要素画像とを、前記複数の要素画像の配列にしたがって統合する復号統合部と、
を備えることを特徴とする画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置および画像復号装置に関する。
【背景技術】
【０００２】
インテグラル・フォトグラフィ（Ｉｎｔｅｇｒａｌ  Ｐｈｏｔｏｇｒａｐｈｙ）方式の撮影装置は、多数の要素レンズを配列したレンズアレイを通して得られる光束を撮影することにより、１フレームあたり、多数の要素画像を配列した画像（要素画像群）を生成する。この要素画像群の各要素画像は、レンズアレイの各要素レンズに対応する微小画像である。
【０００３】
従来、インテグラル・フォトグラフィ信号を効率的に圧縮符号化して符号化出力信号を出力する符号化装置と、その符号化出力信号を復号してインテグラル・フォトグラフィ信号を出力する復号化装置が知られている（例えば、特許文献１参照）。この文献に記載された符号化装置は、フレーム間符号化処理、フレーム内符号化処理、および要素画像間符号化処理を適応的に用いて符号化する装置である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３００６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された符号化装置は、フレーム間符号化部、フレーム内符号化部、および要素画像間符号化部を搭載するため、その回路規模は大きくなる。
そこで、本発明は、上記事情を考慮してなされたものであり、インテグラル・フォトグラフィ方式により生成された要素画像群を、比較的小規模の構成により、効率よく圧縮符号化し、また、その圧縮符号化された符号化データを復号して要素画像群を得る、画像符号化装置および画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
［１］上記の課題を解決するため、本発明の一態様である画像符号化装置は、複数の要素画像について、要素画像内の符号化処理を実行して要素画像内符号化データを生成する要素画像内符号化部と、前記複数の要素画像において隣接する要素画像間の予測符号化処理を実行して要素画像間符号化データを生成する要素画像間予測符号化部と、前記複数の要素画像それぞれに対して、前記要素画像内符号化部または前記要素画像間予測符号化部いずれかを選択する符号化選択部と、前記符号化選択部によって選択された前記要素画像内符号化部が生成する前記要素画像内符号化データと、前記符号化選択部によって選択された前記要素画像間予測符号化部が生成する前記要素画像間符号化データとを対応付けて、前記複数の要素画像に対する符号化データを生成する符号化統合部と、を備えることを特徴とする。
［２］上記［１］記載の画像符号化装置において、前記符号化選択部は、外部から供給される、被写体から撮影装置までの距離値を取り込み、前記距離値が閾値以下である場合は前記要素画像内符号化部を選択し、前記距離値が前記閾値を超える場合は前記要素画像間予測符号化部を選択することを特徴とする。
［３］上記［１］記載の画像符号化装置において、前記符号化選択部は、前記複数の要素画像それぞれに対して、前記要素画像内符号化部が生成する要素画像内符号化データにおける隣接する画素の差分値が所定値を超える場合に、前記要素画像間予測符号化部を選択することを特徴とする。
［４］上記［１］から［３］いずれか一項記載の画像符号化装置において、前記符号化統合部は、前記符号化選択部によって選択された前記要素画像内符号化部が生成する前記要素画像内符号化データに、前記要素画像内の符号化処理を示す第１の識別情報を対応付け、前記符号化選択部によって選択された前記要素画像間予測符号化部が生成する前記要素画像間符号化データに、前記要素画像間の予測符号化処理を示す第２の識別情報を対応付け、前記第１の識別情報が対応付けられた前記要素画像内符号化データと前記第２の識別情報が対応杖けられた前記要素画像間符号化データとを対応付けて、前記複数の要素画像に対する符号化データを生成することを特徴とする。
【０００７】
［５］上記の課題を解決するため、本発明の一態様である画像復号装置は、複数の要素画像それぞれに対応する、要素画像内の符号化処理によって生成された要素画像内符号化データと、隣接する要素画像間の予測符号化処理によって生成された要素画像間符号化データとのいずれかを含む符号化データを、前記要素画像内符号化データと前記要素画像間符号化データとに分離する符号化分離部と、前記符号化分離部が分離した前記要素画像内符号化データを復号処理して、要素画像を生成する要素画像内復号部と、前記分離部が分離した前記要素画像間符号化データを復号処理して、要素画像を生成する要素画像間復号部と、前記要素画像内復号部が生成した要素画像と前記要素画像間復号部が生成した要素画像とを、前記複数の要素画像の配列にしたがって統合する復号統合部と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、インテグラル・フォトグラフィ方式により生成された要素画像群を、比較的小規模の構成により、効率よく圧縮符号化し、また、その圧縮符号化された符号化データを復号して要素画像群を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】インテグラル・フォトグラフィ方式の画像生成装置が被写体を撮影して要素画像群を得る様子を示す概念図である。
【図２】画像の統計的性質が異なる要素画像群の例である。
【図３】本発明の第１実施形態である画像符号化装置の概略の機能構成を示すブロック図である。
【図４】同実施形態において、要素画像内符号化部による、要素画像内の符号化処理を説明するための図である。
【図５】同実施形態において、要素画像間予測符号化部による、要素画像間の符号化処理を説明するための図である。
【図６】同実施形態である画像復号装置の概略の機能構成を示すブロック図である。
【図７】本発明の第２実施形態である画像符号化装置の概略の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態である画像符号化装置は、インテグラル・フォトグラフィ（Ｉｎｔｅｇｒａｌ  Ｐｈｏｔｏｇｒａｐｈｙ）方式の画像生成装置が生成した要素画像群を取り込む。そして、この画像符号化装置は、取り込んだ要素画像群の要素画像ごとに、この要素画像の統計的性質に適した方式による圧縮符号化処理を実行し、要素画像群に対する符号化データを生成する。画像生成装置は、例えば、インテグラル・フォトグラフィ方式の撮影装置やコンピュータ・グラフィックス作成装置である。また、要素画像群は、例えば、二次元配列した複数の要素レンズ（レンズアレイ）を通して得られる光束から得た複数の要素画像である。また、要素画像群は、コンピュータ・グラフィックス作成装置が仮想レンズアレイを適用して計算し生成した複数の要素画像である。これら要素画像群は、１フレームの画像に相当する画像である。
【００１１】
また、第１実施形態である画像復号装置は、第１実施形態である画像符号化装置が生成した符号化データを取り込み、この符号化データを要素画像ごとに復号して要素画像群を得る。
【００１２】
図１は、インテグラル・フォトグラフィ方式の画像生成装置が被写体を撮影して要素画像群を得る様子を示す概念図である。同図において、被写体Ｓから到来する光束（被写体Ｓからの反射光）がレンズアレイ１の複数の要素レンズを通ることにより、撮像部２の撮像面に、被写体Ｓの複数の像が現れる。同図では、撮像面に要素レンズ１列分の要素画像Ｅが現れた様子を模式的に示している。
【００１３】
インテグラル・フォトグラフィ方式では、被写体Ｓの大きさや被写体Ｓとレンズアレイ１との距離に応じて、要素画像の統計的性質が変化する。例えば、被写体Ｓが大きくなるほど、または、被写体Ｓとレンズアレイ１との距離が短くなるほど、視点位置によらず立体像としての画素値の変化が少なくなる。言い換えると、被写体Ｓとレンズアレイ１との相対距離が短くなるほど、要素画像内での画素値（輝度値および色値）の変化が少なくなる。一方、被写体Ｓが小さくなるほど、または、被写体Ｓとレンズアレイ１との距離が長くなるほど、要素レンズは被写体Ｓからの光束をより広くとらえることとなる。つまり、被写体Ｓとレンズアレイ１との相対距離が長くなるほど、視点位置が近接する要素画像は相似する画像となり、要素画像同士での画像の相関が強くなる。
【００１４】
図２（ａ），（ｂ）は、画像の統計的性質が異なる要素画像群の例である。同図（ａ）は、図１において、被写体Ｓが比較的大きい、または、被写体Ｓとレンズアレイ１との距離が比較的短い場合の要素画像群である。また、図２（ｂ）は、図１において、被写体Ｓが比較的小さい、または、被写体Ｓとレンズアレイ１との距離が比較的長い場合の要素画像群である。
被写体Ｓとレンズアレイ１との相対距離が比較的短い場合、要素レンズの視野角の範囲内において、入射光線の変化が小さい。よって、図２（ａ）に示すように、要素画像内の画素値の変化が少ない。
一方、被写体Ｓとレンズアレイ１との相対距離が比較的長い場合、要素レンズの視野角の範囲内において、入射光線の変化が大きい。よって、同図（ｂ）に示すように、各要素画像は被写体の輪郭を広くとらえ、要素画像内の画素値の変化が大きい。また、要素画像ごとに視差を有する被写体像が表される。
【００１５】
次に、第１実施形態である画像符号化装置の構成について説明する。
図３は、第１実施形態である画像符号化装置の概略の機能構成を示すブロック図である。同図に示すように、画像符号化装置１０は、要素画像群取得部１１と、符号化選択部１２と、要素画像内符号化部１３と、要素画像間予測符号化部１４と、符号化統合部１５とを備える。
【００１６】
要素画像群取得部１１は、図示しない画像生成装置が供給するインテグラル画像信号を要素画像群（複数の要素画像）ごとに取り込み、内蔵する記憶部（不図示）に記憶させる。第１実施形態において、画像生成装置は、例えばインテグラル・フォトグラフィ方式の撮影装置である。
【００１７】
符号化選択部１２は、外部装置（例えば、測距装置、画像生成装置）が供給する深度情報を取り込み、この深度情報に応じて、要素画像内符号化部１３または要素画像間予測符号化部１４いずれかに対して選択信号を供給する。深度情報は、被写体から撮影装置までの距離値を示す情報である。被写体の大きさを一定とした場合、深度情報が示す距離値が小さいほど、要素画像群取得部１１が得る各要素画像の空間周波数における高周波成分が少ない確率が高い（図２（ａ）参照）。一方、距離値が大きいほど、要素画像群取得部１１が得る各要素画像の空間周波数における高周波成分が多い確率が高い（図２（ｂ）参照）。
【００１８】
具体的に、例えば、符号化選択部１２は、外部装置から取り込んだ距離値と、あらかじめ有する閾値（距離判定基準値）とを比較し、距離値がその閾値以下であると判定した場合は、要素画像内符号化部１３に対して選択信号を供給する。また、符号化選択部１２は、その距離値が前記の閾値を超えると判定した場合は、要素画像間予測符号化部１４に対して選択信号を供給する。
【００１９】
要素画像内符号化部１３は、符号化選択部１２から選択信号の供給を受けると、要素画像群取得部１１から一つの要素画像を取り込む。そして、要素画像内符号化部１３は、取り込んだ要素画像に対し要素画像内の符号化処理を実行して要素画像内符号化データを生成し、この要素画像内符号化データを符号化統合部１５に供給する。要素画像内符号化部１３による要素画像内の符号化処理の内容については、後述する。
【００２０】
要素画像間予測符号化部１４は、符号化選択部１２から選択信号の供給を受けると、要素画像群取得部１１から隣接する二つの要素画像を取り込む。そして、要素画像間予測符号化部１４は、取り込んだ二つの要素画像に対し要素画像間の予測符号化処理を実行して要素画像間符号化データを生成し、この要素画像間符号化データを符号化統合部１５に供給する。要素画像間予測符号化部１４による要素画像間の予測符号化処理については、後述する。
【００２１】
符号化統合部１５は、要素画像内符号化部１３が供給する要素画像内符号化データと、要素画像間予測符号化部１４が供給する要素画像間符号化データとを取り込む。そして、符号化統合部１５は、要素画像内符号化データに、要素画像内の符号化処理を示す要素画像内符号化タグ情報（第１の識別情報）を対応付ける。また、符号化統合部１５は、要素画像間符号化データに、要素画像間の予測符号化処理を示す要素画像間符号化タグ情報（第２の識別情報）を対応付ける。そして、符号化統合部１５は、要素画像内符号化タグ情報が対応付けられた要素画像内符号化データと、要素画像間符号化タグ情報が対応付けられた要素画像間符号化データとを対応付けて、要素画像群に対する符号化データを生成し、この符号化データを出力する。
【００２２】
ここで、画像符号化装置１０の要素画像内符号化部１３が実行する、要素画像内の符号化処理について説明する。
図４は、要素画像内符号化部１３による、要素画像内の符号化処理を説明するための図である。同図において、要素画像の左上角の画素を基準に、右方向をｍ方向、下方向をｎ方向とする。
【００２３】
要素画像内符号化部１３は、要素画像内の符号化処理として、例えば差分パルス符号変調（Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ−Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ；ＤＰＣＭ）処理を実行する。要素画像内符号化部１３は、要素画像内のＤＰＣＭ処理の初期において、要素画像における所定の一画素を代表画素（初期画素、基準画素、開始画素ともいう）に設定する。例えば、要素画像内符号化部１３は、要素画像の左上角の画素を代表画素に設定する。要素画像内符号化部１３は、その代表画素を起点として要素画像内を一次元方向に走査（スキャン）する。例えば、要素画像内符号化部１３は、図４に示すように、要素画像の左上角の代表画素を起点としてｍ方向に画素単位で走査する。走査が要素画像の右端まで到達すると、次に、要素画像内符号化部１３は、ｎ方向に一画素分走査し、次に、ｍ方向と逆方向に画素単位で走査する。走査が要素画像の左端まで到達すると、次に、要素画像内符号化部１３は、ｎ方向に一画素分走査する。要素画像内符号化部１３は、一要素画像の全画素を走査し終えるまで、上記の走査を繰り返す。つまり、要素画像内符号化部１３は、一要素画像の全画素に対して、一行の画素列ずつ列方向に往復する走査を行う。
【００２４】
要素画像内符号化部１３は、上記の走査を行ってＤＰＣＭ処理を実行する。例えば、要素画像内符号化部１３は、ｍ方向に走査する場合に、下記の式（１）によって、量子化したＤＰＣＭ値であるｅＱ（ｍ，ｎ）を得る。ただし、（ｍ，ｎ）は一要素画像における画素の位置、ｘ（ｍ，ｎ）は入力画素値、ｘｄ（ｍ−１，ｎ）はｍ方向の走査における一画素前のデコード値である。
【００２５】
［式１］
ｅＱ（ｍ，ｎ）＝ｘ（ｍ，ｎ）−ｘｄ（ｍ−１，ｎ）
ｘｄ（ｍ，ｎ）＝ｘｄ（ｍ−１，ｎ）＋ｅＱ（ｍ，ｎ）  ・・・（１）
【００２６】
つまり、要素画像内符号化部１３は、走査上過去（一画素分前）のＤＰＣＭ値からデコードした値と入力画素値との差分の量子化を行うことにより、要素画像内符号化データを生成する。
【００２７】
なお、要素画像内符号化部１３による要素画像内の走査方法は一例であり、順次、隣接画素を一次元で走査する方法が適用できる。例えば、要素画像内符号化部１３は、一要素画像の全画素に対して、一列の画素列ずつ行方向に往復する走査を行ってもよいし、斜め方向に走査してもよい。
【００２８】
また、要素画像において、この要素画像に対応する要素レンズから情報を得ていない画素（例えば、矩形状の要素画像における各角および角付近の画素）を除外して、要素画像内符号化部１３は要素画像内の走査を行ってもよい。
【００２９】
次に、画像符号化装置１０の要素画像間予測符号化部１４が実行する、要素画像間の符号化処理について説明する。
図５は、要素画像間予測符号化部１４による、要素画像間の符号化処理を説明するための図である。同図は、要素画像群のうち一次元方向に配列する三つの要素画像を模式的に示した図である。同図において、要素画像群の左上角の要素画像を基準に、右方向をＸ方向、下方向をＹ方向とする。なお、同図において、Ｙ方向の要素画像を省略している。同図に示すように、被写体の輪郭を広くとらえた被写体像（この場合は、樹木）が各要素画像に含まれる場合、これらの要素画像は、被写体に対する視点位置が要素画像ごとに異なることにより、被写体像同士に視差を有し、相似する画像となる。
【００３０】
従来、映像情報の高能率符号化方式として知られるＭＰＥＧ−２ビデオ方式、Ｈ．２６４方式等には、フレーム間予測符号化処理が適用されている。従来の映像情報の符号化装置は、フレーム間予測符号化処理を実行することにより、時間方向に画像の相関が強い確率が高いという統計的性質を有する映像情報を、効率的に圧縮符号化することができる。
【００３１】
要素画像間予測符号化部１４は、従来のフレーム間で実現する予測符号化処理を、要素画像間で実現するものである。
具体的に、要素画像間予測符号化部１４は、要素画像を例えば８画素×８画素のブロック画像に分割し、ブロック画像ごとに離散コサイン変換処理および量子化処理を実行して量子化係数を生成する。そして、要素画像間予測符号化部１４は、その量子化係数を逆量子化処理および逆離散コサイン変換処理を実行して復号ブロック画像を生成し、この復号ブロック画像を、内蔵する記憶部に記憶させる。要素画像間予測符号化部１４は、記憶部に一要素画像分の復号ブロック画像（復号要素画像）を記憶させた後、隣接する次の要素画像と記憶部に記憶された復号要素画像との差分値について、ブロックごとに離散コサイン変換処理および量子化処理を実行して量子化係数を生成する。そして、要素画像間予測符号化部１４は、量子化係数に符号を割り当てて要素画像間符号化データを生成し、この要素画像間符号化データを出力する。要素画像間予測符号化部１４が実行する符号の割り当ては、エントロピー符号化処理である。
【００３２】
つまり、要素画像間予測符号化部１４は、例えば、隣接する二つの要素画像において記憶部に記憶させた復号要素画像と隣接する現要素画像との差分値を圧縮符号化した要素画像間符号化データを生成する。
【００３３】
なお、要素画像間予測符号化部１４は、隣接する要素画像間の符号化処理を要素画像群において連続して実行する場合、順次、隣接する要素画像を一次元で走査する。
また、要素画像間予測符号化部１４は、要素画像間の符号化処理において、ＭＰＥＧ−２ビデオ方式と同様な動き補償を行ってもよい。この場合、動き補償の単位であるマクロブロックは、例えば、５画素×５画素等、適宜決定される。
【００３４】
次に、第１実施形態である画像復号装置の構成について説明する。
図６は、第１実施形態である画像復号装置の概略の機能構成を示すブロック図である。同図に示すように、画像復号装置２０は、符号化分離部２１と、要素画像内復号部２２と、要素画像間復号部２３と、復号統合部２４とを備える。
【００３５】
符号化分離部２１は、複数の要素画像それぞれに対応する、要素画像内の符号化処理によって生成された要素画像内符号化データと、隣接する要素画像間の予測符号化処理によって生成された要素画像間符号化データとのいずれかを含む符号化データを、要素画像内符号化データと要素画像間符号化データとに分離する。
【００３６】
具体的に、符号化分離部２１は、画像符号化装置１０が生成した符号化データを取り込む。つまり、符号化分離部２１は、要素画像内符号化タグ情報が対応付けられた要素画像内符号化データと、要素画像間符号化タグ情報が対応付けられた要素画像間符号化データとを含む符号化データを取り込む。そして、符号化分離部２１は、取り込んだ符号化データから、要素画像内符号化タグ情報をキーとして要素画像内符号化データを抽出し、この要素画像内符号化データを要素画像内復号部２２に供給する。また、符号化分離部２１は、符号化データから、要素画像間符号化タグ情報をキーとして要素画像間符号化データを抽出し、この要素画像間符号化データを要素画像間復号部２３に供給する。
【００３７】
要素画像内復号部２２は、符号化分離部２１が供給する要素画像内符号化データを取り込み、この要素画像内符号化データを復号処理して要素画像を生成し、この要素画像を復号統合部２４に供給する。具体的に、要素画像内復号部２２は、下記の式（２）によって、要素画像内符号化データに含まれる量子化されたＤＰＣＭ値を順次加算することによって要素画像を生成する。ただし、（ｍ，ｎ）は一要素画像における画素の位置、ｘｄ（ｍ−１，ｎ）はｍ方向の走査における一画素前のデコード値、ｅＱ（ｍ，ｎ）は入力値（量子化されたＤＰＣＭ値）である。
【００３８】
［式２］
ｘｄ（ｍ，ｎ）＝ｘｄ（ｍ−１，ｎ）＋ｅＱ（ｍ，ｎ）  ・・・（２）
【００３９】
要素画像間復号部２３は、符号化分離部２１が供給する要素画像間符号化データを取り込み、この要素画像間符号化データを復号処理して要素画像を生成し、この要素画像を復号統合部２４に供給する。
具体的に、要素画像間復号部２３は、要素画像間符号化データについてエントロピー復号処理を実行し、逆量子化処理および逆離散コサイン変換処理を実行して要素画像を生成する。
【００４０】
復号統合部２４は、要素画像内復号部２２が供給する要素画像を取り込み、要素画像間復号部２３が供給する要素画像を取り込む。そして、復号統合部２４は、それぞれ取り込んだ要素画像を複数の要素画像の配列にしたがって統合して、要素画像群を生成（復元）し、この要素画像群を出力する。
【００４１】
上記説明したとおり、第１実施形態である画像符号化装置１０は、インテグラル・フォトグラフィ方式による要素画像群を取り込む。そして、画像符号化装置１０は、取り込んだ要素画像群の要素画像ごとに、要素画像の統計的性質に適した方式による圧縮符号化処理を実行して、要素画像群に対する符号化データを生成する。具体的に、画像符号化装置１０は、被写体からインテグラル・フォトグラフィ方式の撮影装置までの距離値が距離判定基準値以下である場合に、要素画像内の符号化処理を実行する。一方、画像符号化装置１０は、上記の距離値が距離判定基準値を超える場合に、隣接する要素画像間の符号化処理を実行する。
【００４２】
つまり、画像符号化装置１０は、１フレームに相当する要素画像群における全ての要素画像について、距離値に応じて、要素画像内の符号化処理または要素画像間の符号化処理いずれかを実行する。
【００４３】
被写体の大きさを一定とした場合、撮影装置から比較的近い距離にある被写体をとらえた要素画像は、空間周波数の高周波成分が比較的少ない画像となる確率が高い。また、撮影装置から比較的遠い距離にある被写体をとらえた要素画像は、空間周波数の高周波成分が比較的多い画像となる確率が高い。よって、画像符号化装置１０は、空間周波数の高周波成分が比較的少ない要素画像について要素画像内の符号化処理を実行することにより、隣接する画素の差分値を効率よく符号化できるため、要素画像群として効率のよい圧縮符号化を実現することができる。また、画像符号化装置１０は、空間周波数の高周波成分が比較的多い要素画像について要素画像間の符号化処理を実行することにより、隣接する要素画像の予測符号化を行うため、要素画像群として効率のよい圧縮符号化を実現することができる。
【００４４】
また、第１実施形態である画像復号装置２０は、画像符号化装置１０が生成した符号化データを取り込み、この符号化データを要素画像ごとに復号して要素画像群を得ることができる。
【００４５】
したがって、第１実施形態によれば、インテグラル・フォトグラフィ方式により生成された要素画像群を、比較的小規模の構成により、効率よく圧縮符号化し、また、その圧縮符号化された符号化データを復号して要素画像群を得ることができる。
【００４６】
［第２の実施の形態］
上述した第１実施形態では、画像符号化装置１０の符号化選択部１２は、外部装置が供給する深度情報を取り込み、この深度情報に応じて、要素画像内符号化部１３または要素画像間予測符号化部１４いずれかを選択する例とした。
本発明の第２実施形態は、要素画像の画質特性を解析し、この解析結果に基づいて要素画像内符号化部１３または要素画像間予測符号化部１４いずれかを選択する例である。
なお、第１実施形態と同一の構成については同一の符号を付してその説明を省略する。
【００４７】
第２実施形態である画像符号化装置の構成について説明する。
図７は、第２実施形態である画像符号化装置の概略の機能構成を示すブロック図である。同図に示すように、画像符号化装置１０ａは、画像符号化装置１０に対して、符号化選択部１２および要素画像内符号化部１３を、符号化選択部１２ａおよび要素画像内符号化部１３ａに変更した構成を備える。
【００４８】
符号化選択部１２ａは、前記要素画像内符号化部が生成する要素画像内符号化データにおける隣接する画素の差分値が所定値（画質判定基準値）を超える場合に、要素画像間予測符号化部１４を選択する。
具体的に、符号化選択部１２ａは、例えば、一要素画像における全てまたは一部分の差分値の絶対値の合計値、平均値を用いて所定値との比較を行ってもよいし、一要素画像における特定位置における一つの差分値を用いて所定値との比較を行ってもよい。
【００４９】
要素画像内符号化部１３ａは、要素画像群取得部１１から一つの要素画像を取り込み、この要素画像に対し要素画像内の符号化処理を実行して要素画像内符号化データを生成し、この要素画像内符号化データを内蔵する記憶部に記憶させるとともに符号化選択部１２ａに供給する。
また、要素画像内符号化部１３ａは、符号化選択部１２から選択信号の供給を受けると、記憶部に記憶した要素画像内符号化データを読み出して、この要素画像内符号化データを符号化統合部１５に供給する。
【００５０】
上記説明したとおり、第２実施形態である画像符号化装置１０ａは、インテグラル・フォトグラフィ方式による要素画像群を取り込む。そして、画像符号化装置１０ａは、取り込んだ要素画像群の要素画像ごとに、要素画像の統計的性質に適した方式による圧縮符号化処理を実行して、要素画像群に対する符号化データを生成する。具体的に、画像符号化装置１０ａは、要素画像ごとに、要素画像内の符号化処理を実行して要素画像における隣接する画素の差分値を求め、この差分値が画質判定基準値を超える場合に、要素画像間の符号化処理を実行する。
【００５１】
つまり、画像符号化装置１０ａは、１フレームに相当する要素画像群について、要素画像ごとに、要素画像の画質の評価結果に応じて、要素画像内の符号化処理または要素画像間の符号化処理いずれかを実行する。
【００５２】
要素画像において隣接する画素の差分値または差分値の統計データが所定値以下である場合、要素画像は、空間周波数の高周波成分が比較的少ない画像である。また、要素画像において隣接する画素の差分値または差分値の統計データが所定値を超える場合、要素画像は、空間周波数の高周波成分が比較的多い画像である。よって、画像符号化装置１０ａは、空間周波数の高周波成分が比較的少ない要素画像について要素画像内の符号化処理を実行することにより、隣接する画素の差分値を効率よく符号化できるため、要素画像群として効率のよい圧縮符号化を実現することができる。また、画像符号化装置１０ａは、空間周波数の高周波成分が比較的多い要素画像について要素画像間の符号化処理を実行することにより、隣接する要素画像の予測符号化を行うため、要素画像群として効率のよい圧縮符号化を実現することができる。
【００５３】
また、第１実施形態である画像復号装置２０は、第２実施形態である画像符号化装置１０ａが生成した符号化データを取り込み、この符号化データを要素画像ごとに復号して要素画像群を得ることができる。
【００５４】
したがって、第２実施形態によれば、インテグラル・フォトグラフィ方式により生成された要素画像群を、比較的小規模の構成により、効率よく圧縮符号化し、また、その圧縮符号化された符号化データを復号して要素画像群を得ることができる。
【００５５】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５６】
１０，１０ａ  画像符号化装置
要素画像群取得部  １２，１２ａ  符号化選択部
１３，１３ａ  要素画像内符号化部
要素画像間予測符号化部符号化統合部画像復号装置符号化分離部要素画像内復号部要素画像間復号部復号統合部
【図１】
2014072881.tif 000003
【図３】
2014072881.tif 000004
【図４】
2014072881.tif 000005
【図５】
2014072881.tif 000006
【図６】
2014072881.tif 000007
【図７】
2014072881.tif 000008
【図２】
2014072881.tif 000009